MAESTRA EN POLTICAS

PBLICAS COMPARADAS

2012-2013

Gua de Estudio de la Materia:

Metodologa II
Primera Parte

Mtro. Rodrigo Salazar

FLACSO-Mxico

Mxico D.F., Enero de 2013

 ndice General

Descripcin General de la Materia 2

Objetivo 2
Aportes para el estudiante 2
Bibliografa obligatoria 3
Bibliografa optativa 3
Consigna del Ejercicio integrador (examen) 3

Parte I. Inferencia Causal 4

1.1 El problema de la inferencia causal 5
1.2 Por qu son importantes los grupos de control? 6

Parte II. Mtodos y tcnicas de investigacin 13

2.1 Mtodos cuantitativos 13
Anlisis de regresin 13
Regresin lineal mltiple 15
Propensity score matching 16
Efectos fijos 18

Bibliografa 21

1
Descripcin General de la Materia

Las guas de estudio Metodologa I y Metodologa II constituyen una introduccin

al diseo de investigacin en las ciencias sociales. En conjunto, presentan los
elementos que conforman el proyecto de investigacin y las distintas modalidades
de diseo de investigacin.

En esta segunda gua se expone el llamado problema fundamental de la inferencia

causal y la necesidad de contar con un grupo de control. A continuacin, se
presentan las distintas tcnicas en el anlisis de la informacin para realizar
inferencias causales a partir de los datos observados. Esto se consigue de
distintas formas con el anlisis cuantitativo, as como con la seleccin adecuada
de los casos en la comparacin de n-pequea. El documento concluye con una
exposicin de las utilidades del estudio de caso.

Objetivo

Se busca proporcionar a los y las estudiantes las herramientas necesarias para

llevar a cabo una investigacin cuyos resultados constituyan una aportacin en la
disciplina, validados por procedimientos rigurosos de anlisis emprico. A partir de
los conocimientos adquiridos en esta materia, los y las estudiantes tendrn una
claridad suficiente sobre los criterios y los objetivos de la redaccin de sus tesis.

Aportes para el estudiante

A partir de la lectura del material, los estudiantes podrn abordar el anlisis de la

informacin emprica en trminos tales que los resultados constituyan evidencia a
favor de la hiptesis o refutndola. Comprendern la importancia del grupo de
control como representante de la condicin contrafctica. Conocern las
alternativas en el diseo de investigacin para poner a prueba hiptesis causales.

2
Bibliografa obligatoria

King, Gary, Robert O. Keohane, y Sidney Verba (2000), El diseo de la

investigacin social. La inferencia cientfica en los estudios cualitativos.
Madrid: Alianza, Cap. 5.

Ravallion, Martin (2001), The Mystery of the Vanishing Benefits: An Introduction to

Impact Evaluation, The World Bank Economic Review 15, Nm. 1, pp. 115-
40.

Bibliografa optativa

Geddes, Barbara (2003), Paradigms and sand castles: Theory building and
research design in comparative politics. Ann Arbor: University of Michigan
Press.

Gerring, John (2001), Social science methodology. A criterial framework. Nueva

York: Cambridge University Press.

Consigna del Ejercicio integrador (examen)

1. Plantea tu problema de investigacin en trminos contrafcticos: cmo

sera el caso o conjunto de casos que llamaron tu atencin, si la variable
independiente de inters tuviera un valor distinto al observado?
2. Qu variables pueden ser confusoras? Enumera las variables que
influyen en la variable dependiente y que podran estar relacionadas con la
variable independiente de inters.
3. Supongamos que realizars un estudio cuantitativo para poner a prueba tu
hiptesis
i. qu unidades vas a observar?
ii. Qu tcnica de anlisis vas a aplicar?
iii. Cmo se consigue que los resultados te informen sobre la
validez de la hiptesis?
iv. Qu tendras que observar si la hiptesis es correcta?

3
 Parte I. Inferencia Causal

El objetivo primordial del anlisis emprico consiste en evaluar si la evidencia es

consistente o no con nuestras hiptesis. Qu informacin conduce a concluir que
dos variables estn relacionadas de manera causal? La respuesta a esta pregunta
define la manera en que disponemos nuestras observaciones y el tipo de anlisis
que aplicamos a los datos.

El tipo de informacin que requerimos y la forma en que la analizaremos es una

decisin que se debe tomar a partir de una adecuada conceptualizacin de la
forma en que los casos seleccionados deben constituir evidencia. En principio, los
casos son evidencia cuando son comparables. De otra forma, nicamente
conduce a conclusiones equivocadas. Los casos son comparables cuando los
factores confusores (i.e., aquellos que podran influir en la variable dependiente)
se mantienen constantes.

En ocasiones, la costumbre y el sentido comn indican alguna de las siguientes

estrategias: seleccionar nicamente un caso para el anlisis, seleccionar algunos
casos en los que la variable dependiente tiene el mismo valor o valor similar, o,
por ltimo establecer si, entre los casos analizados, existe una correlacin entre
las variables dependiente e independiente. En el transcurso de este documento,
se argumentar que dichas estrategias de investigacin son errneas, si lo que se
quiere es evaluar la validez de una hiptesis.

Antes de exponer las distintas estrategias de investigacin, abordaremos la forma

en que deben plantearse los problemas empricos de inferencia causal. Una vez
que se entiende la naturaleza contrafctica de los problemas empricos, resulta
evidente el tipo de informacin apropiada para la hiptesis planteada.

4
1.1. El problema de la inferencia causal

Supongamos que se implementa una poltica pblica destinada elevar el

desempeo escolar de los estudiantes de zonas marginadas.1 La poltica pblica
fue implementada, y lo que podemos observar en un momento dado es el
desempeo mostrado por los estudiantes beneficiarios de la poltica. Cmo
debemos evaluar empricamente el xito o fracaso del programa?

Existen distintas alternativas que se nos podran ocurrir. Una de ellas es definir si
los estudiantes beneficiarios rebasaron un determinado umbral. Otra es comparar
el desempeo de los estudiantes beneficiarios con el de los no beneficiarios. Pero
vale la pena detenerse un momento a reflexionar antes sobre qu implica la
afirmacin La poltica educativa tuvo un impacto positivo sobre el desempeo
escolar.

Bien pensada, esta afirmacin no dice que el desempeo es alto. Nos hace
sentido pensar que la poltica pudo haber tenido un impacto positivo, an si no se
rebasa determinado umbral. De la misma forma, si las condiciones de los no
beneficiarios de la poltica son distintas a las de las condiciones de los
beneficiarios, es posible que existan diferencias entre ambos grupos aunque la
poltica haya sido exitosa. Asimismo, el cambio en el nivel de desempeo
registrado antes y despus de la implementacin de la poltica podra resultar
engaoso si las condiciones de los beneficiarios tambin cambiaron.

Lo que se implica al afirmar que la poltica tuvo un efecto positivo sobre el

desempeo es que, si la poltica no se hubiese aplicado, observaramos que los
beneficiarios presentan un nivel de desempeo inferior al observado. Supongamos
que nuestra hiptesis indica que la variable independiente X tiene un efecto causal
positivo sobre la variable dependiente Y. Por comodidad, supongamos que X
nicamente tiene dos valores: puede estar presente o puede estar ausente. Si la

1
Se utiliza el ejemplo de la poltica pblica, pero lo que se dice en esta seccin vale para cualquier
estudio en el que se pretenda evaluar el efecto de la variable independiente X sobre la variable
dependiente Y.

5
hiptesis es correcta, entonces el valor de Y en las unidades en las que X est
presente debe ser mayor, en promedio, al valor que tendra Y, en las mismas
unidades, si X hubiese estado ausente.

Desde esta perspectiva, la comparacin con los no beneficiarios no

necesariamente es relevante. Pero s tengo que hacer una comparacin. Tengo
que comparar el desempeo observado en los beneficiarios con el desempeo
que los mismos beneficiarios habran tenido si no se hubiese implementado la
poltica. A esto se le llama la perspectiva contrafctica de la causalidad.

Este planteamiento de inmediato presenta un problema para la investigacin

emprica. Yo puedo observar el nivel de desempeo de los beneficiarios. Tambin
puedo observar el nivel de desempeo de los no beneficiarios. Lo que no puedo
es observar, al mismo tiempo, el desempeo de los beneficiarios y el desempeo
de los mismos individuos si no se les hubiese aplicado el programa. Pero necesito
informacin de ambas condiciones, la observada y la contrafctica, para hacer
inferencias sobre el impacto causal de la poltica. A esto se le llama el problema
fundamental de la inferencia causal.

El diseo de investigacin consiste en formular mecanismos para obtener

informacin sobre la condicin contrafctica; esto es, el valor que habra tenido la
variable dependiente si la variable independiente hubiese adquirido un valor
distinto al observado. Podemos obtener informacin de este tipo si construimos
adecuadamente un grupo de control.

1.2. Por qu son importantes los grupos de control?

Una vez que se tiene un entendimiento de la perspectiva contrafctica de la

causalidad, es posible evaluar la conveniencia de distintas estrategias de
investigacin. Existen dos estrategias que no permiten hacer inferencias causales
porque no realizan comparaciones con la condicin contrafctica: el estudio de
caso y la seleccin por variable dependiente.

6
El estudio de caso es una estrategia equivocada porque utiliza una sola
observacin. Supongamos que mi problema de investigacin surge de notar que el
nivel de pobreza en Bangladesh es inferior al que cabe esperar dado su bajo nivel
de desarrollo. Supongamos que decido hacer un estudio del caso que llam mi
atencin y nicamente estudio este pas. En Bangladesh hay una alta densidad de
organismos no gubernamentales trabajando en proyectos comunitarios. Podra
concluir que la profusin de organismos no gubernamentales tiene un impacto
negativo sobre los niveles de pobreza.2 El problema con esta conclusin es que,
en sentido contrafctico, implica que, con una menor cantidad de ONGs en
Bangladesh, habramos observado un mayor nivel de pobreza al que
efectivamente se presenta. Sin embargo, el estudio de caso, por diseo, no
proporciona ninguna informacin sobre la condicin contrafctica. Sin esta
informacin, no podemos descartar la posibilidad de que Bangladesh tendra el
mismo nivel de pobreza si no hubiese ONGs. A esto hay que aadir que el estudio
de caso carece de valor terico. Con una sola observacin, es imposible
determinar qu aspectos del problema son sistemticos (es decir, generales a los
pases con bajos niveles de desarrollo) y qu aspectos son absolutamente
idiosincrticos (es decir, nicamente vlidos para un lugar y momento especficos).
Por lo tanto, el estudio de caso no puede ser til para efectos de la validacin
emprica de una hiptesis.

De esto podemos concluir que la investigacin emprica de hiptesis causales

debe ser comparada. Si queremos proporcionar evidencia en favor de hiptesis
causales, necesitamos analizar por lo menos dos unidades de observacin. Sin
embargo, la comparacin por s misma no basta. Existe una estrategia de
investigacin comparada que podra no ser adecuada para obtener inferencias
correctas. Se trata de la seleccin por variable dependiente. Este tipo de
investigacin comparada reproduce los problemas del estudio de caso en el
sentido de que no produce informacin sobre la condicin contrafctica.

2
Esta hiptesis, con la misma forma de razonar, es manejada por The Economist, 3 de noviembre
de 2012.

7
Supongamos que se desea determinar el efecto de la inversin pblica en ciencia
y tecnologa sobre la innovacin, medida como patentes registradas. Una forma
tpica de seleccin por la variable dependiente consiste en estudiar casos de
xito. Digamos que se estudian los 10 pases con mayor nmero de patentes y se
observa que tambin tienen niveles muy altos de inversin pblica en ciencia y
tecnologa. Puedo hacer inferencias sobre el efecto causal? Una vez ms, no
sera apropiado. No tenemos informacin sobre el nivel de patentes que tendran
esos pases si la inversin en ciencia y tecnologa hubiese sido inferior.
Finalmente, los pases con inversin pblica en ese rubro son pases con recursos
excedentes importantes, y podra ser que los recursos excedentes generados por
el sector privado sean invertidos en sus departamentos de investigacin y
desarrollo. Cmo sabemos que es una la causa y no la otra? En cualquier caso,
la comparacin en la perspectiva contrafctica debe ser tal que nos informe sobre
cmo seran los casos si la variable independiente hubiese tenido otro valor
distinto al observado. Por lo tanto, necesitamos garantizar que habr suficiente
variacin en la variable independiente (sin atender al valor de la variable
dependiente).

Entonces, la investigacin contrafctica debe ser comparada y con suficiente

variacin en la variable independiente de inters. Pero, de nueva cuenta, estas
dos condiciones no bastan. Pensemos en nuestro ejemplo de la poltica destinada
a elevar los niveles de desempeo escolar. En este caso, si comparamos
beneficiarios con no beneficiarios, tenemos toda la variacin posible en la variable
independiente. Supongamos que al comparar encontramos que el nivel de
desempeo de los beneficiaros es igual o incluso algo inferior que el de los no
beneficiarios. Sera correcto concluir que la poltica pblica no tuvo el impacto
deseado?

No se tiene la informacin suficiente para semejante conclusin. La poltica tiene

como beneficiarios a los estudiantes de sectores marginales. Ahora bien, la
pertenencia a estos sectores tiene un impacto directo e independiente sobre el
desempeo escolar, pues se sabe que menores niveles socioeconmicos se

8
asocian con menores niveles de desempeo. Entonces, si el grupo de
beneficiarios es al mismo tiempo marginal, los no beneficiarios no proporcionan
informacin sobre la condicin contrafctica. Como los no beneficiarios tambin
son ms aventajados desde el punto de vista socioeconmico, no nos sirven para
hacernos una idea de cul sera el desempeo de los beneficiarios si no hubiese
existido el programa.

Pensemos en otro ejemplo. Si se evala la asociacin entre niveles de pobreza y

grado de democracia, el resultado es que entre ambas variables existe una
correlacin negativa. Esto no basta para concluir que la democracia tiene un
efecto causal negativo sobre la pobreza. Por qu? Porque los pases ms
democrticos tienden a ser al mismo tiempo los pases con mayor nivel de
desarrollo econmico, y el desarrollo econmico impacta tambin sobre los niveles
de pobreza. Por lo tanto, la pobreza de los pases menos democrticos no
representa la pobreza que tendran las democracias si no fueran democracias.

Podemos hacer un planteamiento ms general sobre por qu la mera asociacin

no basta para concluir que existe una relacin causal.3 Es claro que, para
cualquier fenmeno que queramos analizar, existe ms de una causa. No hay
fenmeno que est determinado completamente por un nico factor. Nuestra
hiptesis seala un factor causal que, por importante que resulte, necesariamente
ser uno entre otras causas. Ahora bien, si la variable independiente o de
tratamiento X est asociado con alguna otra causa Z de la variable dependiente o
de resultado Y, la correlacin entre X y Y puede resultar engaosa.

Supongamos que observo que X y Y estn correlacionadas. Esto es lo que espero

observar si existe una relacin causal de X hacia Y. Pero tambin es lo que puede
pasar si existen otros factores Z, altamente correlacionados con X y Y. Si estos
factores existen, puede observarse una correlacin como la dicha aunque no
exista una relacin causal. A eso nos referimos cuando indicamos que la

3
Seguramente habrs escuchado la expresin correlacin no es causalidad. Lo que sigue explica
de dnde sale esta expresin.

9
correlacin entre X y Y es espuria. El diagrama 1 expresa la forma en que se dan
las correlaciones espurias. Las flechas indican la existencia de una relacin
causal. Ntese que las flechas van de Z a X y de Z a Y. Aunque no existe una
relacin causal entre X y Y, la mutua asociacin con Z hace que se muestren
como correlacionadas y que parezca que tienen una asociacin directa. Por eso,
en la literatura nos referimos a los factores simbolizados con Z como variables
confusoras.

Diagrama 1. Correlacin espuria

X = Tratamiento Y = Resultado

Z = Variables
confusoras

Pensemos en el ejemplo de la asociacin entre democracia (X) y pobreza (Y). El

nivel de desarrollo (Z) influye tanto en el nivel de democracia como en el de
pobreza. Por lo tanto, antes de concluir que la correlacin negativa entre
democracia y pobreza es indicativa de una relacin causal, debemos descartar
que dicha correlacin no es producida simplemente por la mutua asociacin con el
nivel de desarrollo.

Podemos realizar esa operacin proporcionando evidencia de que la asociacin

entre X y Y no es espuria sino parcial, como se muestra en el diagrama 2. Ntese
que X tiene una asociacin directa sobre Y, an descontando el efecto de Z sobre
X y Y.

10
 Diagrama 2. Correlacin parcial

X = Tratamiento Y = Resultado

Z = Variables
confusoras

Volviendo a nuestro ejemplo, tendramos que probar que la relacin entre

democracia y pobreza se sostiene an descontando el efecto del nivel de
desarrollo sobre ambas variables. Cmo podemos descontar el efecto de las
variables confusoras?

El procedimiento consiste en evaluar la relacin entre la variable independiente de

inters y la variable de resultado manteniendo constante el valor de la o las
variables confusoras. Cuando se puede lograr esto, obtenemos un adecuado
grupo para comparar los resultados y con suficiente variacin en la variable
independiente.

Qu significa esto? Si quiero estimar el efecto del rgimen poltico sobre los
niveles de pobreza, comparar democracias con no democracias es una mala
estrategia porque las no democracias son a la vez menos desarrolladas que las
democracias, y esto puede ser la causa de las diferencias en los niveles de
pobreza. Tengo que comparar a las democracias con no democracias, para tener
variacin en la variable independiente, pero no con todas las no democracias, sino
slo con aquellas no democracias que son similares. Similares en qu sentido?
En los valores de las variables confusoras. As, las democracias deben ser
comparadas con el subconjunto de las no democracias que son similares en
cuanto al nivel de desarrollo y otras causas de la democracia que podran estar

11
relacionadas con el nivel de pobreza, como la escolaridad de la poblacin, la
desigualdad del ingreso, la tasa de crecimiento econmico y el nivel de
democracia de los pases vecinos.

Si encontramos entre las no democracias un subconjunto que presenta valores

similares en cuanto a las variables confusoras,4 tenemos entonces un grupo de
control adecuado en la medida en que el valor de la pobreza registrado en el
grupo de control (no democracias) es el que observaramos en el grupo de
tratamiento (democracias) si la variable independiente fuera distinta (si esas
democracias no fueran democracias). Es decir, el grupo de control simula la
situacin contrafctica para el grupo de tratamiento.

4
En sentido estricto, los dos grupos deben ser iguales en cuanto al valor esperado de la variable
de resultado a partir del valor observado en las variables confusoras.

12
 Parte II. Mtodos y tcnicas de investigacin

Este apartado presenta algunas estrategias disponibles para construir grupos de

comparacin adecuados para poner a prueba hiptesis causales. Siguiendo la
distincin tradicional, estas estrategias se dividen en las familias llamadas
mtodos cuantitativos y mtodos cualitativos. La eleccin de cada una de estas
estrategias suele estar relacionada con las habilidades y las afinidades de quien
realiza la investigacin, aunque sera deseable que en la decisin jugaran un
papel las consideraciones metodolgicas sealadas en el anterior volumen de esta
gua. De cualquier forma, en ambos casos es necesario no perder de vista el
objetivo de la investigacin emprica, que es presentar evidencia sobre hiptesis
causales a partir de la comparacin entre grupos homogneos.

2.1. Mtodos cuantitativos

Por mtodos cuantitativos entendemos todos aquellos procedimientos que

analizan la informacin usando herramientas de la estadstica y la teora de la
probabilidad. Estas herramientas tienen mltiples usos y son explicadas con
detalle y de manera tcnica en la gua de mtodos cuantitativos. En esta seccin
recurrimos a un tratamiento intuitivo y nos enfocaremos en la forma en que son
utilizadas en el anlisis emprico para evaluar hiptesis causales.

Anlisis de regresin

El anlisis de regresin es la base de buena parte de los enfoques cuantitativos

para evaluar si la evidencia es consistente con la presencia de relaciones
causales. El anlisis de regresin arroja estimaciones de la asociacin entre dos
variables.

El principio es el siguiente. La grfica 1 es un diagrama de dispersin que muestra

los datos de escolaridad promedio de la poblacin mayor a 15 aos en el eje de

13
las X y el Producto Interno Bruto por poblacin en edad de trabajar5 en el eje de
las Y. Los datos corresponden a 133 pases en el ao 2005. Cada punto
representa la ubicacin de un pas a partir de la combinacin de valores que
presenta en las dos variables. Las observaciones son colocadas por orden
ascendente de la variable independiente, lo que nos permite observar qu pasa
con la variable dependiente (si aumenta su valor, o si disminuye o si se mantiene
ms o menos igual) a medida que el valor de la variable independiente va
aumentando.

A partir de estos datos, es posible resumir la tendencia general que muestra la

asociacin entre escolaridad y PIB por trabajador. Esto se hace obteniendo el
promedio de PIB por trabajador para cada valor de la escolaridad media. Con esta
estimacin, podemos trazar la lnea de regresin, que es la que aparece en la
grfica. Cada punto en la lnea de regresin representa el valor que se espera

5
Se trata de un indicador de productividad. Los datos son transformados a escala logartmica.

14
encontrar en la variable dependiente (PIB por trabajador) para un valor
determinado de la variable independiente (escolaridad).

La pendiente de la lnea est dada por el coeficiente de regresin, al que

usualmente nos referimos por la letra griega (beta). El coeficiente indica cunto
cambia la variable dependiente cuando la independiente cambia en una unidad.
En el ejemplo, cuando la escolaridad media de los pases aumenta en un ao, el
logaritmo del PIB por trabajador aumenta en .31 unidades. A mayor magnitud del
coeficiente de regresin, mayor fuerza de la asociacin entre las variables.
Visualmente, esto se detecta cuando la lnea de regresin tiene una pendiente
muy pronunciada.

Lo deseable es que el coeficiente nos diese una estimacin del efecto causal de
X sobre Y. Sin embargo, la regresin simple, con una sola variable independiente,
no puede arrojar esto. Las razones ya deberan ser claras. En esa asociacin no
se toma en cuenta el efecto de otras posibles causas. Por ejemplo, un
determinante de la productividad es el nivel de inversin de capital. Los recursos
de inversin tambin pueden ser usados para la formacin de capital humano. La
asociacin entre escolaridad y PIB por trabajador podra reflejar (al menos en
parte) la relacin entre inversin y escolaridad.

Regresin lineal mltiple

El mtodo de regresin puede ser ampliado para incluir ms variables

independientes. Cuando somos capaces de identificar y medir todas las variables
que potencialmente tuviesen un efecto confusor (es decir, todas las variables que
tienen un efecto sobre la variable independiente de inters y sobre la variable
dependiente) podemos tener una estimacin del efecto causal sealado en
nuestra hiptesis.

Supongamos que nos interesa el efecto del rgimen poltico sobre la pobreza. Una
regresin en la que la nica variable independiente fuese si el rgimen es
democrtico o no arrojara resultados que no pueden ser tomados como

15
conclusivos, por las razones ya expuestas. Sin embargo, podemos hacer un
anlisis de regresin mltiple aadiendo variables de control para escolaridad de
la poblacin, la desigualdad del ingreso, la tasa de crecimiento econmico y el
nivel de democracia de los pases vecinos. El nuevo coeficiente para la variable
democracia va a descontar el efecto del resto de las variables.6

Cuando aplicamos una regresin mltiple como la indicada, lo que obtenemos es

subestratos de unidades de observacin conformados por las distintas
combinaciones de valores para las variables de control. Estas combinaciones se
mantienen fijas dentro de cada subestrato, y se analiza cmo cambia la variable
dependiente cuando la independiente cambia de valor; por ejemplo, de no
democracia a democracia. El coeficiente resultante es el promedio de ese cambio
para todos los subestratos.

En un sentido tcnico, para el anlisis de regresin no existe diferencia entre la

variable independiente de inters (la correspondiente a nuestra hiptesis) y el
resto de las variables, que llamamos variables de control. Esta distincin es
analtica y seala el tipo de informacin que queremos obtener y la funcin que
cumplen las distintas variables. En nuestro ejemplo, el coeficiente que nos interesa
es el correspondiente a democracia. El resto de las variables se incluye para que
tengamos una mejor estimacin del coeficiente de democracia, y los coeficientes
asociados a estas variables slo tienen un inters secundario.

Propensity score matching

Otra alternativa consiste en comparar la variable de resultado para grupos

similares en cuanto la probabilidad de los individuos de ser seleccionados para el
tratamiento. Este mtodo, conocido como el propensity score matching
(comparacin por ndice de propensin), tambin se dirige a formar grupos
homogneos en cuanto al efecto de los factores confusores.

6
Por ejemplo, cuando se incluye una variable de inversin de capital a la regresin de escolaridad
sobre PIB por trabajador, el coeficiente de escolaridad resultante es bastante ms reducido que el
arrojado por la regresin simple.

16
El procedimiento funciona as. Supngase que queremos evaluar el efecto de la
poltica educativa para que los estudiantes de zonas marginadas incrementen su
nivel de desempeo educativo. Se inicia obteniendo la probabilidad de participar
en el programa a partir de las caractersticas de los estudiantes que, segn las
reglas de la poltica, son observadas para definir quin es beneficiario y quin no.
En el caso de nuestra poltica hipottica, estas caractersticas pueden ser la zona
de residencia, el ingreso familiar y los bienes del hogar. Tambin sera
conveniente aadir otros determinantes de la marginacin y el desempeo
escolar, como la escolaridad de los padres y su oficio. Con estas variables, que
son las confusoras, se obtiene una probabilidad de participacin que adquiere
valores de cero a uno. Esta probabilidad es el ndice de propensin.

Con esta informacin se obtienen grupos de individuos similares en la probabilidad

de participacin (a partir de rangos en los valores del ndice de propensin) y para
cada grupo se compara el valor medio del desempeo escolar de los participantes
con el de los no participantes. La diferencia entre ambos valores es una
estimacin del impacto causal del programa en ese grupo. Dicha diferencia se
promedia para todos los grupos y el resultado es el impacto causal medio del
tratamiento entre los tratados.

La regresin lineal mltiple y la comparacin por ndice de propensin arrojan

resultados muy slidos si el anlisis incluye todas las variables confusoras. Este
requisito podra ser complicado. Podra ser el caso que exista una variable que
sabemos que influye pero no la podemos medir. Ms grave an, podra ser el caso
que incluyamos variables de todos los factores confusores conocidos, pero an as
quede fuera algn factor influyente pero cuya existencia ignoramos. De hecho,
siempre existe la posibilidad de que nuestra estimacin no incluya un factor causal
que nuestro conocimiento an no ha detectado. Si es as, nuestros resultados
sern sospechosos de incurrir en lo que se conoce como sesgo por variable
omitida.

17
Se dir, razonablemente, que es imposible incluir factores que se ignora que
existen. Sin embargo, existen tcnicas para descontar el efecto de variables no
observadas. Aqu presentaremos dos.

Efectos fijos

Si se tienen diversas observaciones para cada unidad de anlisis, los datos tienen
una estructura de panel, y es posible sacar provecho de esa situacin para la
inferencia causal. Se tiene un panel, por ejemplo, cuando nuestra unidad de
observacin es el pas y para cada pas se tienen distintas mediciones de las
variables tomadas en el tiempo, como puede ser el nivel del PIB per cpita, la
inflacin, la poblacin etc. Otra variante, para un mismo momento en el tiempo,
consiste en que cada unidad se compone de unidades en un nivel inferior, como
cuando tenemos estudiantes agrupados en escuelas o trabajadores agrupados en
empresas.

Con los datos dispuestos de esta forma, es posible obtener estimaciones precisas
para hiptesis causales, an sin tener observaciones para determinadas variables
confusoras. Por ejemplo, podemos estimar el efecto del capital humano sobre la
productividad obteniendo ms observaciones de los mismos pases para distintos
aos. Se realiza una regresin similar a la que mostramos en el ejemplo, pero
ahora incluyendo una variable que indique a qu pas corresponde el dato (una
para cada pas). En la conocida como regresin con efectos fijos, las variables que
indican pertenencia del dato al pas ocupan el papel de todas las caractersticas
que distinguen a los pases entre s, que son constantes para las observaciones
de un mismo pas y que pueden influir sobre la variable dependiente. Por lo tanto,
aunque no se tengan observaciones sobre esas variables confusoras especficas,
y aunque no se conozca siquiera su existencia, su efecto ser descontado al
estimar el coeficiente para escolaridad. Recurdese que en la investigacin no
tenemos un inters sustantivo en el efecto de las variables confusoras;
nicamente deseamos controlar por su efecto.

18
Un procedimiento similar aplica cuando se registran distintas observaciones en
distintos momentos del tiempo. En este caso, se puede estimar el efecto del
cambio (esto es, la diferencia entre un ao y otro) en la variable independiente
sobre el cambio en la variable dependiente. Este mtodo se conoce como la doble
diferencia. En este caso no hace falta controlar las variables que permanecen
constantes al interior de cada unidad: como por definicin permanecen constantes
en el tiempo, no puede tener efecto con una variable que cambia en el tiempo. De
esta forma, la asociacin de los factores estructurales es descontado del efecto
causal de la variable independiente sobre la de resultado, sin necesidad introducir
observaciones para estas variables.

En ambos casos, el investigador puede olvidarse de la necesidad de observar las

variables confusoras, conocidas o no, puesto que el modelo de anlisis controla
por ellas. Sin embargo, esto es cierto slo para las variables que no cambian de
valor para la misma unidad. Si existen variables que pueden influir en el resultado
pero que adems puedan cambiar de valor al interior de una misma unidad, es
necesario adquirir observaciones sobre ellas porque requieren de control explcito.

La ltima estrategia cuantitativa a resear no presenta este inconveniente. Se trata

de la regresin con variables instrumentales. Todo el secreto del procedimiento
consiste en dar con una variable W que est altamente asociada con la variable de
inters X, pero que no tenga una asociacin directa con la variable de resultado Y.
Si se cumple esta condicin, se dice que W es un instrumento de X.

Al contar con un instrumento, se procede obteniendo el valor esperado de X a

partir de los valores de W. Entonces, se hace la regresin del valor esperado de X
sobre Y. La regresin de X sobre Y arrojara una mala estimacin del efecto de X
sobre Y, puesto que no se toma en cuenta el efecto de las variables confusoras,
asociadas tanto con X como con Y. En cambio, como el valor esperado de X
depende nicamente de W, se descarta que exista otra variable influyendo en este
valor. Por otro lado, como W no tiene asociacin directa con Y (que no sea a

19
travs de X) no existen factores confusores que pudieran influir a travs del
instrumento.

Pinsese en el siguiente ejemplo. Queremos estimar el efecto de la identificacin

partidista sobre el voto por determinado candidato. Digamos, el efecto de la
identificacin con el Partido Demcrata sobre el voto por Barack Obama. El
problema aqu no slo es que la identificacin partidista est muy asociada con
otras variables que influyen en el voto, como es la apreciacin de la situacin
econmica. Adicionalmente existe un problema de causalidad inversa: buscamos
el efecto de la identificacin con el voto, pero la relacin podra ser la inversa,
cuando la decisin de votar por un candidato hace que las personas generen
identificacin por el partido que lo postula.

Este problema puede ser resuelto si se encuentra un buen instrumento para la

identificacin partidista. Una posible variable instrumental puede ser la
identificacin partidista de los padres. Desde la perspectiva de la socializacin
poltica, los padres transmiten a sus hijos en temprana edad distintos valores entre
los que se encuentra la identificacin con el partido de su propia preferencia. Esta
sera la nica forma en la que la identificacin de los padres influye sobre el voto
en un momento determinado, pues no existen mecanismos de relacin directa de
la identificacin partidista de los padres con el voto. Entonces, correspondera
obtener una estimacin de la identificacin partidista a partir de la identificacin
partidista de los padres.

20
Bibliografa

Geddes, Barbara. Paradigms and sand castles: Theory building and research
design in comparative politics. Ann Arbor: University of Michigan Press,
2003.

Gerring, John. Social science methodology. A criterial framework. Nueva York:

Cambridge University Press, 2001.

Gerring, John. What is a case study and what is it good for? American Political
Science Review 98, n 2 (2004): 341-54.

Kellstedt, Paul M., y Guy D. Whitten. The fundamentals of political science

research. Nueva York: Cambridge University Press, 2009.

King, Gary, Robert O. Keohane, y Sidney Verba. Designing social inquiry:

Scientific inference in qualitative research. Princeton: Princeton University
Press, 1994.

Lijphart, Arend. Comparative politics and the comparative method . The

American Political Science Review 65, n 3 (1971): 682-93.

Ravallion, Martin. The Mystery of the Vanishing Benefits: An Introduction to

Impact Evaluation. The World Bank Economic Review 15, n 1 (2001):
115-40.

21