La experimentación en el estudio del impacto de los programas sociales de micro-financiamiento

Sailis Quesada Requejo

“La experimentación debe ser parte
del repertorio empírico diario del politólogo”
Donald Kinder y R. Palfrey Thomas

Introducción

La metodología experimental ha sido ampliamente utilizada en las ciencias naturales,

sin embargo en las sociales y particularmente en la ciencia política su utilización ha sido
escasa, con algunas excepciones en las que resalta la academia estadounidense, a pesar
de las posibilidades que ofrece para aislar relaciones causales y descomponer y explicar
relaciones complejas.
En el estudio del impacto de los micro-financiamientos existen acercamientos desde la
experimentación, como los realizados desde el Laboratorio de Acción Contra la Pobreza
J-PAL, pero de manera general son muy poco frecuentes, a pesar de la necesidad de
aclarar contradicciones en los resultados obtenidos mediante los llamados métodos
formales.
Desde mediados de la década de 1970 los programas de micro-financiamiento
comenzaron a cobrar auge como una estrategia para combatir la pobreza y hasta la fecha
se han mantenido como una de las prácticas más recurrentes en la lucha contra ese
fenómeno.
Desde la literatura institucional y académica se ha documentado la relación entre el
acceso a los servicios financieros formales y el desarrollo socioeconómico, pues estos
créditos han servido para impulsar o fomentar actividades productivas, pequeñas
empresas familiares, satisfacer necesidades de consumo doméstico básico y superar
eventualidades como enfermedades, fallecimientos o desastres naturales (Rowlands,
1997; Tuñón, 2010, Coneval, 2016 y Sierra, 2017).
Los programas de micro-financiamientos han experimentado diversas modificaciones
desde su surgimiento, en búsqueda de trascender su objetivo más elemental que es
promover el desarrollo económico a través de la generación de ingresos. Al decir de
Muhammad Yunus, fundador del Grameen Bank, pionero en la entrega de micro-
financiamientos, estos programas deben pretender el desarrollo pleno del potencial de
cada persona, complementándolos con capacitaciones, talleres, oportunidades para
acceder a servicios educativos y de salud, entre otras posibles estrategias. (Sheston y
Khun, 2001)
Estudiar su impacto resulta imprescindible como ejercicio de reflexión acerca de su
pertinencia y posibilidades de modificación y perfeccionamiento. En este sentido la
 La experimentación en el estudio del impacto de los programas sociales de micro-financiamiento
Sailis Quesada Requejo

metodología experimental resulta una poderosa herramienta de investigación ante los

resultados tan variados que han arrojado las investigaciones basadas en métodos más
tradicionales como las investigaciones por encuestas y los estudios de caso basados en
entrevistas y observación.
Uno de los conflictos más visibles en los resultados de los estudios de impacto de
micro-financiamiento es entre quienes sostienen que son una herramienta eficaz en el
combate a la pobreza (Hidalgo-Celarié, Altamirano-Cárdenas, Zapata-Martelo y
Martínez-Corona, 2005; Sheston y Khun, 2001), con resultados como el 80 % de las
empresas estudiadas, creadas con un micro-financiamiento se mantenían funcionando
más de un año después y entre quienes afirman que están sobrevalorados (Aguilar-
Pinto, Tuñón-Pablos y Morales-Barragán, 2017) con resultados como el incremento del
endeudamiento familiar, la creación de empresas con escasos rendimientos, que operan
en la informalidad, con opciones de financiamiento limitadas o nulas y con pocas
posibilidades de subsistir y de fomentar empleo continuo.
La experimentación ha sido más utilizada en la medición de efectos de políticas
públicas en general, pero ha sido escasa en la evaluación de impactos. Cabe resaltar la
diferencia entre efecto e impacto, los primeros se manifiestan inmediatamente termina
la intervención y el impacto tiempo después, va más allá del ámbito de acción del
proyecto es el más alto nivel al cual espera contribuir la intervención, al cambio social
al que aspira, es también lo más difícil de medir (Cardoso, 2013), por lo que existe una
menor bibliografía sobre el tema.
Este ensayo explora las posibilidades de la metodología experimental en la evaluación y
análisis del impacto de micro-finanzas, para aportar respuestas que ayuden a aclarar las
contradicciones existentes, como un instrumento para la triangulación del proceso
investigativo, como un elemento que pueda contribuir a la validación empírica de
resultados obtenidos mediante modelos formales (trabajos de archivo, análisis
cuantitativo, estudios de caso, trabajos de campo) o probar y explorar hipótesis que
hayan sido generadas desde esos modelos y viceversa. (McDermott, 2002)
En el Desarrollo primeramente se explican diferentes tipos de experimentos, además del
conocido experimento en laboratorio, el experimento y los estudios de campo y se
debaten las posibilidades que ofrecen para el estudio de impactos de micro-
financiamientos.
Luego se debate sobre las medidas para evitar desviaciones, sesgos y errores, cómo
conseguir validez interna y externa y finalmente se comentan las ventajas y desventajas
 La experimentación en el estudio del impacto de los programas sociales de micro-financiamiento
Sailis Quesada Requejo

de esta metodología aplicada a este campo de estudio. En las Conclusiones se sintetizan

las diferentes posturas abordadas y emito mis criterios sobre la pertinencia de las
mismas, basados en los elementos analizados.
El propósito es ilustrar brevemente la importancia de la experimentación en este tipo de
estudios, manteniendo la perspectiva crítica, discutiendo sus beneficios e inconvenientes
y la posibilidad, más bien necesidad, de utilizarla conjuntamente con otras
metodologías.
Desarrollo

La experimentación es necesaria porque reduce la posibilidad del sesgo que existe en

formas de observación menos rigurosas, con la introducción de procedimientos,
medidas y análisis estandarizados (McDermott, 2002).
En el estudio del impacto de los micro-financiamientos un experimento puede medir
desde cuestiones cuantitativas como el ingreso en los negocios que se crean o fomentan
a partir del microcrédito, el ingreso en los hogares, cambios en los niveles adquisitivos,
en los hábitos alimenticios, hasta cuestiones más subjetivas como el cambio en la
capacidad de tomar decisiones, el aumento en la participación en actividades públicas o
la creación de nuevas expectativas de vida y desarrollo, solo se requiere diseñar el
instrumento experimental adecuado al objetivo de la investigación.
Generalmente cuando se piensa en experimentar se asocia al laboratorio, debido a que
esta forma de experimentación ha sido la más extendida (Cardoso, 2013), se caracteriza
por aislar físicamente a los sujetos de observación que han sido seleccionados para la
muestra.
Otras formas posibles son los experimentos de campo, que se realizan fuera del
laboratorio, pero permiten cierto control sobre las variables de interés y no requiere
introducir variables artificiales, por lo que gozan de gran validez externa, aunque en
ciertos casos sacrifican elementos de la validez interna y, los estudios de campo, que
permiten una mirada retrospectiva a efectos o impactos de eventos que ocurrieron
naturalmente, con el propósito de mantener el máximo realismo. Lo ideal para un
estudio de este tipo es analizar el sujeto antes y después del cambio que interesa, aunque
se realizan fuera del laboratorio el investigador también puede mantener control sobre
las variables. (McDermott, 2002)
Un experimento implica aislar el impacto del programa que se decida estudiar para
valorar cuáles son los cambios que genera en sus beneficiarios, esto se logra creando un
 La experimentación en el estudio del impacto de los programas sociales de micro-financiamiento
Sailis Quesada Requejo

grupo de tratamiento (o varios, según el experimento particular), que en este caso serán
las personas que reciben el micro-financiamiento y un grupo de control, integrado por
personas con características socioeconómicas similares, pero que no reciben el apoyo.
Se trata de construir un estado contra factual que estime lo que habría ocurrido de no
haberse realizado la intervención. En este caso, es muy conveniente seleccionar
personas que cumplieron los requisitos para obtener el micro-financiamiento y
finalmente no lo recibieron para el grupo de control (Banco Mundial, 2004, p.237). Esta
rigurosa selección contribuiría a garantizar que los cambios que se medirán se deben
precisamente al programa estudiado y no a otros sucesos.
La selección del tamaño de la muestra, según Gustafson (2003) podría realizarse de dos
formas, la aleatorización completa, cuando se hace independientemente de la cantidad
de individuos que reciban el microcrédito y al de control y la aleatorización restringida
cuando se impone la condición de que ambos grupos tengan la misma cantidad de
participantes. Este autor sostiene que ambas formas mantienen las mismas propiedades
estadísticas.
Una vez conformados los grupos se hacen mediciones iniciales y finales en ambos,
realizando las modificaciones en la variable independiente y observando cómo se
comporta la dependiente, teniendo en cuenta los aspectos que se pretenda observar, los
indicadores que se hayan desarrollado y la guía del experimento, para identificar los
cambios en los sujetos de estudio, cuya única causa se vincula con la actividad
desarrollada en el grupo de tratamiento.
Existen dos posibilidades de comparaciones, una de corte longitudinal, que serían
comparaciones antes y después en el mismo grupo y las comparaciones transversales,
que serían comparando resultados entre los grupos.
Un ejemplo de un estudio que emplea esta metodología a través de un experimento
aleatorio en campo es el realizado por Angelucci, Karlan y Zinman (2015) sobre el
impacto social y económico del acceso a crédito Mujer de Compartamos Banco, en el
estado de Sonora, México, en el que usaron como grupo de tratamiento a beneficiarias
del programa y como grupo de comparación a quienes lo solicitaron pero no lo
obtuvieron o quedaron pendientes para aperturas posteriores del crédito. Obtuvieron los
datos realizando encuestas telefónicas de alta frecuencia con las que recolectaron
información de ingreso y gasto
 La experimentación en el estudio del impacto de los programas sociales de micro-financiamiento
Sailis Quesada Requejo

Esta manera de ir obteniendo datos en intervalos cortos les permitió una medición más
sólida de los resultados, que cuando se realizan únicamente una encuesta inicial y una
final o entrevistas, una vez concluido el proceso, pues pueden distorsionarse.
Los detractores de la experimentación podrían argumentar que esta técnica podría
aplicarse a través de un análisis estadístico solo con el grupo de beneficiarias, sin
embargo si no se tiene el grupo de control no se puede estimar que habría pasado de no
entregarse los micro-financiamientos.
Esta investigación encontró importantes y novedosos resultados, como que los micro-
créditos aumentaban el acceso a los servicios financieros formales y permitieron que
algunas empresas se expandieran, pero no aumentaban los ingresos de los hogares ni
promovían la creación de nuevas empresas, que es uno de sus propósitos. Además, el
endeudamiento informal aumentó a 6.2 por ciento en los hogares de las beneficiarias,
mientras que en las áreas donde Compartamos no ofreció los préstamos solo creció 1.1
puntos porcentuales.
Ashraf, Karlan y Yin (2006) en un experimento aleatorio estudiaron los diferentes
impactos de un sistema de ahorros y préstamos en los que a unos clientes y clientas se
les daba un tratamiento convenciéndolos de la importancia de ahorrar y se
comprometían a no retirar su dinero en un determinado período y otros recibían
información con estrategias de marketing sobre la importancia del ahorro y en que
podían utilizarlo.
Así, para su estudio crearon dos grupos de tratamiento: el grupo de “compromiso” y el
de “marketing” y un grupo de control; y les fueron realizando encuestas en diferentes
etapas, según el tratamiento que aplicara el banco. Sus resultados demostraron que las
mujeres con acceso a crédito, aumentan su poder en la toma de decisiones intrafamiliar
y suelen destinar sus ingresos a bienes duraderos en la casa.
Me parece relevante este trabajo porque analiza experimentalmente el proceso de
cambio en la autonomía femenina y su influencia dentro del hogar, elementos que con
muy poca frecuencia se abordan desde esta metodología. De hecho, algunos autores
(Merolla, Stephenson y Zechmeister, 2007 y Cardoso, 2013) aluden a la
experimentación como un instrumento casi exclusivo de la investigación cuantitativa, en
mi opinión denota la falta de exploración de las posibilidades que esta técnica ofrece y
de creatividad para diseñar los instrumentos adecuados.
Otro estudio que explora nuevas facetas de los impactos de las micro-finanzas es el de
Karlan y Zinman (2007), quienes documentan cómo la expansión aleatoria de crédito al
 La experimentación en el estudio del impacto de los programas sociales de micro-financiamiento
Sailis Quesada Requejo

consumo en Sudáfrica, generó incrementos en el empleo, reducción del hambre y la

pobreza y además los prestamistas también resultaron beneficiados.
Esos resultados reivindican la necesidad de incorporar la experimentación al estudio del
impacto de microcréditos en combinación con otros métodos que lleven a la unificación
de los hallazgos obtenidos para poder establecer conclusiones y teorías firmes sobre
esos programas.
Para garantizar el rigor de la investigación experimental se mide la validez interna y la
externa, la primera se refiere a la correcta implementación del experimento y la última a
los segmentos de la población, herramientas y variables de tratamiento a los que puedan
generalizarse los resultados. (McDermott, 2002)
Posibles amenazas a la validez interna de los estudios de impacto de micro-finanzas,
sobre todo en los estudios longitudinales, es lo que McDermott denomina mortalidad,
con lo que no solo se refiere a la muerte de sujetos que integran el grupo de control o el
de tratamiento, se refiere de manera general a la desvinculación de ellos del estudio por
cualquier motivo. Sin embargo el investigador puede continuar su estudio, aunque
ocurran estos incidentes, solo necesita el estricto control sobre estos “desgastados” o
“contaminados” para realizar sus cálculos sobre los “realmente tratados.”
Larrú (2008) explica cómo se pueden superar esos contratiempos con fórmulas
algebraicas, por ejemplo, para medir el efecto del tratamiento sobre los
intencionalmente tratados (todos los del grupo tratamiento respecto a todos los del
control con independencia de que haya desgastados en el tratamiento y contaminados en
el control) y el impacto del tratamiento sobre los realmente tratados (tratados menos
desgastados más controlados contaminados).
Si T es todo el grupo de tratamiento al comienzo del periodo y C el grupo de control,
siendo A los desgastados y K los contaminados, el impacto promedio de los
intencionalmente tratados (IIT) se calcula: IIT=E(TIT=1)-E(CIT=0), es decir, “la
diferencia entre la esperanza de los tratados condicionada a haber sido realmente
tratados, menos la esperanza de los controlados condicionada a realmente no haber
participado en el programa.” (Larrú, 2008, p.51)
Una vez que conocemos el subgrupo de los desgastados y contaminados, el impacto
promedio de los realmente tratados (IRT) es: IRT=E[(TTIT=1)-(TAIT=0)]-
E[(CCIC=1)-(CKIC=0)], o sea la diferencia entre la esperanza de todos los inicialmente
tratados menos los que abandonaron antes de terminar el programa completo, y todos
 La experimentación en el estudio del impacto de los programas sociales de micro-financiamiento
Sailis Quesada Requejo

los inicialmente asignados al grupo de control menos los que se contaminaron durante la
ejecución. (Larrú, 2008, p.51)
La historia, grandes cambios económico-sociales, eventos naturales que incidan
bruscamente en los sujetos de observación también pueden alterar los resultados, por
ejemplo, una crisis económica o un huracán que dañe fuertemente la región donde se
realiza el experimento y son cuestiones que no puede predecir el investigador, pero debe
tenerlas en cuenta.
Igualmente el que se conozcan algunos de los integrantes del grupo de tratamiento o
control puede atentar contra la validez interna, porque existe, entre otras, la posibilidad
de que realicen conjeturas sobre si podrían obtener determinados beneficios si la
investigación arroja unos resultados u otros y modificar su conducta en función de esa
creencia o en función de sentirse emulados por alguien de su vecindario, trabajo o
cualquiera sea el ámbito que comparten estas personas que se conocen.
En cuanto a la validez externa la principal amenaza en estos estudios, en mi opinión,
sería el efecto Hawthorne que consiste en que los sujetos cambian su comportamiento o
reporten condiciones diferentes a las que realmente están viviendo solo porque saben
que están siendo observados.
Otra posibilidad es que aspectos inesperados del experimento pueden inducir a los
sujetos a dar respuestas sistemáticamente irrelevantes o medidas particulares, que luego
se consideran efectos del tratamiento. (McDermott, 2002)
La experimentación, como todos los métodos de investigación, también presenta
limitaciones a las que el investigador debe estar muy atento para evitar la distorsión de
los resultados. Un hándicap puede ser la necesidad de acceder oportunamente a la
investigación, pues varios diseños precisan iniciar la recolección de datos y la selección
de la muestra desde el momento mismo en que se comienza a implementar un
programa, como en la investigación de Angelucci et al. ( (2015) expuesta anteriormente.
Otro riesgo es el de tratar a las personas como “conejillos de indias” por centrarse solo
en los propósitos del estudio, pues el investigador, aunque tenga escaso contacto con los
sujetos estudiados debe mantener su perspectiva humanitaria y el principio de que el
bienestar e integridad de los individuos es primordial. En el caso particular de los
microcréditos, se debe tener en cuenta que son susceptibles de ser utilizados por los
funcionarios como una herramienta para el clientelismo político o estar asociados a
otros malos manejos y formas de corrupción.
 La experimentación en el estudio del impacto de los programas sociales de micro-financiamiento
Sailis Quesada Requejo

A pesar de estas posibles limitaciones, la experimentación permite explorar a detalle los

diferentes aspectos que modifica un microcrédito en la vida de un individuo y mostrar
relaciones complejas de causalidad, por lo que son muy adecuadas para las mediciones
y análisis de impacto, teniendo en cuenta que este se refiere a los cambios producidos
por el micro-financiamiento en la vida de las personas que perduran cuando esa ayuda
económica ya no está siendo recibida.

La experimentación ofrece un panorama “muy sugerente”, al decir de Larrú (2008,

p.56), para seguir investigando los impactos de los créditos en general y los
microcréditos en particular, no solo desde la ciencia política, también desde la
economía, la antropología y las teorías feministas.

Conclusiones

Las evaluaciones de impacto formales pueden responder a la pregunta ¿qué cambios en

la vida de los individuos se deben exclusivamente a los microcréditos?, la metodología
experimental además de ofrecer elementos para responder a esa pregunta tiene el valor
de poder responder también ¿cómo serían sus vidas si no los hubieran recibido?, esa
aproximación contra-factual que permite construir el experimento es uno de sus más
valiosos aportes.
Al tener los sujetos observados la misma probabilidad de recibir un crédito o no, las
evaluaciones experimentales permiten estudiar hipótesis y medir impactos sin caer en
los sesgos de selección en que pueden incurrir los métodos no experimentales, permiten
calcular los contra-factuales de los programas micro-crediticios con rigor y exactitud.
Uno de los argumentos con los que se ha justificado el escaso empleo de la
experimentación en la ciencia política ha sido la dificultad para reproducir en
laboratorio aspectos culturales y sociales de fenómenos particulares, en este sentido los
experimentos de campo ofrecen una solución.
Otro señalamiento recurrente a esta metodología ha sido los altos costos que puede
implicar, sin embargo existen diseños eficaces que no implican grandes recursos, sobre
todo cuando se planifican desde los primeros momentos de implementación de los
programas y se pueden utilizar recursos como las llamadas telefónicas, para evitar viajes
costosos.
Por supuesto, la experimental no es la única metodología válida para estudiar impactos
de micro-finanzas, lo que se plantea a lo largo de este ensayo es que una posibilidad
 La experimentación en el estudio del impacto de los programas sociales de micro-financiamiento
Sailis Quesada Requejo

para realizar estudios óptimos serían investigaciones que paralelamente al experimento

desarrollen otras técnicas que permitan triangular los resultados obtenidos y explorar si
existen efectos no previstos o teorías implícitas que no se tuvieran en cuenta.
Este ensayo no pretende hacer una apología de ese método, se analizaron diferentes
contextos en los que puede utilizarse y se debatieron sus características, ventajas y
limitaciones con el fin de mostrar su pertinencia e invitar a la reflexión sobre las
posibilidades que ofrece en el estudio del impacto de políticas públicas y
particularmente en los programas micro-financieros.
Referencias bibliográficas

Angelucci, M., Karlan, D. y Zinman, J. (2015) Impact of Microcredit for Women in

Mexico. American Economic Journal: Applied Economics. 7(1). Recuperado de:
https://www.aeaweb.org/articles/pdf/doi/10.1257/app.20130537 (10/10/2018)

Ashraf, N.; D. Karlan y Yin, W. (2006): Female Empowerment: Impact of a

Commitment Savings Product in the Philippines. Quarterly Journal of
Economics. 121 (2), p. 635-672. Recuperado de:
http://www.people.hbs.edu/nashraf/FemaleEmpowerment_WorldDev.pdf
(3/12/2018)

Banco Mundial (2004) La pobreza en México: una evaluación de las condiciones, las
tendencias y la estrategia del gobierno. México. Recuperado de:
http://documentos.bancomundial.org/curated/es/746301468761399674/La-
pobreza-en-Mexico-una-evaluacion-de-las-condiciones-las-tendencias-y-la-
estrategia-del-Gobierno (2/12/2018)

Cardoso, M. (2013) Políticas públicas: los debates de su análisis y evaluación. Revista

Andamios 10 (21). México. Recuperado de:
https://andamios.uacm.edu.mx/index.php/andamios/article/view/285
(01/12/2018)

Coneval (2016) Evaluación integral del desempeño de los programas federales de

microcréditos 2014-2015. Recuperado de:
https://www.coneval.org.mx/Evaluacion/IEPSM/IET/Documents/2014/Microcre
ditos.pdf?
fbclid=IwAR3toMjBo_OS5C1oM06bekBqoNBPaq3nlp7EXSyJM_jI93mVzGv
Xnm-bQPk (28/11/2018)

Gustafson, P. (2003): How Random Must Random Assignment Be in Random

Assignments Experiments? En: Larrú, J. M. (2008) Las evaluaciones de impacto
con asignación aleatoria y los microcréditos. Revista de Economía Mundial,
núm. 19, 2008, pp. 33-62. Sociedad de Economía Mundial: Huelva, España.
 La experimentación en el estudio del impacto de los programas sociales de micro-financiamiento
Sailis Quesada Requejo

Karlan, D. y Zinman, J. (2007) Expanding Credit Access: Using Randomized Supply

Decisions to Estimate the Impacts. Economic Growth Center Discussion Paper
956, Universidad de Yale. Yale: USA.

Kerlinger, F. (s/a) Investigación del Comportamiento. 4ta ed. Ed. McGraw-Hill: Chile.
Recuperado de:
http://www.academia.edu/6753714/Investigacion_Del_Comportamiento_-
_Kerlinger_Fred_N_PDF (3/12/2018)

Larrú, J. M. (2008) Las evaluaciones de impacto con asignación aleatoria y los

microcréditos. Revista de Economía Mundial, núm. 19, 2008, pp. 33-62.
Sociedad de Economía Mundial: Huelva, España.

McDermott, R. (2002) Experimental Methods in Political Science. Annual Review of

Political Science. Vol. 5. Pp. 31-61

Merolla, J., Stephenson, L. y Zechmeister, E. (2007) La aplicación de los métodos

experimentales en el estudio de los atajos informativos en México. Revista
Política y gobierno. XIV (1) pp. 117-142. Recuperado de:
http://www.scielo.org.mx/pdf/pyg/v14n1/1665-2037-pyg-14-01-117.pdf
(3/12/2018)

Sheston, S. & Khun, L. (2001) Empoderamiento de la mujer a través de las

microfinanzas. Recuperado de:
https://www.microfinancegateway.org/sites/default/files/mfg-es-documento-
empoderamiento-de-la-mujer-a-traves-de-las-microfinanzas-2001.pdf
(4/11/2018)

Sierra, J. (2017) The evaluation of microfinance. Tesis doctoral. Universidad de

Salamanca: Salamanca, España.