Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Escuela de Economía
Febrero de 2021
Resumen
Abstract
The paper proposes a technique for carrying out systematic reviews of the literature in
economics. It provides tips for the optimal use of reviews at the different stages of the research
process. The method proposed is based on the features of academic production in the field of
economics.
1
Profesor Titular. Escuela de Economía. Universidad Nacional de Colombia. Email mgarciamo@unal.edu.co
2
Profesora Titular. Escuela de Administración y Contaduría. Universidad Nacional de Colombia. Email
lachicaizab@unal.edu.co
2
*
Los autores agradecen a los estudiantes de los cursos de metodología de la investigación y seminarios de
investigación de la Universidad Nacional de Colombia entre 2011 y 2020 y de la Universidad Externado de
Página
Colombia entre 2013 y 2014 con los que se aplicó esta metodología. Sus preguntas e inquietudes ayudaron a
pulir y dejar más clara la propuesta.
Vicedecano Director
Germán Enrique Nova Caldas Francesco Bogliacino
Subdirectora
Vilma Narváez
Este documento puede ser reproducido citando la fuente. El contenido y la forma del presente material es responsabilidad exclusiva de sus autores
y no compromete de ninguna manera a la Escuela de Economía, ni a la Facultad de Ciencias Económicas, ni a la Universidad Nacional de Colombia.
Documentos FCE-CID Escuela de Economía N.° 114
Febrero 2021
Contenido
1. Introducción ............................................................................................................................ 5
12. Conclusiones...................................................................................................................... 19
Referencias .................................................................................................................................... 19
4
Página
1. Introducción
Cuando vamos a hacer una tesis de maestría o doctorado o, ya en la vida profesional, hacemos
un artículo de investigación, necesitamos conocer lo que se ha escrito sobre el tema que nos
interesa; para ello, se realiza una revisión de literatura. Aunque las revisiones de literatura son
frecuentes y estandarizadas en medicina y, de hecho, hay una organización dedicada
enteramente a ello —la fundación Cochrane (Levin 2001)—, no lo son tanto en otras disciplinas.
Por esta razón, las revisiones se dan de forma más bien casual. Ha habido algunos avances en
este sentido. Por ejemplo, Chicaíza-Becerra, Riaño Casallas, Rojas-Berrío y Garzón Santos
(2017) presentaron las características que deben tener las revisiones en administración. En las
páginas que siguen, proponemos un método para una revisión sistemática de literatura para
una investigación en economía, tomando en cuenta las características de la disciplina.
Dependiendo de la fase en que nos encontremos, la revisión de literatura puede cumplir con
diversas funciones. Una revisión somera, lo que llamamos aquí aproximación inicial, es útil en
las primeras etapas, cuando apenas estamos escogiendo un tema. Más adelante, con una
pregunta definida, aunque tal vez con algunos elementos por definir, la revisión sirve para hacer
una lista de lecturas para realizar que permita ubicarnos en la literatura, identificar
metodologías existentes y el posible aporte al conocimiento de nuestro trabajo. De este modo,
es un insumo clave para la selección de la metodología. Posteriormente, con la metodología
definida, la revisión de literatura nos ayuda a encontrar ejemplos de cómo se ha aplicado esa
metodología en el pasado. Finalmente, la revisión de literatura puede servir de base para una
primera publicación doctoral.
Existen varios tipos de revisión de literatura. Aquí nos concentraremos en dos. La revisión
narrativa (algunos autores la llaman revisión crítica (Grant y Booth 2009)) es aquella en la cual
el autor revisa una selección que, de manera subjetiva, considera importante para el tema. El
objetivo es mostrar dominio del tema. No tiene pretensión de abarcar todo lo que se ha escrito
5
sobre el tema y no presenta una metodología rigurosa de selección, como por ejemplo una
Página
Las revisiones de literatura están mucho más desarrolladas en medicina. Tal vez el sistema más
extendido de búsquedas en medicina es el PICOT. Picot es el acrónimo de Población,
Intervención, Comparador, Outcome (resultado) y Tiempo (Schardt, Adams, Owens et al., 2007).
El método Picot está diseñado para el tipo de búsqueda más frecuente en esta área, por
ejemplo: ¿en mujeres embarazadas (Población) cuál es la efectividad para prevenir
preeclampsia (outcome/resultado) de administrar calcio (intervención) frente a no hacer nada
(comparador)? En este caso, el indicador de Tiempo no aparece porque está implícito en la
categoría de embarazadas. Este método se usa para buscar principalmente ensayos clínicos
porque los ensayos clínicos tienen muy bien definidos los elementos que entran en la búsqueda
y porque las similitudes biológicas de los seres humanos son lo suficientemente altas como
para que exista comparabilidad y, en ese sentido, los resultados de un ensayo aportan evidencia
a favor de la tecnología que se pretende evaluar (en este caso el calcio).
de países que existen es muy bajo comparado con los millones de seres humanos. El método
Página
que se presenta en este documento está inspirado en los métodos de la medicina, pero tomando
en cuenta las características de la economía y adaptando en consecuencia.
5. Primera aproximación 3
Las fuentes básicas en esta etapa son varias. En primer lugar, se necesita tener al menos una
información preliminar. Habría que buscar en enciclopedias o diccionarios especializados. Una
alternativa útil es Wikipedia o las páginas de internet que expliquen lo que se busca. Al igual
que con cualquier otro texto, hay que utilizar el criterio para decidir qué información es útil y
qué información no. Indicadores sencillos de que lo que se está leyendo es de calidad pueden
ser, por ejemplo, el estilo en la argumentación, el uso de las fuentes y la existencia de una
bibliografía. Si bien hay artículos de la Wikipedia o páginas en internet de reconocidos
académicos que son fuentes sólidas, también existen otras que son inexactas o francamente
erróneas. Esto no es motivo para desechar internet como fuente de información. Simplemente
se trata de verificar la información y ser crítico con respecto a lo que se lee. Un punto clave para
verificar la seriedad de una página es la existencia de bibliografía o referencias.
En economía existe el diccionario Palgrave, cuya importancia como fuente es difícil de exagerar.
En su primera edición, el New Palgrave: A dictionary of economics (Newman et al., 1986)
comprendía 4 voluminosos tomos en los que cada entrada era escrita por el experto
internacional en la materia. La segunda edición ya comprende 8 tomos y muchas más entradas.
Existen también versiones más pequeñas del diccionario dedicadas a áreas especializadas como
la teoría del capital o las finanzas que solo contienen las entradas respectivas.
También conviene consultar las revisiones de literatura que se hayan hecho previamente sobre
el tema y que se pueden encontrar especialmente (pero no de manera exclusiva) en revistas
como el Journal of Economic Surveys, el Journal of Economic Literature y, para temas
interdisciplinarios o que desborden la frontera de la economía, Annual Reviews. Sobre las
7
Página
3
Una versión audiovisual de esta sección
Los tesauros (en inglés thesaurus) o diccionarios de sinónimos y antónimos también son de
utilidad aquí. En economía se cuenta con varios tesauros:
Conviene verificar si existen manuales en el tema de interés. En los artículos de revistas es útil
buscar si existen revisiones de literatura (surveys) sobre el tema. Aunque hasta hace un tiempo
en economía el término usado era “survey”, más recientemente se ha popularizado el término
review, que anteriormente era usado principalmente en ciencias naturales y medicina. El
problema radica en que review también se usa para las reseñas de libros, y la palabra survey
también se usa en el sentido de “encuesta” (por ejemplo, la encuesta de hogares: household
survey). La única solución para estas ambigüedades es mirar el título del documento y a veces
su contenido.
glosario en el que se definan con claridad los conceptos relevantes para la pregunta de
Página
investigación, dejando claro sus sinónimos y palabras afines. El glosario será de gran utilidad
en la revisión de literatura que se realice posteriormente.
En esta etapa, y a partir de las primeras lecturas, conviene realizar un ensayo sobre el problema
o tema de interés. Como el formato del ensayo es abierto por naturaleza, este ejercicio permite
ir dejando en claro las intuiciones que, posteriormente, guiarán la investigación. El desarrollo
temprano de tales intuiciones permite introducir elementos de creatividad que también es
crucial en la práctica de la investigación. Las fases posteriores, que enfatizan el rigor,
contribuyen a que esta creatividad resulte en un trabajo sólido.
Supongamos que ya superamos la primera aproximación, pero todavía nos encontramos en una
etapa preliminar de la investigación. Hemos leído algo sobre el tema (la entrada del diccionario
Palgrave, un artículo no académico, un capítulo de un libro de texto, dos artículos académicos
y un survey). Sabemos que nos interesa el tema, pero aún no tenemos una pregunta definida. En
esta situación, la búsqueda es útil para identificar cuáles han sido las preguntas que diversos
autores han formulado al respecto y cómo han hecho para contestarlas, es decir qué
metodologías han utilizado. En este caso cabe esperar que, como la búsqueda es tan general,
los resultados sean muy numerosos y el principal problema sea su acotación.
Lo primero que hay que hacer, antes de proceder a la búsqueda, es construir un glosario que
identifique claramente los términos útiles para la búsqueda, términos relacionados y términos
similares a excluir. Es importante aclarar que cuando las bases de datos a las cuales es necesario
acudir para realizar esta revisión publican artículos en inglés en su mayoría, pero también en
otros idiomas. No obstante, las revistas académicas en otros idiomas incorporan la traducción
al inglés del título y las palabras clave, por lo cual basta con hacer la búsqueda en inglés. Ahora
bien, al buscar libros, esto no necesariamente ocurre. Por este motivo, cuando estemos
buscando libros habría que incorporar los términos en otros idiomas.
Por ejemplo, supongamos que estamos interesados en el tema de las corridas bancarias.
Todavía es muy temprano para saber si más adelante nos concentraremos en sus causas, sus
9
consecuencias o en algún aspecto particular. Hemos leído solo unos textos básicos al respecto
Página
Adicionalmente, se hace una lista preliminar a partir de lo que ya conocemos (por ejemplo, a
partir de las bibliografías), de escritos y autores sobre el tema. Estas listas serán de utilidad más
adelante.
El siguiente paso es ubicar los códigos correspondientes de la clasificación JEL. Los artículos
publicados en revistas arbitradas en ciencias económicas suelen tener hasta 5 códigos de esta
clasificación para facilitar la búsqueda. La clasificación se encuentra disponible en
http://www.aeaweb.org/jel/jel_class_system.php
En la selección de códigos JEL también es útil observar cuáles fueron los usados en los artículos
que ya leímos.
Una vez tenemos definida la estrategia, estamos en capacidad de realizar nuestra primera
búsqueda, la cual haremos en Econlit. Es necesario tener cuidado porque Econlit puede esperar
códigos de 3 dígitos y nosotros haber definidos códigos de 2, caso en el cual debemos agregar
un cero a la derecha.
10
Una revisión de literatura puede tratar de responder a una pregunta ya definida o puede ser el
Página
primer intento para identificar qué se ha hecho sobre un tema. En cualquiera de los dos casos,
lo primero que hay que hacer es dejar claros los términos que designan o identifican el objeto
de la búsqueda. Pasos a seguir:
Hay varios tipos de bases de datos bibliográficas. Nos interesan en primer lugar los índices, que
son bases especializadas en tener todas las referencias posibles sobre un área del conocimiento.
(García y Chicaíza 2011). La principal aquí será Econlit que es una base especializada en
economía que contiene la referencia a prácticamente todas las revistas de la disciplina y
numerosos libros. Cuando el tema por revisar sea estrictamente económico, esta será la base
11
de referencia, aunque hay que recordar que no es completa en lo que se refiere a libros. Según
Página
el tema, esto puede tener o no importancia. Cuando el tema sea interdisciplinario hay que
Con el crecimiento de internet han ganado visibilidad dos bases gratuitas en línea: Google
académico (scholar.google.es) y Microsoft Academic. La primera da una gran cantidad de
entradas, aunque —como no tiene un filtro por calidad— incluye publicaciones profesionales no
arbitradas. El resultado: se puede terminar inundados de referencias poco útiles. De todos
modos, es una base todavía en desarrollo que probablemente mejore en el futuro. Microsoft
Academic (academic.microsoft.com) es similar, pero tiene una importante ventaja sobre Google
Académico: permite buscar por tipo de material. Esto hace a esta herramienta útil para
identificar libros en los campos en donde este tipo de publicaciones son importantes.
Cuando se tiene ya una pregunta de investigación, es necesario también hacer una revisión de
literatura, aunque esta revisión tiene unas características distintas. Aquí la revisión no tiene un
carácter informativo. Se la realiza para efectos de saber, de manera exhaustiva, qué resultados
se han encontrado para la pregunta que se tiene, y con qué metodologías se los ha obtenido.
documento se refiere al campo conceptual Tamaño del estado podrían ser las expresiones
‘Government size’ o ‘Public sector size’. Los identificadores para crecimiento serían ‘Growth’ y
Página
En principio los artículos candidatos para la revisión son los 427, de los cuales ya tendríamos a
disposición 117. No obstante, lo primero sería seleccionar los artículos que efectivamente
están relacionados con el tema.
13
En primer lugar, se filtraría por título, eliminando aquellos documentos que, con solo mirar el
título, ya se pueden identificar como no relacionados con la búsqueda. Quedarían aquellos que
Página
Para abordar esta pregunta queremos revisar la literatura que sobre los efectos de la política de
inflación objetivo se ha realizado a nivel internacional.
Comenzamos por identificar los campos conceptuales que aparecen en la pregunta. El primero
es, claramente, inflación objetivo, en inglés inflation targeting. En la búsqueda, la expresión
‘inflation targeting’ va entre comillas. De no hacerlo, el programa buscará por aparte las dos
palabras y obtendremos muchos resultados que no son útiles. La pregunta se refiere a los
efectos de esa política sobre la inflación, que en principio debía ser el segundo campo, pero el
término inflación ya está incluido en el primer campo, por lo cual no sería útil. Como la pregunta
se refiere a los resultados de la política y si han sido buenos, podemos definir el segundo campo
más bien como relativo a la efectividad de la política.
Para cada uno de estos campos deberíamos identificar los posibles términos o identificadores
que permitan identificar que un artículo incluye ese campo. Para el caso de inflación objetivo,
usamos el término ‘inflation targeting’ y no es claro que existan sinónimos. Pero para efectividad,
se podría hablar también de éxito o de resultados. La palabra resultado (result) en el resumen
puede inducir a confusión puesto que probablemente sería una sección de la mayoría de
artículos identificados y no permitiría discriminar los que realmente se refieran a lo que
buscamos. No obstante, la palabra ‘result’ en el título no daría lugar a esa confusión. La misma
palabra en las palabras clave (subject) no tendría mucho sentido. De otro lado, la palabra éxito
14
o exitoso sí pueden ser útiles. Los campos y los términos correspondientes se presentan en la
Página
siguiente tabla.
Buscaremos cada uno de estos identificadores en el título, en el resumen y en las palabras clave
del artículo y el identificador ‘Result’ solo en el título. La idea es que un artículo que tenga, por
ejemplo, la palabra success en el título podría estarse refiriendo a si algo tuvo éxito. Lo que
queremos es encontrar todos los artículos que tengan algún indicador de que se refieren a
inflación objetivo y además de que se refieren a la efectividad de algo. Nos interesan, en
principio, aquellos que tienen los dos campos simultáneamente.
[(Inflation target en resumen) O (Inflation target en título) O (Inflation target en palabra clave)]
La mayor parte de los artículos que se encuentren en la revisión serán artículos científicos que
tratan de encontrar una respuesta mediante la construcción de un modelo teórico o mediante
la indagación empírica, a menudo econométrica. Pero también aparecerán algunos artículos de
revisión, que merecen una consideración aparte. La gran ventaja de estos artículos es que han
realizado una revisión de literatura con anterioridad, lo cual nos puede ahorrar tiempo y
esfuerzo. Si tenemos suerte, el artículo de revisión por si solo nos puede dar unas 10 referencias
a otros artículos que claramente entran en nuestra revisión. Además, los artículos ya están
leídos y discutidos, ¿qué más se puede pedir?
15
Pero hay que tener cuidado por dos razones. En primer lugar, generalmente el artículo de
revisión no partió de la misma pregunta que nosotros. Por lo tanto, la lectura y la discusión
Página
En segundo lugar, es posible que el autor haya cometido errores de interpretación en la lectura
de los textos. Por esta razón deberemos leerlos nosotros mismos y luego tomar una decisión.
En cualquiera de los casos, hallar una revisión de literatura ahorra tiempo de búsqueda, pero
no exime de leer los documentos con nuestro propio criterio.
Así como realizar una ficha de lectura es útil para los artículos científicos, una manera práctica
de aprovechar un artículo de revisión es construir un mapa de autores, métodos y conceptos
relevantes para el tema. Si escribimos los distintos autores en un color, los conceptos que
aparecen con otro color y los métodos con otro, empezaremos a notar cómo está organizada la
literatura sobre la pregunta de esa revisión. Según el tema que estemos buscando, puede ser
útil reemplazar el campo de conceptos por uno de resultados. Esto es particularmente útil
porque a veces el tipo de metodología usada incide sobre los resultados. Por ejemplo, los
autores que tienen una visión del mundo basada en la idea de equilibrio, como los autores
neoclásicos, tienden a construir modelos de tiempo continuo; los autores que enfatizan las
crisis y el desequilibrio tienden a construir modelos de tiempo discreto. Esto ocurre porque
efectivamente uno u otro tipo de modelo tiende a dar un cierto tipo de resultados. Identificar
los sesgos posibles de las diferentes metodologías nos puede dar una comprensión más
profunda de nuestro trabajo de investigación.
métodos, conceptos y resultados. Del mismo tipo que la que construíamos como ficha de
Página
lectura de artículos de revisión. Cuando terminemos la revisión, será claro cuáles son las
metodologías que se han usado para resolver nuestra pregunta y que esas metodologías no son
muchas.
A continuación, construimos una tabla con las diferentes metodologías en la primera columna.
En la segunda y tercera columna pondremos los requerimientos de cada metodología. En la
segunda columna pondremos los requerimientos en términos de conocimientos o destrezas que
se requieren para aplicar la metodología; por ejemplo, es posible que se necesite conocer
modelos de mecánica estadística como los usados en física, o que se necesite poder aplicar
correctamente el método generalizado de momentos. También es posible que se requiera
conocer un software especializado, por ejemplo, ARCVIEW para realizar mapas, o GAMS para
manipular matrices. También se pueden poner aquí otros conocimientos. Por ejemplo, si
pensamos realizar un estudio sobre el desarrollo económico comparativo con otro país, que
puede ser de Corea, debemos tomar en cuenta aquí que probablemente una parte relevante de
la literatura sobre el tema esté en coreano. La realización de la investigación mediante un
enfoque comparativo con este país tendría como requisito un conocimiento del idioma. Otro
ejemplo es nuestro proyecto de historia económica y estamos escogiendo el período. En este
caso tendríamos que anotar si el período a estudiar requiere conocimientos de paleografía
(para, por ejemplo, conocer el tipo de escritura de los funcionarios del siglo XVIII).
Con posterioridad llenaríamos la cuarta columna con las características de los datos disponibles
para el país que estamos estudiado. La comparación entre las columnas 3 y 4 nos dará una idea
de los problemas metodológicos que habrá que resolver al aplicar cada metodología. Por
ejemplo, si se requieren datos a nivel de planta, pero solo están disponibles a nivel de firma
tendríamos que verificar si hay manera de construir los datos requeridos (tal vez para un sector
más específico para el que sí existan) o si se puede adaptar la metodología para que funcione
17
con estos datos, o si es mejor optar por otra de las metodologías encontradas. Un problema
frecuente cuando se intenta replicar modelos de series de tiempo de un país a otro es que los
Página
órdenes de integración de las series suelen ser distintos. La metodología que estaba creada para
En ese sentido, las comparaciones entre los requisitos de aprendizaje y habilidades con nuestra
disposición, y de requerimientos empíricos frente a disponibilidad de datos nos permitirá
escoger la metodología que sea más realista para nosotros y para la información disponible.
por título y los que quedaron después de esta selección y pasaron a revisión de resumen. A su
Página
vez, estos se subdividen entre los que fueron descartados tras revisar el resumen y los que
fueron seleccionados para lectura. Por fin, los que seleccionaron para lectura se dividen entre
los que fueron finalmente descartados y los que hicieron parte de la revisión.
En caso de que haya habido algunos documentos que definitivamente no se hayan podido
conseguir o se descartaran por el idioma, se puede incluir el cajón respectivo. No hay que olvidar
que, además de reportar los resultados, hay que reportar la ecuación de búsqueda y en qué
bases se aplicó.
12. Conclusiones
Referencias
Chicaíza, L. A. y García Molina, M. [Al Punto con claridad]. (2020, abril 14). Revisión de
literatura en ciencias económicas. [Archivo de video].
https://www.youtube.com/watch?v=gugFyLpOTSQ&ab_channel=AlPuntoconclaridad
Eatwell, J., Milgate, M. y Newman, P. (1987). The New Palgrave: A Dictionary of Economics.
London: Macmillan. Doi: 10.1057/978-0-230-27980-3
García Molina, M. y Chicaíza Becerra, L. (2011). Guía de fuentes para la investigación en ciencias
económicas. [Documento de trabajo Escuela de Economía n°. 22]. Facultad de Ciencias
19
https://econpapers.repec.org/paper/col000178/007958.htm
Levin, A. (2001). The Cochrane collaboration. Annals of Internal Medicine, 135(4), 309-12.
Shardt, C., Adams, M. B., Owens, T., Keitz, S. y Fontelo, P. (2007). Utilization of the PICO
framework to improve searching PubMed for clinical questions. BMC Medical Informatics
Decision Making, 7,16.
20
Página