Revista Eletrnica de

Negcios Internacionais
So Paulo, v.10, n. 2, p. 1-5, mai./ago. 2015 | e-ISSN: 1980-4865 | http://internext.espm.br

ARTIGO CONVIDADO

O que bibliometria? Uma introduo ao Frum

Gabriel Vouga Chueke*1 e Marcos Amatucci**
*Unversidade de So Paulo FEA/USP, So Paulo/SP, Brasil
**Escola Superior de Propaganda e Marketing - ESPM, So Paulo/SP, Brasil

As centenas de horas de estudo dedicadas a uma pesquisa
serviro apenas como uma pequena pea para montar um
quebra-cabea gigante. O valor de seu estudo ser
determinado pela forma como ele se adequa aos esforos
empreendidos por outros pesquisadores no passado e pelas
perguntas que os seus achados deixam para pesquisas
futuras (Cooper, 1998).
1. Contextualizando a importncia dos estudos
bibliomtricos
Este artigo tem por objetivo introduzir o Frum:
Reviso Sistemtica de Literatura em Negcios
Internacionais buscando esclarecer o que
bibliometria, os critrios de relevncia e rigor nesses
estudos, os erros mais comuns cometidos pelos
autores e as alternativas a esse mtodo.
Apesar de o termo bibliometria ser muito utilizado
no Brasil, notamos que sabemos pouco sobre a
relevncia e o rigor a serem aplicados nesses estudos.
Observamos que na rea de administrao escassa
a literatura especializada sobre o tema. Assim
propomos colaborar com esta discusso
endereando os principais pontos que devem ser
observados no desenvolvimento de estudos que
buscam sistematizar a literatura acadmica em uma
determinada rea de conhecimento. No mbito deste
artigo entendemos que vrios mtodos se propem
a este fim, como a bibliometria, a meta-anlise, a
reviso integrativa de literatura, entre outros.
A relao entre pesquisa e conhecimento
remonta aos primrdios da humanidade Aristteles
propunha que novas ideias surgem por meio da
contraposio e contradio de ideias anteriores. Tal
concepo tem como premissa o fato de que
1 Doi: [Espao reservado para atribuio do DOI]
Contato do autor: Email: gabriel.vouga@espm.br
devemos saber o que todos falam a respeito de um
tema para evoluirmos em termos de conhecimento.
ingnuo supor que o conhecimento
desprovido de problemas e que est pronto para ser
consumido. O objeto de investigao no
desprovido de problemas. Logo, a pesquisa
acadmica deve tratar os problemas herdados de
conhecimentos anteriores visando avanar no
processo de gerao de novos conhecimentos.
Os estudos bibliomtricos podem colaborar na
tarefa de sistematizar as pesquisas realizadas num
determinado campo de saber e enderear problemas
a serem investigados em pesquisa futuras. Desta
maneira, nos filiamos a perspectiva de que o
conhecimento cientfico desenvolvido de forma
gradual.
Enxergamos que as revises sistmicas de
literatura, como no caso da bibliometria, servem de
cartografia para mapear as origens dos conceitos
existentes, apontar as principais lentes tericas
usadas para investigar um assunto e levantar as
ferramentas metodolgicas utilizadas em trabalhos
anteriores.
2. Mas afinal, o que bibliometria?
O termo bibliometria foi proposto por Pritchard no
final da dcada de 1960 e pode ser definido como a
aplicao de mtodos estatsticos e matemticos na
anlise de obras literrias (Pritchard, 1969). Os
estudos bibliomtricos ou cientomtricos tm como
origem os esforos de Hulme (1923), Lotka (1926) e
outros, os quais acreditavam que a gerao de
2015 Internext | ESPM. Todos os direitos reservados!
2 G. V. Chueke & M. Amatucci
conhecimento materializada por meio da produo
cientfica (Lundeberg, 2006).
Particularmente, no campo das cincias sociais
aplicadas os estudos bibliomtricos se concentram
em examinar a produo de artigos em um
determinado campo de saber, mapear as
comunidades acadmicas e identificar as redes de
pesquisadores e suas motivaes. Tais objetivos so
tangibilizados por meio da criao de indicadores que
buscam sumarizar as instituies e os autores mais
prolferos, os acadmicos mais citados e as redes de
coautorias (Okubo, 1997).
Outro mtodo de cunho quantitativo utilizado
para sistematizar a produo cientfica de um campo
de saber a meta-anlise. Ela colabora com os
esforos para integrar os achados de diferentes
estudos. Tambm busca comparar os resultados
obtidos em contextos de pesquisa diferentes,
observar a variedade de mtodos utilizados em um
campo, identificar as diferentes contribuies
tericas, empricas ou metodolgicas em uma
determinada rea de conhecimento (ver Cooper et
al., 2006).
Vale ressaltar que a criao de medidas e
indicadores de produo cientfica e tecnolgica
tambm passam a fazer parte da agenda de governos
como parte do processo de elaborao de polticas de
desenvolvimento dos pases. Ainda como critrio de
avaliao de reputao das instituies cientficas, contribuio para a discusso em curso em um
assim como critrio para a alocao de funding para
pesquisas (Okubo, 1997).
O processo de sistematizao de literatura, no
entanto, no se restringe apenas a bibliometria e a
meta-anlise, entendidos no mbito deste artigo
como uma abordagem quantitativa. Como
alternativa, podemos apontar a reviso integrativa de
literatura, abordagem qualitativa, mais densa e que
busca analisar amostras menores. A reviso
integrativa de literatura uma forma de pesquisa que
procura analisar, criticar e sintetizar um corpo
representativo de literatura sobre um tema em
especfico, integrando os achados por meio de
frameworks e perspectivas (Torraco, 2005).
Desta maneira, acreditamos no valor dos estudos
de carter qualitativo no mbito da sistematizao de
teorias, os quais contribuem para sintetizar as
descobertas recentes e posicionar uma pesquisa em
relao ao debate acadmico, situando os
pesquisadores em relao a verdadeira contribuio
Internext | So Paulo, v.10, n. 2, p. 1-5, mai./ago. 2015
do estudo e em alguns casos estendendo as teorias
existentes.
Vale lembrar que os mtodos mencionados
anteriormente se apoiam sobre a premissa de que o
conhecimento cientfico cumulativo e cooperativo.
Ele construdo a partir de resultados de pesquisas
que endeream lacunas a serem investigadas no
futuro. Desta forma, acreditamos que os artigos que
buscam sistematizar a produo cientfica, quando
bem elaborados, contribuem para o incremento da
relevncia e rigor de novas pesquisas. Alm disso,
podem servir como base para estudos comparados,
cada vez mais demandados num mundo considerado
global.
3. Relevncia e rigor: os critrios de qualidade nos
estudos bibliomtricos
No mbito dos estudos bibliomtricos ou revises
integrativas de literatura, o rigor caracteriza-se nas
decises relacionadas ao design da pesquisa e no
atendimento s premissas de cada um dos mtodos
escolhidos. As revises sistmicas de literatura,
termo usado para abranger tanto estudos
qualitativos como quantitativos, devem justificar sua
relevncia de forma clara ao leitor. Em muitos casos,
a relevncia se configura no momento em que
apresentamos um maior entendimento sobre o
fenmeno em questo ou quando realizamos uma
determinado campo de saber. Alm disso, uma boa
reviso sistemtica de literatura deve apresentar
insights e novas possiblidades de pesquisa (Torraco,
2005).
Entendemos que o rigor nesses estudos
caracterizado pelo atendimento das premissas que
regem cada um dos mtodos. Por exemplo, no caso
especfico do mtodo bibliomtrico esperado que
os autores atendam s Leis que regem esses estudos
(veja na tabela 1). Outra premissa para realizao de
um estudo bibliomtrico seria o tamanho da amostra,
fato muitas vezes negligenciado pelos autores, que
buscam aplicar a abordagem quantitativa a amostras
pequenas.
Por outro lado, as revises integrativas de
literatura, abordagem de carter qualitativo, seguem
outros passos, os quais contribuem para configurar o
rigor nesses estudos. Segundo Torraco (2005), a
reviso integrativa de literatura exige um
planejamento dividido em trs momentos principais.
Inicialmente, o pesquisador deve se questionar se o
 O que bibliometria? Uma introduo ao forum 3

Tab. 1
Lei s que regem os estudos bibliomtricos

Leis Medida Critrio O bjetivo princ ipal

Lei de Bradford Grau de atrao do Reputao do Identificar os peridicos mais relevantes e que
peridico peridico do maior vazo a um tema em especfico

Lei de Zipf Frequncia de Lista ordenada Estimar os temas mais recorrentes relacionados
palavras-chave de temas a um campo de conhecimento
Lei de Lotka Produtividade autor Tamanho- Levantar o impacto da produo de um autor
frequncia numa rea de conhecimento

Fonte: Os a utores

mtodo de reviso integrativa adequado para novas possibilidades. Na tabela 2, apresentamos os

enderear sua pergunta de pesquisa, e se realmente
necessrio realizar uma reviso integrativa de
literatura no campo de conhecimento escolhido. O
segundo momento consiste na organizao da
reviso integrativa de literatura, ou seja, esse passo
envolve a estruturao de categorias que guiam a
busca por artigos e conceitos tericos. Nesse
momento deve-se realizar uma descrio exaustiva
de como foi realizado o passo-a-passo da pesquisa.
Por ltimo, necessrio consolidar os achados,
buscando criticar e posicionar o tema escolhido em
relao s informaes levantadas. Nesse estgio,
busca-se sintetizar os achados e apontar direes
futuras, provocando os pesquisadores a investigarem
Tab. 2
Pa s sos da reviso integrativa de l iteratura
passos principais da reviso integrativa de literatura.
4. Erros comuns e desafios para aprimoramento dos
estudos bibliomtricos
Existem outros pontos que contribuem para o rigor
dos estudos que buscam sistematizar teorias. Tendo
isso em vista, procuramos tecer algumas sugestes
para evitar os erros mais comuns em estudos
bibliomtricos. O primeiro deles deve-se ao
alinhamento do mtodo escolhido pergunta de
pesquisa proposta. Algumas perguntas de pesquisa
do margem a estudos mais densos, os quais tm
como intuito aprofundar as discusses em curso num
determinado campo de saber. Nesses casos,
recomendamos optar por mtodos mais exaustivos

P assos Desc ri o
P asso 1 Elaborar o protocolo de pesquisa estabelecendo as perguntas que devero ser
Elaborar o respondidas a partir da leitura sistemtica de artigos. Estabelecer os outputs ou
Protocolo de pesquisa displays que sero apresentados no artigo.

P asso 2 Inicialmente, sugere-se realizar uma busca ampla em diferentes bases e peridicos para
Identificar os estudos identificar artigos de interesse. Para tanto, devero ser criados os critrios de incluso
mais relevantes no campo e excluso de artigos. Esses critrios de busca devem estar alinhados pergunta de
pesquisa e a discusso em curso no campo de conhecimento.

P asso 3 Criar uma ficha de avaliao de artigos com os critrios que vo caracterizar se o artigo
Avaliar a qualidade vai ou no constituir o corpo de artigos que sero analisados de forma exaustiva.
dos estudos levantados
P asso 4 Consiste na fase de tabulao dos resultados, qualificando e explorando as
Sintetizar os contradies e afinidades entre estudos.
dados coletados
P asso 5 Gerar anlises comparando e contrastando os dados. Deve-se buscar responder
Integrar os pergunta de pesquisa e apontar novos rumos para pesquisas futuras.
resultados obtidos
Fonte: Os a utores

Internext | So Paulo, v.10, n. 2, p. 1-5, mai./ago. 2015

4 G. V. Chueke & M. Amatucci
como a reviso integrativa de literatura ou a meta-
anlise.
Outro fator determinante para a escolha do
mtodo de pesquisa o tamanho da amostra.
comum vermos supostas bibliometrias que analisam
30 ou 40 artigos. Nesses casos, acreditamos que seria
mais apropriado realizar uma reviso integrativa de
literatura, j que possvel ler em profundidade essa
quantidade de artigos, a fim de articular ideias e
apontar novos rumos de pesquisa em uma
determinada rea.
Aps definida a pergunta de pesquisa e o mtodo
a ser usado, o pesquisador deve decidir quais bases
de artigos ir adotar, justificando sua escolha. Para
tanto, necessrio entender a metodologia por trs
de cada uma delas e os peridicos que l esto
indexados. Ainda, o perodo de tempo que os
peridicos esto disponveis nas bases. Algumas
bases no disponibilizam artigos recentes, por
exemplo.
necessrio observar que, por muitas vezes, as
bases de artigos apresentam sobreposio de
publicaes. Assim, os autores devem estabelecer os
critrios de incluso e excluso de artigos, os quais
no devem se basear apenas na busca por palavras-
chave. Recomenda-se realizar a leitura exploratria
do resumo, ttulo do artigo, autores e suas filiaes,
para embasar a criao de categorias de anlise e/ou
cdigos que sero usados para analisar os dados
posteriormente.
Vale destacar que so necessrios alguns cuidados
ao se definir as palavras-chave. Visto que usamos
vrios sinnimos para falar de um tema em
especfico. A leitura exploratria ir ampliar as
possibilidades de busca, assim como o rigor do
estudo. A qualidade das palavras-chave vai definir o
sucesso do estudo. Ainda, recomendamos que os
entusiastas a realizar estudos bibliomtricos
procurem se familiarizar com os critrios de busca
booleana como: or, and, not, entre outros. E
explicitem nos artigos as palavras-chave usadas e
critrios de incluso e excluso de artigos, assim
como respectivas justificativas.
Alm disso, outro critrio que podemos usar para
complementar a busca nas bases de artigos, a busca
pelos peridicos com maior fator de impacto num
campo de conhecimento. Para isso, podemos
consultar rankings de peridicos ou de citaes
como: Thomson Reuters SSCI, ISI Web of Science JCR,
Internext | So Paulo, v.10, n. 2, p. 1-5, mai./ago. 2015
Google Scholar, entre outros, como rankings locais,
dependendo do pas onde ser realizado o estudo
teremos bases ou rankings especficos, no Brasil, por
exemplo, temos a SPELL.
Outro ponto crtico nos estudos bibliomtricos o
perodo de coleta de dados. Muitos autores
acreditam que seja suficiente realizar a anlise de
dados num perodo de apenas 5 anos. Ser que
conseguimos avaliar todos os itens descritos na
tabela 1 e atender aos critrios de rigor acadmico
avaliando apenas 5 anos de publicao? Este perodo
temporal corresponde a evoluo do campo? Alguns
estudos sugerem que no mnimo seria necessrio
levantar artigos num espao de tempo de 10 anos.
Acreditamos que o ideal no entanto seria analisar 15
ou 20 anos de publicao sobre um tema.
Por ltimo, vale destacar que as anlises
descritivas fazem parte do corpo de um artigo que
adota a bibliometria como mtodo. Mas, no
podemos parar por a. Precisamos relacionar essas
anlises evoluo do campo e realizar prescries
para futuros pesquisadores. Ao final de todo esse
esforo analtico: so what?
No mbito brasileiro, como desafios, enxergamos
a necessidade de amadurecimento dos
pesquisadores em relao aos mtodos acima citados
e uso de ferramentas que podem auxiliar nessa tarefa
de sistematizao de literatura como o EndNote e
Refman. Ainda, acreditamos que a adoo de
mtodos mistos pode colaborar no aprimoramento
desses estudos. Assim como, a adoo de novos
mtodos como a anlise de citaes, ProKnow-C
(Knowledge Development Process Constructivist),
entre outras possibilidades epistemolgicas que
contribuem para gerao de novos conhecimentos.
7. Referncias
Cooper, H. Synthesizing research: A guide for literature
revi ews (3rd ed.). Thousand Oaks, CA: Sage, 1998
Cooper, H., Hedges, L. B. & Valentine, J. C. (Eds.).
Ha ndbook of research synthesis AND Meta-Analysis.New
York: Russell Sage Foundation, 2009.
Glass, G. V. Primary, Secondary, and Meta-Analysis of
Research. Educational Research, American Educational
Research Association (1976).
Glanzel, W. Bibliometrics as a research field: A course on
theory and application of bibliometric indicators (2003).
Course Handouts. Acesso em: 18/03/2014. Disponvel
em:
http://www.cin.ufpe.br/~ajhol/futuro/references/01%2
 O que bibliometria? Uma introduo ao forum 5

3_Bibliometrics_Module_KUL_BIBLIOMETRICS%20AS% Pritchard, A. Statistical bibliography or bibliometrics?

20A%20RESEARCH%20FIELD.pdf J ournal of Documentation, v. 24, n. 4, p. 348-349, 1969.
Kear, R. & Colbert-Lewis, D. Ci tation searching and Thomson Reuters. W hitepaper Using Bibliometrics: A
bi bliometric measures. College & Research Libraries, g uide to evaluating research performance with citation
2011. Acesso em: 26/04/2014. Disponvel em: da ta, 2008. Acesso em: 18/03/2014.
http://crln.acrl.org/content/72/8/470.full.pdf+html http://thomsonreuters.com/products/ip-
science/04_030/using-bibliometrics-a-guide-to-
Ludenberg, J. Bibliometrics as a research assessment tool
evaluating-research-performance-with-citation-
i mpact beyond the impact factor. Karolinska Institutet,
data.pdf
(2006). Acesso em: 26/04/2014. Disponvel em:
http://diss.kib.ki.se/2006/91-7140-965-3/thesis.pdf Torraco, R., W riting Integrative Literature Reviews:
guidelines and examples. Human Resource Development
Okubo, Y. Bibliometric Indicators and Analysis of
Revi ew, 4: 356, 2005.
Research Systems: Methods and Examples, OECD
Sci ence, Technology a nd Industry W orking Papers,
1997/01, OECD Publishing.Systems, 1997. Acesso em:
18/03/2014. Disponvel em:
http://dx.doi.org/10.1787/208277770603

SOBRE OS AUTORES
Gabriel Vouga Chueke Doutorando em Administrao pela FEA/USP. E-mail: gabriel.vouga@espm.br
Marcos Amatucci Doutor em Administrao pela FEA/USP e Pro-Reitor de Pesquisa e Ps-Graduao
Stricto Sensu da ESPM/SP. E-mail: marcos.amatucci@espm.br

Internext | So Paulo, v.10, n. 2, p. 1-5, mai./ago. 2015