Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Autores:
Mario Albornoz
Rodolfo Barrere
Martn Bageneta
Lautaro Matas
.1 Introduccin
Los indicadores de ciencia, tecnologa e innovacin, desagregados hasta el nivel de las
instituciones, resultan una importante herramienta de evaluacin, as como un excelente
insumo para la toma de decisiones. En este marco, los estudios bibliomtricos, basados en
el anlisis de las publicaciones cientficas, son de particular inters en el marco de las
instituciones pblicas de investigacin, que requieren pautas cuantitativas para la
evaluacin del resultado de sus actividades.
Sin embargo, la realizacin de este tipo de estudios presenta serias dificultades al
momento de identificar la filiacin de los trabajos en bases de datos que no tienen
normalizada esta informacin. Para solucionar este problema, se desarroll una
metodologa, con un fuerte componente de tecnologas informticas, que permite la
identificacin de las publicaciones de cada investigador, solucionando problemas de
afiliacin incompleta y la existencia de homnimos. Esta fue aplicada con xito a la
produccin registrada en el Science Citation Index (SCI) por el CONICET, organismo en el
cual la mayor parte de los investigadores tienen su lugar de trabajo en la esfera
universitaria, y suelen firmar sus publicaciones reconociendo slo ese mbito.
Este trabajo presenta los resultados del anlisis de la produccin cientfica argentina
registrada en SCI, centrada en la perspectiva del CONICET como institucin demandante
de esta informacin con fines de evaluacin y planificacin. Se detalla comparativamente
el volumen de la produccin de las principales instituciones, las redes de colaboracin que
se han establecido entre ellas y los distintos niveles de colaboracin con otros pases, en
base a la observacin de las coautoras.
Finalmente se profundiza en la produccin cientfica del CONICET, con datos sobre la
distribucin de los artculos publicados de acuerdo con el escalafn y la disciplina de los
autores, datos de gran utilidad para la evaluacin y la gestin.
calidad de los mismos. Esos mecanismos estn dados por estrictas restricciones de
acceso a la publicacin, basados en la evaluacin de pares, de manera que los miembros
de la propia comunidad cientfica, desempean alternativamente el papel de evaluador o
de evaluado. De esta manera se establece un mecanismo de revisin rigurosa que permite
confiar en la calidad de la obra de otros que se encuentra publicada. Estos mecanismos de
control de calidad y adecuacin a los cnones cientficos estn orientados a mantener el
crdito y la reputacin de los miembros de la comunidad.
Segn Maltrs (2003), la revisin que sirve de filtro al ingreso del sistema de publicacin se
caracteriza por tres aspectos: paridad (es realizada por colegas de la misma condicin),
pluralidad (se demanda el dictamen de varios rbitros) y anonimato (la identidad del autor y
de los rbitros se mantiene oculta en todo el proceso de evaluacin).
En base a lo considerado anteriormente, es posible dar cuenta de la base terica de los
indicadores bibliomtricos, como expresiones de la produccin del conocimiento. Por un
lado, la necesidad de reconocimiento (reflejada tambin en los mecanismos burocrticos
de evaluacin de los investigadores en base a sus publicaciones) impulsa a los cientficos
a publicar todos sus resultados, mientras que el sistema de revisin por pares de las
revistas cientficas garantiza que los documentos que se contabilizan tienen calidad y
originalidad cientfica.
La fuente ms difundida para los indicadores bibliomtricos consiste en la extraccin de
informacin estadstica de bases bibliogrficas. Estas fuentes de informacin cuentan con
datos acumulados durante muchos aos, de los documentos publicados en revistas
cientficas seleccionadas. Contienen referencias bibliogrficas que incluyen el ttulo del
artculo, sus autores, la pertenencia institucional de los mismos, la revista de publicacin y
el abstract del documento, entre otros datos. Existen bases multidisciplinarias, como el
Science Citation Index (utilizada en este estudio) y Pascal, y de disciplinas especficas,
como Medline o Chemical Abstracts.
La seleccin de las revistas que son indexadas en esas bases de datos se realiza con
fuertes criterios de calidad editorial (reconocimiento del comit editor, calidad acadmica
de los encargados del referato, etc), opiniones de expertos y anlisis de las citas recibidas
por las revistas como una muestra de su visibilidad. Esa seleccin tambin debe garantizar
una correcta cobertura de los temas que la base de datos pretende cubrir. En el caso de
las bases internacionales se busca cubrir la corriente principal (mainstream) de la ciencia
internacional.
Sin embargo, los indicadores bibliomtricos tienen ciertas limitaciones como mtodo de
medicin de la produccin cientfica. En primer lugar, la investigacin tiene diversos
aspectos que no pueden ser captados por los estudios bibliomtricos. Siguiendo a Mara
Bordons (2001), la investigacin incluye, adems de la cientfica bsica expresada en la
publicacin de resultados, tareas de carcter tecnolgico, docente y social. La bibliometra
solo puede abordar la faceta cientfica, mientras que el resto de las actividades deben ser
estudiadas por otro tipo de indicadores.
Por otra parte, no existen bases bibliogrficas capaces de cubrir la totalidad de la
produccin cientfica de un pas. En general estas fuentes intentan representar la corriente
principal (mainstream) internacional de la ciencia, mediante la seleccin de las revistas
ms representativas de cada tema para la comunidad de los investigadores,
principalmente pertenecientes a los pases centrales. Esto implica que los temas que
interesan a esa corriente principal se vern representados, mientras que otros casi no
aparecern. Este fenmeno afecta fuertemente a la los pases latinoamericanos, cuyos
.4 Metodologa
para
la
construccin
indicadores bibliomtricos del CONICET
de
Si bien los indicadores bibliomtricos resultan una importante herramienta para la gestin
institucional y la evaluacin de las actividades cientficas y tecnolgicas, la identificacin de
la afiliacin de los autores que firman un artculo resulta una tarea compleja.
La fuente utilizada fue el Science Citation Index, una base interdisciplinaria, que recopila
las citas bibliogrficas de todos los documentos publicados en ms de seis mil revistas
cientficas internacionales de primer nivel. En el SCI, como en la mayora de las bases de
datos bibliogrficas, se cuenta con un campo que incluye la afiliacin institucional de los
autores pero ste carece de normalizacin. De esta manera, una misma institucin puede
figurar de maneras muy diversas, a causa de la utilizacin de siglas distintas o de
abreviaturas diferentes. Por este motivo, resulta imposible hacer una clasificacin
automtica de la afiliacin institucional de los registros sin un tratamiento previo de los
datos.
A tal efecto, se desarroll un mtodo de clasificacin automtica, que partiendo de una
tabla de instituciones que incluye el nombre completo en espaol, el nombre completo en
ingls y una o varias abreviaturas normalmente utilizadas, analiza el campo de afiliacin y
lo asigna a las instituciones correspondientes. Para esto, se recurre a la aplicacin de
tcnicas de expresiones regulares que subsanan las variaciones en las abreviaturas, entre
otros casos de desnormalizacin.
Esta tcnica acelera mucho el proceso de clasificacin en relacin con la alternativa del
trabajo manual, aunque en su etapa de desarrollo requiri una fuerte tarea de anlisis de
los datos y posterior chequeo de los resultados. Finalmente, se obtuvieron mrgenes de
error inferiores al 1% de la publicacin total de cada institucin.
La identificacin de los artculos del CONICET, sin embargo, no puede ser abordada con
esta misma tcnica, ya que muchos investigadores tienen una doble dependencia
institucional, manteniendo como lugar de trabajo universidades, institutos o centros que no
pertenecen a la esfera del Consejo Nacional. Si bien en ocasiones los autores mencionan
su afiliacin institucional al CONICET junto con su otra dependencia, esto no sucede en
todos los casos.
Por ese motivo, se decidi identificar la produccin de cada uno de los investigadores del
Consejo en la base de datos para el periodo 2000-2005, utilizando como insumo el listado
completo de personal del CONICET. Se incluyeron investigadores, becarios y personal de
apoyo de las ciencias duras, reas cubiertas por el SCI.
CAICYT CONICET. Pgina 5
.5 Indicadores
argentina
de
la
produccin
cientfica
4 033
3 889
3 156
5 698
70.8%
68.3%
55.4%
100.0%
Nota: En los casos de artculos firmados en conjunto por el CONICET y las universidades nacionales, se ha
contabilizado como una publicacin completa para cada uno. Por ese motivo la suma de las publicaciones de
cada institucin da un resultado mayor que el total.
CONICET
UBA
UNLP
UNC
CNEA
UNR
UNS
UNMDP
UNL
INTA
UNT
UNSL
UNRC
UNCU
UNCOMA
UNICEN
UNSAM
UNNE
UNSA
UNLPAM
UNP
UTN
UNQ
UNLU
UNSJ
UNLM
UNAM
UNGS
INTI
UNPA
UNSE
UNER
UNLZ
UNJU
CONAE
UNLAR
UNDEC
UNF
UNCA
UNVM
UNTREF
2000
3 369
1 324
562
356
361
197
207
146
120
105
123
124
79
60
52
47
32
37
27
23
10
22
30
25
21
8
16
8
9
7
3
7
6
11
1
3
0
1
1
1
0
2001
3 585
1 318
647
403
346
193
215
174
130
127
155
128
73
62
59
38
44
38
34
14
7
23
28
21
14
6
12
7
18
8
8
7
7
7
3
4
1
0
1
2002
3 814
1 474
676
460
393
218
210
180
141
133
181
106
86
78
72
46
39
41
32
13
15
26
43
22
25
7
14
16
13
10
9
8
6
3
3
2
0
0
0
0
0
2003
3 750
1 514
643
468
311
220
202
216
160
141
166
123
86
72
73
45
45
43
35
20
13
29
30
16
29
10
12
9
11
7
8
7
6
10
3
1
0
0
0
0
1
2004
3 885
1 450
608
381
421
207
211
209
163
147
118
97
61
69
73
46
53
46
20
24
16
32
32
21
25
4
15
9
11
8
8
10
11
9
3
0
0
0
1
1
0
2005
4 033
1 403
654
419
334
220
215
212
185
148
138
121
87
75
74
61
58
47
37
35
32
30
29
24
20
19
17
15
13
12
12
11
9
8
6
2
2
1
0
0
0
Nota: En los casos de artculos firmados en conjunto por varias instituciones se ha contabilizado como una
publicacin completa para cada una. Por ese motivo la suma de las publicaciones de cada institucin da un
resultado mayor que el total.
Por otra parte, se observa un alto nivel de copublicaciones entre las distintas instituciones
nacionales analizadas. En el 68% de los registros argentinos del SCI participa ms de una
institucin nacional.
Nota: Se presentan las instituciones con ms de 15 publicaciones y los lazos mayores a 7 copublicaciones. El
color azul seala las instituciones por encima de la media en cuanto a colaboracin internacional, el rojo a las
que se encuentran por debajo.
Utilizando estos umbrales mnimos mencionados se pueden ver los lazos ms fuertes que
posee cada institucin, es decir aquellos que presentan una mayor constancia e
intensidad. Esto favorece la visualizacin de la red, que de otra manera resultara muy
CAICYT CONICET. Pgina 10
Los investigadores son el conjunto que mayor volumen de publicaciones registra, teniendo
tambin el mayor promedio de artculos per capita. Adems, este grupo registra un
incremento importante en la productividad, pasando de 1.06 publicaciones por investigador
en 2004 a 1.39 en 2005. Los becarios de investigacin, por otra parte, presentan un
promedio de publicaciones per capita marcadamente menor, pasando del 0.49 en 2004, al
0.39 en 2005.
La Tabla 4 y el Grfico 4 muestran un anlisis similar, pero considerando la distribucin por
las reas disciplinarias que el CONICET asigna a su personal. En este caso tambin se
han excluido del anlisis a las Ciencias Sociales y Humanidades, por no ser sta la fuente
apropiada para su estudio.
Tabla 4. Publicaciones del personal de CONICET en SCI 2005 segn rea
DISCIPLINA
La disciplina ms productiva en 2005 ha sido Ciencias Mdicas, con 716 artculos, seguida
por Biologa con 707. Sin embargo, el promedio de publicaciones per capita ms alto
(incluyendo investigadores, becarios y personal de apoyo) lo tiene el rea de Fsica, con
0.91 y el tercer lugar en cuanto a volumen total de publicaciones.
Grfico 4. Publicaciones del personal de CONICET en SCI 2005 segn rea.
Con el objetivo de comparar la produccin cientfica del CONICET con el total nacional, se
han desagregado las publicaciones de ambos conjuntos segn las disciplinas que el ISI
asigna a cada una de las revistas que indexa. Los datos se resumen en la Tabla 5 y el
Grfico 5.
Se puede observar que el CONICET es muy fuerte en las reas de Fsica, qumica y
ciencias de la tierra y Ciencias de la vida, donde participa en el 81% y el 71% de la
produccin total argentina en esas disciplinas. En Medicina Clnica, por el contrario,
presenta una participacin mucho menor, cercana al 36%.
Tabla 5. Publicaciones del personal de CONICET y total argentino en SCI 2005 segn reas de
ISI
DISCIPLINA
CONICET
TOTAL
%
Fsica, qumica y ciencias de la tierra
1720
2136
81%
Ingeniera, computacin y tecnologa
398
528
75%
Ciencias de la vida
1436
2034
71%
Agricultura, biologa y medio ambiente
1059
1534
69%
Medicina Clnica
452
1261
36%
Nota: Los artculos pueden estar asignados a ms de una disciplina al mismo tiempo. En esos casos se ha
contabilizado como una publicacin completa para cada disciplina. Por ese motivo la suma de las
publicaciones de todas las reas da un resultado mayor que el total.
.7 Consideraciones finales
Los indicadores bibliomtricos son, hoy en da, una de las herramientas ms utilizadas a
nivel mundial para la evaluacin de la actividad cientfica. Entre sus fortalezas est la
capacidad de ser aplicados a distintos niveles, desde pases hasta instituciones, grupos de
investigacin e investigadores. Sus metodologas, adems, estn validadas a nivel
internacional, lo que facilita su utilizacin como unidad de comparacin entre las unidades
que se desea analizar.
La informacin aqu presentada da cuenta de algunas de las posibilidades de estos
indicadores para la gestin evaluacin de instituciones dedicadas a las actividades
cientficas y tecnolgicas. Asimismo, su utilizacin permite obtener panoramas muy tiles
para la planificacin y la definicin de lneas de investigacin.
Actualmente, en nuestro pas aparece una preocupacin cada vez mayor de las
instituciones de investigacin y desarrollo por la utilizacin de estos indicadores como una
medida objetiva de la productividad de sus investigadores. El CONICET es una institucin
pionera en este sentido, que utiliza estas estadsticas tanto como herramienta de
evaluacin de sus investigadores, como para el monitoreo de reas estratgicas y la
definicin de polticas.
En ese contexto, se observa tambin una mayor demanda de este tipo de informacin por
parte de las universidades, aunque el acceso a las bases de datos internacionales aparece
como una limitante crtica, dado que su costo no es menor. Actualmente existen iniciativas
para solucionar este problema, que junto la necesaria capacitacin, dar mayor pasividad
a la utilizacin de los indicadores bibliomtricos como herramientas para la gestin
institucional.
.8 Bibliografa
Annerstedt, Jan (1994), "Measuring Science, technology and innovation", en: Salomon J,
Sagasti F, Sachs-Jeantet C, The uncertain quest: science, technology, and development,
United Nations University Press, Tokyo - New York Paris.
Bordons, Mara (2001), "Aspectos metodolgicos en la obtencin de indicadores
bibliomtricos", en: Cuadernos de Indicios, N 1, RICYT, Buenos Aires.
Callon, Michel; Courtial, Jean Pierre; Penan, Herv (1995), Cienciometra. El estudio
cuantitativo de la actividad cientfica: de la bibliometra a la vigilancia tecnolgica, Editorial
Trea, Madrid.
Glnzel, Wolfgang (2003), Bibiliometrics as a Research Field. A course on theory and
application of bibliometric indicators.
Maltrs Barba, Bruno (2003), Los indicadores bibliomtricos, TREA, Madrid.
Okubo, Yoshiko (1997), Bibliometric indicators and analysis of research systems: Methods
and examples, STI Working Paper, OCDE, Paris.
VOLVER AL INICIO