Cmo identificar la investigacin relevante

La relevancia de un trabajo cientfico se puede medir gracias a su impacto. Publicar en Nature,

Science, Cell y otras revistas de gran factor de impacto no es garanta de impacto, ni de
relevancia. Expertos de la Universidad del Norte de Texas, en Dalton, han propuesto 56
medidas del impacto (pero algunas parecen curiosas pero intiles). A la hora de usarlas para
tomar decisiones, el gran problema es cmo integrar todas estas medidas de forma transparente,
pues la transparencia es esencial en todo proceso de evaluacin. Nadie sabe cmo hacerlo. Ni
siquiera si es posible hacerlo. Identificar lo relevante, como lo excelente, parece fcil, pero no
lo es. Nos lo cuenta el editorial The maze of impact metrics. In deciding how to judge the
impact of research, evaluators must take into account the effects of emphasizing particular
measures and be open about their methods, Nature 502: 271, 17 oct 2013. Recomiendo
consultar el nmero especial de Nature dedicado al impacto, merece la pena.

La evaluacin de la investigacin es necesaria (para los gobiernos, las instituciones, las

universidades e incluso dentro de los grupos de investigacin). Pero tiene un efecto colateral,
en lugar de desarrollar una investigacin de calidad, muchos investigadores se centran en
predecir qu tipo de trabajo ser recompensado en la prxima evaluacin, cul les har cumplir
con todos los requisitos y qu tienen que hacer para lograr ms financiacin, incluso si son
cuestiones alejadas de lo que es hacer ciencia. Parece un desperdicio del talento, dice

Dorothy Bishop, psicloga experimental en la Universidad de Oxford, Reino Unido. Creo que
mucha de la ciencia hecha hoy en da no es de la calidad que podra ser porque los
investigadores estn tratando de hacer demasiadas cosas. Nos lo cuenta Brian Owens,
Research assessments: Judgement day, Nature 502: 288290, 17 Oct 2013.
La evaluacin de la investigacin en Reino Unido ha sido todo un xito. A finales de los 1980,
se empez a evaluar de forma sistemtica la calidad de la investigacin universitaria mediante
la RAE (Research Assessment Exercise) con el objetivo de mejorar el sistema de investigacin
del pas. Se evalan slo los cuatro mejores artculos de cada investigador. Entre 2006 y 2010,
las citas de los artculos britnicos crecieron un 7,2%, ms rpido que el promedio mundial de
6,3%. El gobierno britnico reparte el dinero pblico de investigacin en funcin de las RAE y
universidades como Oxford pueden recibir hasta diez veces ms financiacin pblica que las
universidades peor evaluadas. Muchas instituciones pequeas han tomado decisiones
estratgicas sobre cmo invertir sus recursos y se estn fortaleciendo en temas especficos con
objeto de mejorar su posicin en las RAE. El xito ha hecho que otros pases hayan tratado de
imitar el sistema britnico, como Italia (donde se evalan los tres mejores artculos de cada
investigador), Alemania o Australia.

Para muchos cientficos publicar un artculo en Nature o Science es como ser admitido en un
club exclusivo, algo que te cambia la vida. La atencin de los medios est garantizada, pero
incluso entre colegas se acta como si el nico logro cientfico del autor hubiera sido dicho
artculo. A partir de entonces su carrera cientfica es un lecho de rosas, regada de premios,
invitaciones para dar charlas, proyectos y, como no, con una promocin garantizada. Bueno, no
seamos tan optimistas, quizs slo lo era, pues muchas cosas estn cambiando en el mundo de

las publicaciones cientficas y de la investigacin. Nos lo cuenta Eugenie Samuel Reich,

Science publishing: The golden club, Nature 502: 291293, 17 Oct 2013.
Ahora hay investigadores que estn logrado un revuelo meditico similar publicando en
revistas como PLoS ONE, donde el porcentaje de aceptacin de artculos supera el 65%; por
comparar, Nature acept en 2012 el 8,2% de los artculos recibidos, casi 12.000 artculos. La
gran diferencia entre, por ejemplo, PLoS ONE y Nature es que esta ltima antes de la revisin
por pares aplica un filtro de carcter periodstico: si un artculo no puede llegar a ser noticia de
portada de un medio generalista, no merece la pena que sea revisado por pares. Muchos buenos
artculos rechazados en Nature acaban siendo publicados en otras revistas y logran un gran
impacto en cuanto a citas. Con ms de dos millones de artculos cientficos publicados al ao,
la competencia por la relevancia cientfica es enorme.

Las mtricas ms importantes para medir la relevancia y el impacto de un artculo estn

basadas en las citas que ha recibido. El problema es que determinar con precisin estas citas es
muy difcil en la actualidad. Se pueden usar las citas en el Web of Science de Thomson Reuters,
o en Scopus de Elsevier, o incluso en Google Scholar, pero en cada caso se obtiene un resultado
distinto. Ms an, incluso confiando en una sola fuente, el nmero de errores es muy grande.
Esta figura muestra un error del Web of Science, un artculo de Shotton et al. sobre plegamiento
de protenas aparece dos veces (quizs porque el orden de los autores es diferente), una fechada
en 1971 con 59 citas y otra en 1972 con 19 citas. Se estima que errores similares son muy
habituales en todas las bases de datos de artculos que recopilan citas. Cul puede ser la
solucin? Una propuesta es una base de datos de citas de acceso abierto, una OCC (Open
Citations Corpus). Ya hay varias en curso, aunque an son poco conocidas. Nos lo cuenta
David Shotton, Publishing: Open citations, Nature 502: 295297, 17 Oct 2013.

En 2011 naci Open Access Subset of PubMed Central (OAPMC) que contiene 6.325.178
citas a 3.373.961 artculos nicos. Todava es una base de datos muy pequea (alrededor del
20% de toda la literatura biomdica publicada en PubMed). Mucho ms veterana es CiteSeerX
que contiene unas 13.500.000 citas a unos 1.242.041 artculos, sobre todo en ciencias de la
computacin, y CITEC que contiene 13.544.970 de citas a 545.641 artculos de economa. Pero
estos recursos en conjunto slo tienen citas a un porcentaje bajo del total de artculos
publicados en toda la historia (que se estima en unos 50 millones de artculos). Por supuesto, el
objetivo a largo plazo es que las OCC cubran toda la literatura cientfica. Pero para lograrlo se
requiere mucha financiacin y el apoyo de las grandes editoriales y de los gobiernos.

Una cuestin de gran actualidad es si los datos y resultados publicados en un artculo cientfico
deben ser de acceso pblico a los dems investigadores. En genmica es habitual hacerlo
(publicar las secuencias de ADN en bases de datos como GenBank). Sin embargo, en otros
campos es casi impensable. Quizs los editores de revistas deberan exigir que toda
investigacin que publican venga acompaada de la liberacin pblica de todos los datos
utilizados. Los datos en bruto slo sern tiles para los dems expertos, pero a la larga ganarn
tanto los autores, como sus colegas, como la Ciencia con maysculas. Nos lo cuenta Mark
Hahnel, Referencing: The reuse factor, Nature 502: 298, 17 Oct 2013.
Otro tipo de relevancia es el impacto en la sociedad de las investigaciones. Para medir este
impacto es necesario que los revisores, tanto de propuestas de proyectos como de artculos
tcnicos, no sean expertos en el tema del artculo, sino ciudadanos interesados en los problemas

de nuestra sociedad. El pblico general paga los fondos pblicos que financian muchas
investigaciones y tiene derecho a intervenir en el proceso de concesin de proyectos de
investigacin. A muchos cientficos no les gusta la idea, que se aplica en los proyectos de los
Programas Marco de la Comunidad Europea, pero en EEUU hay varias voces que claman por
un sistema similar. Nos lo recuerda Amber Dance, Impact: Pack a punch, Nature 502: 397398, 16 Oct 2013.
En resumen, recomiendo consultar el nmero especial de Nature dedicado al impacto, porque
realmente merece la pena.