La evaluacin de la actividad cientfica: desde la indagacin sociolgica a la burocratizacin.

Dilemas actuales

PABLO KREIMER*

Introduccin
Analizar la evaluacin de la actividad cientfica de tipo acadmico implica lidiar, desde el inicio, con cuestiones muy heterogneas que remiten, ms all de cuestiones de tipo operativo o instrumental, a las concepciones mismas acerca de qu se entiende por ciencia, prctica cientfica o produccin de conocimientos, entre otras definiciones corrientes1. A primera vista, uno podra esperar que, dada determinada definicin de la ciencia y de sus prcticas, se correspondiera, de un modo natural, un conjunto de otras prcticas, fuertemente asociadas con ellas, que permitan evaluarla. Ello tiene, sin dudas, una fuerte impronta poltica, en la medida en que la evaluacin ocupa una porcin fundamental de las polticas de ciencia y tecnologa, especialmente desde la segunda mitad del siglo XX. Como intentaremos mostrar, la correspondencia entre una cierta concepcin de la actividad cientfica y el desarrollo de instrumentos especficos no tiene nada de natural sino que, particularmente durante las ltimas dcadas, el despliegue de mecanismos e instrumentos de evaluacin de la ciencia se fue desarrollando de acuerdo con concepciones ms bien implcitas que estn objetivadas en sus aspectos instrumentales ms que en cuestiones de orden sustantivo, relacionadas con el papel que la evaluacin desempea en el desarrollo de la actividad cientfica y, yendo un paso ms all, sobre el papel de la ciencia en una sociedad determinada. Intentaremos trabajar aqu sobre una hiptesis de trabajo que podra enunciarse del siguiente modo: Las actividades de evaluacin de la ciencia en los pases de Amrica Latina responden ms a una racionalidad burocrtica que resulta -implcita o explcitamente- funcional al contexto de una ciencia globalizada e interpenetrada por necesidades pblicas y privadas de los centros hegemnicos de produccin de conocimientos, que por la consideracin acerca del papel de dichos conocimientos en las sociedades en donde ellos se producen. A lo que debemos agregar que el papel de la evaluacin en el marco de las polticas de ciencia y tecnologa, lejos de desempear una funcin neutral o subordinada, es la expresin de las concepciones implcitas en los paradigmas que rigen la regulacin de las actividades de produccin y uso de conocimientos, determinando, en buena medida, las prcticas de los actores ms significativos. En este artculo nos proponemos presentar el modo en que la evaluacin ingresa, en trminos institucionales, como un elemento asociado a las definiciones cannicas de la ciencia y sus prcticas. Enseguida intentaremos abrir la caja negra de la evaluacin, distinguiendo sus diferentes componentes, prcticas y actores y, tambin, sus principales problemas. Finalmente, presentaremos algunas cuestiones emergentes de la situacin actual, y sus particulares consecuencias para los pases de Amrica Latina.

59

La evaluacin y sus contextos conceptuales

Las primeras formas de evaluacin de la ciencia fueron, naturalmente, propias e internas a la conformacin de los primeros campos cientficos. En la medida en que, en un lento
Lic. en Sociologa, Universidad de Buenos Aires; Dr. en Ciencia, Tecnologa y Sociedad, Centro de Ciencia, Tecnologa y Sociedad, CNAM; Investigador CONICET; Director del Centro Ciencia, Tecnologa y Sociedad, UM. E-mail: pkreimer@yahoo.com

PROPUESTA EDUCATIVA / 36

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

Pablo Kreimer

proceso de institucionalizacin, diversos campos fueron organizndose como tales desde el siglo XVIII, sus practicantes comenzaron a crear espacios de socializacin, en particular sociedades cientficas que seran instituciones clave, en la medida en que fueron las encargadas de poner en marcha dos tipos de actividad que, de a poco, van a conformar el eje de las actividades de los investigadores: las primeras reuniones cientficas y las primeras revistas especializadas2. Ambos instrumentos tenan, adems de la socializacin, otro objeto central, el de establecer los mecanismos para activar la identificacin colectiva y, derivado de all, los mecanismos sociales de jerarqua, estratificacin y diferenciacin. Naturalmente, todo proceso de identificacin colectiva es, al mismo tiempo, un proceso de diferenciacin y, de hecho, como seala Salomon (2008, pg. 63), en un profundo estudio sobre el desarrollo de la profesin cientfica: Las revistas y las sociedades cientficas ya no tenan nada que ver con sus homlogas de la filosofa: la comunidad cientfica publicaba artculos y comentarios con un estilo e incluso con un formato que se diferenciaban de los literarios; se expresaban en un lenguaje al que cada vez ms tendran acceso slo los especialistas: y estos, para obtener reconocimiento por sus trabajos, se dirigan a sus pares, a sus colegas, iguales en cuanto a ttulos, competencia, publicaciones reconocidas y legitimadas Es decir que, en sus orgenes, los primeros mecanismos de evaluacin fueron completamente internos a los propios colectivos cientficos3. La evaluacin, centrada en el prestigio diferencial de cada uno tomaba a las publicaciones slo como un mecanismo auxiliar de un capital simblico que ya haba sido construido siguiendo las normas propias de cada uno de los campos disciplinarios, y su funcin no era diferente a la de cualquier otro mecanismo de diferenciacin jerrquica en todo otro campo de produccin simblica y material. De este modo, la evaluacin que se haca entonces era de tipo informal, dirigida a establecer el valor de verdad de los enunciados propuestos, segn las concepciones vigentes. Dicho de otro modo, este tipo de actividad era evaluado segn parmetros altamente subjetivos o, mejor, intersubjetivos, ello no tena ms consecuencias que en trminos de distribucin de capital simblico o prestigio en el interior de un campo. A lo sumo, como seala Bourdieu (1997), se poda generar la capacidad de hablar legtimamente en nombre del campo e intervenir en las arenas pblicas a partir de la legitimidad ganada en su propio campo. Los primeros estudios sobre lo que hoy se conoce como cientometra fueron generados por un cientfico que ejerca un papel nada desdeable desde el punto de vista de su capital simblico: se trata de James Cattell quien fue el editor de la revista Science entre 1895 y 1944 (Godin, 2006). Cattel cre el primer directorio de datos sobre cientficos, en 1903, en donde fue reuniendo informaciones sobre diversas disciplinas, aunque comenz con la propia, la psicologa4 . El inters de Cattell estaba orientado a identificar parmetros tales como la localizacin geogrfica de los investigadores y su performance.

Boletn de Manuel Otero

PROPUESTA EDUCATIVA / 36

La evaluacin de la actividad cientfica: desde la indagacin sociolgica a la burocratizacin. Dilemas actuales

Siguiendo en esta misma lnea, la recoleccin sistemtica de informacin cientfica tuvo dos vertientes bien diferentes entre s, pero coincidentes en la poca, hacia comienzos de la dcada del sesenta: una estaba orientada a las polticas generales de ciencia y tecnologa; la otra a la indagacin histrica y sociolgica. En la primera de estas preocupaciones debemos mencionar el papel de dos instituciones que resultaron clave para impulsar a los gobiernos a producir datos relativos a las actividades cientficas, la UNESCO y la OCDE. Estas instituciones estaban fuertemente concernidas por la emergencia de las polticas cientficas desde el fin de la Segunda Guerra Mundial, y para hacerlas ms sustentables y fundamentadas. As, bajo el paradigma del modelo lineal la idea era que la ciencia produce beneficios y, para que ello sea efectivamente as, se debe gestionar la ciencia, y la gestin requiere datos (Godin, 2009, pg. 9). Para contribuir a este fin, la OCDE produjo un manual metodolgico destinado a los estadsticos nacionales, el conocido Manual de Frascati en 1962, que estaba orientado a estandarizar los datos sobre investigacin y desarrollo. El manual ofreca todas las metodologas y el marco analtico para responder a tres cuestiones o requerimientos de la poca: la distribucin de recursos, el balance entre las decisiones o prioridades polticas y la eficacia de la investigacin. Por su parte, entre los aos 1963 y 1964 la UNESCO despleg esfuerzos similares. Segn Feld, la Informacin sobre Poltica Cientfica de los Estados Miembros abarcaba un amplio rango de actividades: recoleccin de informacin sobre organizacin y financiamiento de la investigacin; estudios sobre las polticas cientficas de los Estados Miembros; encuentros de expertos para elaborar recomendaciones referidas a los objetivos y mtodos de la poltica cientfica; ayuda a los Estados Miembros en la mejora y desarrollo de sus instituciones de poltica cientfica nacional (Feld, 2011, pg.187188). La vertiente ms analtica en relacin con la informacin cientfica y sus usos se refieren a los trabajos de Derek de Solla Price, quien public, en 1963, su famoso libro Little Science, Big Science. Aunque los objetivos de Price son mltiples, la parte que aqu ms nos interesa es el uso que hace Price de las estadsticas para el anlisis de cierta dinmica social de la ciencia. Segn l, analizando la productividad cientfica podra deducirse que los trabajos se escriben nicamente para que los cuenten decanos, gobernantes e historiadores y que la energa de un cientfico debe utilizarse para producir el mayor nmero de publicaciones. Nada ms falso: cada trabajo representa un quantum de informacin cientfica til [] y algunas contribuciones concretas pueden hacer que un autor sea valorado por encima de los cientficos prolficos con un centenar o incluso un millar de publicaciones ordinarias (Price, 1963, pg. 109). Y as llegamos a un instante clave en el conocimiento sobre estos temas y, tambin, a los sustentos de la evaluacin de la ciencia: las citas que recibe un artculo. En efecto, si hasta
PROPUESTA EDUCATIVA / 36

61

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

Pablo Kreimer

entonces slo se contaban las publicaciones brutas, en trminos de productividad, a partir de la propuesta metodolgica de Price, lo que importa es cunto y quines citan un artculo cientfico. As, analiza la estructura de citas de los artculos (descartando lo que llama la mala costumbre de algunos autores de citar sus propios trabajos) a lo largo del tiempo, para llegar a la conclusin de que existen grupos que poseen una especie de circuito que conecta instituciones, centros de investigacin [que] constituyen un colegio invisible en el mismo sentido que los cientficos britnicos se asociaron para crear la Royal Society (Price, 1963, pg. 137). El anlisis de Price se inscribe dentro de una perspectiva analtica prxima de la nocin de comunidad cientfica de Merton o, mejor, de Hagstrom (1965), concebida como un sistema social de intercambios. En todo caso, el aporte de Price es ms de orden metodolgico que conceptual, en la medida en que aporta una herramienta novedosa para detectar esas relaciones sociales que no resultaran evidentes de otro modo. Sin embargo, el uso de las citas excedi, en mucho, el anlisis sociolgico que el propio Price imagin en los albores de los aos sesenta. De hecho, fue su contacto con otro entusiasta de las citas, Eugene Garfield, lo que est en el origen del hoy clebre ISI (Institute for Scientific Information), creado por Garfield en 1960, con el objetivo de producir bases de datos con diversos fines, y de cuyo primer comit el propio Price fue uno de los miembros ms activos. Inmediatamente comenzaron a encontrarle a estos datos otros usos, bien diferentes que el anlisis histrico y sociolgico de la ciencia que animaba a Price: segn el propio Garfield propuso en 1963, uno de sus usos importante debera servir para evaluar la calidad de las revistas cientficas, lo que est en la base de la indexacin de las publicaciones peridicas y, tres aos ms tarde lo propuso, en otro texto, como un instrumento idneo para evaluar la productividad de la investigacin en general. Ello se realiz a travs del Science Citation Index (SCI), que comenz a editarse desde entonces5. Como sealamos ms arriba, las primeras formas de evaluacin, hasta entrado el siglo XX, remitan a la estructura -relativamente informal- de relaciones entre pares en el interior de los colectivos de cientficos. As, por ejemplo, las estructuras de las carreras y trayectorias cientficas estaban reguladas por mecanismos propios de reconocimiento entre pares sin que mediara ninguna otra instancia externa a la propia comunidad. Este panorama comenzar a modificarse a partir de la segunda mitad del siglo XX, debido al desarrollo de las polticas cientficas y sus funciones fundamentales que son las de distribuir recursos, regular las carreras y establecer prioridades. Lo primero es muy antiguo, y sus modalidades fueron cambiando de un modo sustantivo a lo largo del tiempo, desde el lobby ejercido por personajes cultos y, sobre todo, nobles, hasta los mecanismos fuertemente institucionalizados en la actualidad. La regulacin de las carreras est ligado con el proceso de profesionalizacin de la actividad cientfica y que, como toda profesin, est ligada a la percepcin de un salario. Como seala Salomon (1994), es recin luego de la Segunda Guerra Mundial la nocin de cientficos que se consagran a tiempo completo a la investigacin, con salarios negociables, y reconocidos por los pases industrializados. Este proceso no se completar hasta que, como ya sealamos, a partir de los aos setenta las polticas cientficas dejen de estar centradas en el modelo ofertista centrado en el fortalecimiento de las capacidades de investigacin (bsica o aplicada), y se orienten a cuestiones de tipo estratgico, sea ello dirigido hacia la competitividad industrial, el desarrollo militar o las necesidades sociales. As, la evaluacin comienza a adquirir un nuevo estatus institucional cuando surge como una necesidad de la administracin de los recursos entre individuos, grupos e instituciones enteramente profesionalizados y cuyas prcticas han adquirido la legitimidad similar a las de otras polticas pblicas. Analizaremos este aspecto en el prximo acpite.

62

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

PROPUESTA EDUCATIVA / 36

La evaluacin de la actividad cientfica: desde la indagacin sociolgica a la burocratizacin. Dilemas actuales

La evaluacin institucionalizada como parte de las polticas cientficas

Es en el perodo que comienza en los aos que siguieron a la Segunda Guerra Mundial que los pases desarrollados comenzaron sus polticas cientficas activas, desplegadas en un conjunto de instrumentos e instituciones. Estas ltimas tomaron la forma, en particular en los pases de Europa Occidental, de Ministerios de Ciencia y Tecnologa u organismos equivalentes, que ampliaban los mrgenes de accin de los Consejos Nacionales (como el CNRS de Francia, el CSIC de Espaa o el CNR de Italia), para ponerse a tono con el nuevo papel de las polticas de CyT que ponan al conocimiento (producido tanto en mbitos pblicos como privados) como un elemento central en las estrategias de competitividad. En cuanto a los instrumentos, se trata de dos tipos de acciones: por un lado, de subsidios que se otorgan por fondos concursables, en contraposicin con lo que ocurra hasta los aos cincuenta, cuando los fondos para la investigacin se otorgaban directamente a los laboratorios o institutos, segn pautas presupuestarias ms o menos rgidas. En ese entonces, lo que primaba era el capital simblico de los lderes de los grupos e instituciones, asociado con sus capacidades de lobby frente a las autoridades de los organismos (por lo general, los propios cientficos devenidos administradores o polici makers). Este cambio vino dado por tres factores: en primer lugar, el aumento exponencial en los costos para la investigacin, propio de lo que Price (o, an con ms precisin, Gallison y Hevly, 1992) describieron como big science, acompaado de toda una industria de equipos e instrumentos para la investigacin que hasta entonces eran artesanales; en segundo lugar, el aumento, tambin exponencial, que se fue dando en el nmero de cientficos activos desde los aos de la posguerra; en tercer lugar, por la emergencia de un nuevo paradigma de las polticas cientficas que, con el objeto de fomentar la excelencia, deba establecer mecanismos de seleccin. Por consiguiente, el aumento de los costos y de los investigadores llev a que los recursos disponibles fueran sensiblemente menores que las demandas realizadas por los grupos de investigacin. De un modo explcito, la existencia de mecanismos competitivos para el acceso a los recursos pone en cuestin una suerte de mercado fuertemente competitivo, donde para acceder a dichos recursos es necesario acreditar un capital simblico superior al de los competidores, segn los valores que rigen en cada momento. As, se ponen en prctica, de un modo sistemtico, los llamados mecanismos de evaluacin ex ante, y que se alimentan bsicamente de dos tipos de insumos: por un lado, la evaluacin por pares (peer review), por otro, la adecuacin a las agendas definidas como prioritarias por las agencias encargadas de la financiacin (temas, lneas y an metodologas establecidas a priori). Y, en la evaluacin de los antecedentes de cada propuesta, donde antes se meda solamente la produccin, es decir, el nmero bruto de artculos publicados, ahora se va a medir el impacto de dicha produccin, en referencia al nmero de citas que los trabajos de un autor o un conjunto de autores han merecido. La base conceptual que subyace a este nuevo tipo de prcticas es que los mecanismos anteriores estaban basados, ya sea en apreciaciones subjetivas sobre el prestigio de los colegas (lo que intensificaba el efecto de clubes de colegas o de clanes que se repartan el grueso de los recursos), ya sea en indicadores brutos de produccin que no permitan establecer el valor asignado por la propia comunidad de especialistas a las contribuciones individuales o grupales. As, si diversos artculos de un autor haban recibido un nmero importante de citas, ello resultaba un indicador indudable de la importancia que los propios pares le haban asignado a sus aportes. Lo anterior vino acompaado de otro artefacto fundamental: la indexacin de las revistas, es decir qu publicaciones se iban a incluir en el listado de publicaciones que cumplieran determinados criterios, y su clasificacin jerrquica segn el factor de impacto de cada una. El factor de impacto de una revista es el nmero de veces que se cita por trmino medio un artculo publicado en una revista determinada. Es un instrumento para comparar revistas y evaluar la importancia relativa de una revista dentro de un mismo campo cientfico. Es Thomson ISI quin se encarga de analizar las revistas con este fin.
PROPUESTA EDUCATIVA / 36

63

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

Pablo Kreimer

As, el conjunto de revistas indexadas de un campo determinado (por ejemplo, la biologa) son clasificadas en orden decreciente segn su factor de impacto, lo que determina diferentes tipos de revistas, organizadas, por ejemplo, en cuartiles: las pertenecientes al primer cuartil (el primer 25%) sern las de excelencia, las que siguen las muy buenas, luego sern, simplemente, buenas y las ltimas regulares (se entiende que las malas revistas no seran ni siquiera indexadas. A ello hay que agregar, a los fines de evaluacin, el peso y la estructura de las firmas cientficas, es decir quin o quines firman un artculo y, sobre todo, en qu orden. Tanto el anlisis de las citas segn factor de impacto y rol en la firma de cada artculo como el ndice constituyen, en la actualidad, un insumo fundamental para la evaluacin ex ante de los antecedentes de los investigadores para el otorgamiento de fondos concursables, pero tambin para la evaluacin, tambin ex ante, de los ingresos a puestos cientficos, tales como becas de postdoctorado, el ingreso a cargos de profesores y a las carreras de investigadores. Otros indicadores generalmente utilizados para la evaluacin de las carreras cientficas, sobre todo a partir de cierto estadio de maduracin, es la formacin de discpulos, en trminos de tesis doctorales finalizadas. Y tambin la capacidad, demostrada en el pasado, en la obtencin de recursos a travs de fondos concursables, o de contratos con diversas instituciones (empresas privadas, fundaciones, u otros actores o agencias). Conceptualmente, lo que subyace aqu es que actores otros que la propia comunidad acadmica han valorado los trabajos de los individuos o grupos en cuestin. Sin embargo, en la prctica, todos estos otros indicadores utilizados para la evaluacin resultan subsidiarios del eje principal, que est focalizado en los papers y sus citas.

64

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

Desacralizacin del paper y de las citas: cuestiones conceptuales y metodolgicas

Si, hasta ahora, pudimos mostrar que la evaluacin a travs de los papers es el mecanismo privilegiado del que disponen tanto los organismos de poltica cientfica como los propios colectivos de especialistas de las ciencias exactas y naturales para dirimir, al mismo tiempo, cmo se distribuye el capital simblico, pero tambin el capital material, vale la pena entonces hacernos algunas preguntas de orden ms sustantivo que operativo. En primer lugar, vale la pena preguntarse qu es un paper, y qu papel desempea en el marco conceptual que lo toma como eje de la ciencia. Y, en segundo lugar, qu consecuencias tiene esta decisin. Veamos la primera cuestin: qu es y qu no es un paper? En la medida en que los papers son tomados como indicador de la produccin cientfica, vale la pena intentar romper con esta fuerte asociacin conceptual, que se presenta de un modo naturalizado: el paper no es el conocimiento ni es la ciencia. Ni siquiera cuando aceptramos que el paper represente al conocimiento como forma codificada (hiptesis de todos modos harto discutible); oculta muchas ms cosas de las que muestra. Veamos algunas de ellas:
PROPUESTA EDUCATIVA / 36

Kikita por Victoria Presman

La evaluacin de la actividad cientfica: desde la indagacin sociolgica a la burocratizacin. Dilemas actuales

Un paper muestra el xito y esconde el fracaso: en efecto, cuando se redacta un artculo, ningn cientfico con pretensiones de que se lo publiquen describe todos los procesos que tuvo que desarrollar para llegar a la redaccin que obra en manos del referee encargado de dictaminar sobre su publicacin. Por ejemplo, muchos conocimientos surgen de ensayos fallidos o fracasados que muestran no cmo las cosas son, sino, precisamente, como no son. Un paper oculta todo lo que, desde hace mucho tiempo, Michael Polanyi (1967) denomin conocimiento tcito, es decir, una gran diversidad de actividades que forman parte de las prcticas de la investigacin cientfica y que no son codificables, tales como la destreza del experimentador (cientfico o tcnico), ciertas condiciones que no llegan a especificarse (incluso porque se piensa que algunas de ellas no son importantes), la cultura y el lenguaje propios del grupo de investigacin que produjo el paper, los diferentes lugares en donde el mismo fue producido (a veces un experimento se hizo a 15.000 kilmetros de otro experimento, u otras condiciones que simplemente se ignoran. Un paper tambin oculta el papel que los autores desempean en un campo cientfico de relaciones sociales. Es cierto, sobre este aspecto s tenemos algunas pistas: cuando los autores dicen, por ejemplo, que ya ha sido establecido que y acto seguido citan sus propios trabajos anteriores, tenemos un indicio de que no se trata de novatos o recin llegados. Tambin tenemos algunas pistas de quienes suelen ser sus amigos y con quienes se pretende discutir, como lo observ Price. Pero son slo eso, pistas que los pares pueden decodificar, bajo la condicin de manejar un conjunto de informaciones que le resultarn imprescindibles para entender quin y de qu est hablando. Finalmente, un paper oculta, tambin, el ya sealado inters (o la necesidad) del autor (o de los autores) por legitimarse, por contar en su curriculum con una publicacin ms que pueda hacer valer ante sus pares y las burocracias (normalmente tambin conformadas por sus propios pares) que habrn de evaluarlo. Sin embargo, an si con las consideraciones anteriores se ve claramente que el paper no tiene nada que ver con el carcter objetivo de la ciencia, el aspecto ms importante se relaciona con la operacin retrica que implica todo artculo cientfico. Como Bruno Latour (1987) lo seal hace un cuarto de siglo, el paper forma parte de la ltima etapa de fortalecimiento de un enunciado que se ha venido forjando a travs de dos dispositivos fundamentales: la bsqueda de aliados que respalden los enunciados que se pretende legitimar, y la movilizacin de inscripciones que, surgidas del laboratorio (y por lo tanto artificiales, fabricadas) van a representar al mundo fsico y natural. As, por ejemplo, una expresin sobre la variacin en el ritmo cardaco se verifica en unas lneas que se reproducen en un papel, de modo tal que el lector ve el ritmo cardaco y lo que en realidad hay, que son slo lneas de color en una hoja milimetrada. Por otro lado, los aliados son aquellos, tanto cientficos como no cientficos, que van a ir fortaleciendo el enunciado hasta hacerlo formar parte de cierto sentido comn y por lo tanto crisPROPUESTA EDUCATIVA / 36

Pablo Kreimer

talizando el conocimiento que, una vez aceptado, es decir publicado bajo la forma de un paper y citado por los pares queda consagrado en una suerte de caja negra que ya no se discute ni se pone en cuestin, sino que opera simplemente como verdadero, ocultando todo su (complejo y contradictorio) proceso de produccin (Latour, 1983). Desde el punto de vista sociolgico queda claro, pues, que las evaluaciones, tanto ex ante como ex post realizadas en base a los papers estn ms marcadas por los imperativos burocrticos y las necesidades de la comunidad cientfica que por un objetivo sustantivo de evaluar las prcticas cientficas y los procesos de produccin de conocimiento. Pero, adems, desde el punto de vista metodolgico, el uso de las citas y de los ndices que de all se derivan, son objeto de fuertes cuestionamientos de orden metodolgico, como veremos a continuacin. Ante todo, en relacin con la cobertura: la base de datos del Science Citation Index (SCI) cubra, hace una dcada, alrededor de 3.200 publicaciones peridicas, sobre un total estimado de 126.000, lo cual significa que slo alrededor del 2,5% de las publicaciones estn incluidas (Seglen, 1997). Adems, la cobertura vara considerablemente entre los campos de investigacin: mientras que en algunas universidades sus publicaciones en qumica llegan al 90% de las indexadas, las publicaciones en biologa en esas mismas universidades slo llegan al 30% en las bases de datos 6 (Moed et al., 1987) Adems del caso particular de las ciencias sociales, en el campo de las matemticas las publicaciones ms importantes que no estn incluidas en las bases de datos del SCI han sido ms citadas que las que s fueron incluidas. Por otro lado, la preferencia del SCI por las revistas publicadas en ingls contribuye al bajo impacto de las publicaciones realizadas en otras lenguas. Ello se ve reflejado en el alto impacto que tienen los cientficos estadounidenses (o radicados en los Estados Unidos) que dominan claramente el ranking de citas, con alrededor del 50%, mientras que la presencia de la ciencia estadounidense no supera el 30% del total (Moed et al., 1987). Ello se debe, probablemente, a una tendencia a que citen ms a los de su propio pas que a los extranjeros. Esta tendencia se agrava en algunos campos, donde el sesgo se hace insostenible en trminos metodolgicos: por ejemplo, en las publicaciones de Estados Unidos en el campo de la investigacin clnica, el 83% de las referencias eran de papers publicados por investigadores estadounidenses (muchas de ellas sin dudas autocitas) (Narin et al., 1996).

66

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

El papel de la evaluacin de la ciencia y de los cientficos hoy y sus problemas en Amrica Latina
Si logramos desacralizar el papel de los papers como instrumento privilegiado para la mayor parte de las evaluaciones, vale la pena preguntarnos, en esta ltima seccin, cul es el rol real que desempean, sabiendo de antemano que dicho papel est lejos de ser neutral, y qu consecuencias tiene ello para dos aspectos que nos interesan en particular: la situacin de Amrica Latina y la de las ciencias sociales. Ante todo, la burocratizacin. En la mayor parte de los pases centrales, la evaluacin realizada a travs de estos instrumentos tiene como principal efecto el de generar indicadores que, por su pretendido carcter objetivo, parecen brindar bases slidas para el dilema de las polticas cientficas -y, en rigor, de toda poltica pblica-, durante los ltimos cincuenta aos: sobre qu bases distribuir bienes que, por su propia naturaleza, son siempre escasos. En este sentido, la utilizacin de las citas, del factor de impacto y de otros indicadores genera una discriminacin cuantitativa que, bajo el supuesto conceptual de que mide objetivamente la calidad, permite darle recursos y promocionar en sus carreras a quienes estarn en mejores condiciones de hacer aportes significativos al edificio del conocimiento. Esto est lejos de ser nuevo: Merton (1968), en su conocido texto acerca del efecto Mateo en la ciencia ya haba llamado la atencin acerca de este fenmeno (an si el mismo contradeca su ingenuo postulado de una distribucin proporcional de las recompensas), que tiende a premiar a quienes ya tienen un reconocimiento previo.
PROPUESTA EDUCATIVA / 36

La evaluacin de la actividad cientfica: desde la indagacin sociolgica a la burocratizacin. Dilemas actuales

En segundo lugar, un efecto sobre la dinmica de los colectivos cientficos: en cada uno de los campos del conocimiento, quienes ejercen el control cognitivo de las investigaciones, son los lderes en materia de publicaciones, cuentan con mayores recursos y estn localizados en las instituciones ms prestigiosas son, al mismo tiempo, quienes integran los comits de las revistas ms prestigiosas, y quienes tienen el poder de evaluar y decidir qu textos se publican y cules sern rechazados, y debern por lo tanto ser enviados a publicaciones de menor jerarqua (y por lo tanto menor factor de impacto), lo que luego repercutir en las carreras acadmicas. Adicionalmente, los comits cientficos que juzgan a sus pares, estn conformados mayormente por las mismas lites que ya mencionamos. As, se observa en el interior de los campos un poderoso mecanismo de reproduccin de las tradiciones dominantes que deja bien lejos incluso las crticas ms radicales, como la que imagin Bourdieu (1976) hace ya varias dcadas. En trminos cognitivos, estos dispositivos, que podemos definir como de control, diferenciacin y disciplinamiento, tienden a darle un carcter fuertemente conservador a la mayor parte de los campos de investigacin, en la medida en que, excepto que las innovaciones provengan de los lderes, o de sus redes ms prximas, las investigaciones que se pretendan publicar con un carcter ms innovador sern relegadas a espacios de menor jerarqua cuya difusin ser menor, y sus impactos sobre el conjunto de las investigaciones de dicho campo, mucho menos visible. En trminos de la calidad de las investigaciones, observamos una paradoja: mientras que el sistema altamente burocratizado que describimos se despliega con la complicidad explcita de las lites cientficas y las burocracias pblicas con el justificativo de la priorizacin de la calidad, ello ejerce una presin sobre el conjunto de los investigadores que hace que cada vez esperen menos, y tengan menos tiempo para hacer desarrollos cognitivos ms complejos y ms profundos, y que deban improvisar todo el tiempo resultados publicables, bajo la conocida advertencia del publish or perish (publicar o morir). De este modo, el propio dispositivo conspira contra la posibilidad de desarrollos ms interesantes, los que slo podran ser emprendidos por los que estn en lo alto de la escala jerrquica (por ejemplo, los laureados con el premio Nobel o equivalentes), y que por lo tanto quedan fuera de las rendiciones de cuentas inmediatas; o los recin llegados quienes de todos modos pueden hacer grandes apuestas porque no tendran mucho que perder (aunque de todos modos en un plazo perentorio podran ser directamente excluidos del sistema). A todo lo anterior debemos agregar un elemento fundamental: el crecimiento exponencial de la cantidad de publicaciones, y de autores, cuyo origen se puede atribuir a mltiples razones, entre las cuales la primera es la razn que acabamos de exponer, la exigencia institucional para publicar7. Esto va de la mano con el nuevo bien escaso que se verifica en las sociedades del siglo XXI y que genera una lucha encarnizada por hacerse de l: la atencin humana. Ello excede, naturalmente, el campo de la investigacin cientfica, pero lo incluye. Tomemos slo un dato en cuenta: mientras que en 1960 haba 98 minutos de informacin disponible por cada minuto de atencin humana, en 2005, cada unidad de atencin era disputada por 20.943 minutos de informacin digital (Neuman et al., 2009). En efecto, si hace un siglo un estudiante de doctorado poda, con un esfuerzo moderado, abarcar la gran mayora de los textos que se haban publicado sobre su tema, esto es materialmente imposible en la actualidad. Con ello llegamos a la siguiente -y un poco triste- conclusin: la mayor parte de los artculos publicados prcticamente no tendrn lectores. La cuestin en Amrica Latina Como sealamos al comienzo de este artculo, las polticas cientficas en Amrica Latina se fueron institucionalizando desde los aos cincuenta y, sobre todo, desde los aos sesenta. Aunque resulta fcil decir que hubo una simple transferencia de modelos institucionales, como seal, entre otros, Oteiza (1992), algunos autores han mostrado recientemente que el proceso ha sido ms complejo, y donde las idiosincrasias locales desempearon un papel importante (Feld, 2011)8. Sin embargo, resulta evidente que los colectivos cientficos, a cuya cabeza estaban los investigadores pertenecientes a las lites locales, estaban fuertemente internacionalizados (y en ello resida, al menos en parte, la conformacin de su prestigio local) y que conocan y compartan los valores desplegados por las lites internacionales (Kreimer, 2010). As, por ejemplo, en la Argentina, desde
PROPUESTA EDUCATIVA / 36

67

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

Pablo Kreimer

la creacin del CONICET en 1958, los criterios de calidad eran un requisito fundamental para la atribucin de los recursos, aun si no se encontraban todava plenamente institucionalizados los mecanismos para una burocratizacin efectiva, y los criterios, durante las primeras pocas tuvieron mucho de informalidad en un campo cientfico que era, de todos modos, bastante pequeo, y las relaciones eran semejantes a las de un pueblo o aldea en donde casi todos se conocan. Sin embargo, desde los comienzos del CONICET se hizo evidente un fuerte sesgo disciplinario, representado por la lite del campo biomdico, cuyo lder era Bernardo Houssay, premio Nobel de medicina en 1947 y presidente del Consejo nacional desde su creacin y hasta 1971, ao en que muri. Por cierto, desde los aos sesenta la emergencia de la Big Science vino a irrumpir de un modo estrepitoso con las prcticas que el propio Houssay y sus grupos afines haban tenido hasta entonces, y la necesidad de recursos se hizo cada vez ms evidente en la medida en que algunos campos altamente dependientes de ellos, como el de la fsica o la computacin se iban desarrollando. As, los mecanismos de competencia por los recursos se fueron haciendo ms duros, a medida que se iba ampliando el nmero de investigadores en la mayor parte de los campos, en parte por la propia accin del CONICET, pero sobre todo de las Universidades9. No obstante, el papel del CONICET fue muy importante en el establecimiento de criterios para la evaluacin de las actividades, y para cristalizar la existencia de una lite internacionalizada que tuviera la legitimidad de un hablar legtimo en nombre de la ciencia. As, podemos afirmar que hacia los aos sesenta esta institucin haba logrado introducir ms o menos los mismos criterios que imperaban por entonces en los pases centrales. Y esta tendencia se va a mantener, prcticamente, hasta la actualidad, con las consecuencias que analizaremos a continuacin. Este proceso no estuvo exento de cuestionamientos muy tempranos, cuyo exponente ms visible fue Oscar Varsavsky. Como la mayor parte de los mecanismos establecidos entonces permanecen, a grosso modo, hasta la actualidad, vale la pena detallar brevemente esos cuestionamientos, puesto que en buena medida siguen vigentes ms de cuarenta aos despus. Sealaba Varsavsky en 1969 que el paper es esencial para ascender, para justificar los subsidios obtenidos, para renovar los contratos con las universidades serias. El contenido del paper es ms difcil de evaluar, slo hay consenso entre los muy buenos y muy malos (Varsavsky,1969, pg. 37-38). Y agrega: Este mecanismo revela la influencia de las filosofas de tipo neopositivista, surgidas del xito de las ciencias fsicas y del triunfo del estilo consumista. Aun los cientficos que se proclaman antipositivistas aplican esa filosofa al actuar en su profesin. () Esta tendencia a usar slo ndices cuantificables () es suicida: as un informe de UNESCO (1968) afirma que los pases subdesarrollados necesitan un cientfico cada mil habitantes como mnimo, afirmacin tan vaca como decir que un hombre necesita respirar x molculas por hora, sin especificar de qu molculas se trata (Varsavsky,1969, pg. 38-39).
PROPUESTA EDUCATIVA / 36

Abanderados por Victoria Presman

La evaluacin de la actividad cientfica: desde la indagacin sociolgica a la burocratizacin. Dilemas actuales

Varsavsky concluye en que estos mecanismos, lejos de ser neutrales, van delineando, formatean diramos hoy, un tipo de investigador que, imbuido de los valores cientificistas, no aporta nada ni a la sociedad que lo financia, ni al conocimiento universal: aunque hubiera no uno, sino cien de estos cientficos por cada mil habitantes, los problemas del desarrollo y el cambio social no estaran ms cerca de su solucin. Ni tampoco los problemas de la ciencia universal. Dicho de otro modo, podramos agregar que la prctica cientfica se va burocratizando en un conjunto de prcticas cuyo sentido va siendo desplazado desde un contrato implcito con la sociedad en una promesa de proveer explicaciones sobre el mundo fsico, natural y social, y modos de intervenir sobre l, hacia la mera reproduccin del aparato institucional y humano de la ciencia. La situacin de Amrica Latina en las ltimas dcadas hace que el predominio de estos sistemas de evaluacin esterilice todo otro intento de las polticas cientficas por una utilizacin efectiva de los conocimientos que se financian y producen. Ello obedece a dos razones: a la integracin subordinada y al carcter eminentemente pblico de la investigacin en nuestra regin. El fenmeno que hemos definido como integracin subordinada, en donde las lites cientficas locales tienen el poder de determinar la orientacin tanto en el plano institucional -las polticas- como en el nivel de las intervenciones informales, que influyen sobre las agendas, las lneas de investigacin prioritarias y los mtodos ms adecuados. Existe, para esos investigadores, un crculo virtuoso: su prestigio local de base les permite establecer vnculos con sus colegas de centros de investigacin internacional; y luego, la participacin en las redes mundiales (y el reconocimiento externo) hace crecer de un modo decisivo su prestigio -y poder- local. La integracin subordinada es un rasgo importante de la ciencia producida en la periferia. Como resultado directo de la modalidad de relacin con los cientficos del mainstream, los grupos ms integrados tienden a desarrollar actividades rutinarias: controles, pruebas, tests, de conocimientos que ya han sido bien establecidos por los equipos que asuman la coordinacin en las redes internacionales (Kreimer, 2006). Los investigadores realizan un tipo de prctica que podemos denominar como ciencia hiper-normal, con muy bajo contenido innovador, aunque altamente valorable en los datos que genera. Ello acarrea una consecuencia importante para la ciencia perifrica: la definicin de las agendas de investigacin se hace a menudo en el seno de los grupos centrales y es luego adoptada por los equipos satlites, como una condicin necesaria a una integracin de tipo complementaria. Pero esas agendas responden, por regla general, a los intereses sociales, cognitivos y econmicos de los grupos e instituciones dominantes en los pases ms desarrollados. Por otro lado, el carcter eminentemente pblico de la ciencia latinoamericana, en contraposicin con los pases centrales. En efecto, el promedio de financiamiento pblico-privado de los pases de la OCDE ha estado, histricamente, en alrededor del 50% para cada sector de ejecucin, con picos en la actualidad de alrededor del 80% de ejecucin en las empresas para pases como Israel o Japn, mientras que el promedio de los pases europeos est en algo ms
PROPUESTA EDUCATIVA / 36

69

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

Pablo Kreimer

del 60% (OECD, 2011). Es notable observar la alta correlacin entre este indicador de gasto de investigacin en el sector de empresas y el grado de desarrollo de un pas. As, los que registran el porcentaje ms bajo en las estadsticas de la OCDE son Grecia, Polonia y Turqua, con valores inferiores al 40%. Para los pases de Amrica Latina estos valores son histricamente bajos, con porcentajes que nunca superan el 40% y para algunos, como la Argentina, donde oscila en alrededor del 20%. Por qu los datos anteriores son relevantes para discutir el papel de la evaluacin? Porque durante todo el texto nos hemos referido a la evaluacin de la investigacin pblica, realizada en mbitos acadmicos, y hemos dejado expresamente de lado la investigacin industrial. Sin embargo, la capacidad de hacer un uso social efectivo de los conocimientos no pasa (con la excepcin de casos particulares, como la biotecnologa en Cuba) por la fortaleza de la investigacin acadmica, sino por la posibilidad de industrializar el conocimiento a travs de su incorporacin en prcticas desarrolladas por otros actores, en nuevos productos o en nuevos procesos. En este sentido, el predominio de criterios burocratizados en los pases ms desarrollados opera sobre una sola porcin del conocimiento producido, es decir, la parte ms acadmica que se genera en las universidades y centros pblicos de investigacin (como los Consejos Nacionales), pero la mayor parte (es decir, ms del 60%) se evala segn parmetros que, lejos de responder al anlisis de citas y de factores de impacto, responde a las necesidades concretas de otros actores: procesos industriales, necesidades gubernamentales, demandas sociales variadas y tambin, obviamente, al desarrollo militar. Por lo tanto, los criterios de evaluacin que sigue la mayor parte de los pases latinoamericanos, organizados como un dispositivo disciplinador de prcticas sociales de produccin de conocimientos slo reproduce las agendas acadmicas de los grupos de lite acadmica de los pases desarrollados, lo cual hace que todos los intentos por orientar las agendas por criterios de relevancia (ms all del origen, tambin imitativo de los criterios de relevancia) queden esterilizados por el predominio de dichos dispositivos. Pero, lo que es an ms grave, ello ocupa prcticamente la totalidad de la orientacin de las investigaciones, puesto que los sectores privados capaces de industrializar el conocimiento resultan muy poco significativos en el total de la ejecucin de las investigaciones. Este aspecto, que result fundamental durante las ltimas dcadas, adquiere en la actualidad una importancia an mayor, en tiempos que hemos descripto en otros textos como de divisin internacional del trabajo cientfico organizado bajo la forma de mega-redes, de las que pueden participar hasta 600 investigadores (Kreimer, 2010). En efecto, las dos grandes regiones hegemnicas en trminos de produccin de conocimientos, Europa y los Estados Unidos, han desplegado mecanismos para aumentar la esfera de sus investigaciones, cuyos montos y necesidades en personal aumentaron de manera exponencial, a travs del reclutamiento de investigadores altamente calificados de los pases con mayor desarrollo cientfico dentro de las denominadas naciones emergentes. Dentro de estas ltimas, algunos pases latinoamericanos que poseen altas capacidades cientficas han tenido una participacin creciente en programas internacionales. Por ejemplo, en los proyectos financiados por el 7 Programa Marco (PM) de la Unin Europea, los grupos de Argentina, Brasil y Mxico participan en tantos proyectos como Alemania y Francia juntos, que son los lderes en Europa (Kreimer y Levin, 2011). Esto nos indica que la participacin de cientficos latinoamericanos, lejos de responder a los deseos de las lites locales, es una necesidad imperiosa de las naciones europeas. Sin embargo, a diferencia de los fenmenos de fuga de cerebros propia de los aos sesenta a los noventa del siglo pasado, los investigadores que participan en estas redes lo hacen desde sus propios pases, gracias a las posibilidades que brindan las tecnologas de la informacin y la comunicacin (TICs) de poner en marcha comunicaciones en tiempo real desde cualquier lugar. Naturalmente, la participacin de las lites latinoamericanas en estas grandes redes es un incentivo crucial para ellas, puesto que sus oportunidades de publicar en coautora con los lderes mundiales de cada campo. Y ello les genera una reproduccin ampliada de su capital simblico, gracias a los mecanismos locales de evaluacin.
PROPUESTA EDUCATIVA / 36

70

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

La evaluacin de la actividad cientfica: desde la indagacin sociolgica a la burocratizacin. Dilemas actuales

Hay dos paradojas que debemos sealar en estas prcticas. La primera es que, mientras los investigadores que participan desde Amrica Latina en estas mega-redes lo hacen como parte de sus actividades en los centros pblicos de investigacin y las universidades, quienes establecen las agendas y los temas que se abordan en las mismas son consorcios pblico-privados, que sern quienes luego estarn en condiciones de industrializar, en los pases lderes, los conocimientos que se produzcan. Uno podra pensar que los recursos que obtienen los grupos locales a travs de estos mecanismos son de una gran importancia. Esto efectivamente es as: los grupos de la Argentina van a recibir, por sus participaciones en proyectos de los Programas 6 y 7, alrededor de 45 millones de euros (aproximadamente 65 millones de dlares). Mientras tanto, el FONCYT, el organismo ms importante de financiacin de la investigacin en el pas, distribuy entre los aos 2000 a 2006 un total de 88 millones de dlares. Es decir que los fondos que se recibirn por la cooperacin slo en esos programas ser de casi el 75% de los fondos locales (Kreimer y Levin, 2011). Sin embargo, la motivacin ms importante para estos grupos no parece radicar en la cuanta de los recursos obtenidos, sino en las relaciones mismas que se formalizan con los consorcios de investigacin internacionales, por la cantidad de informacin que all circula y, claro, por las oportunidades de publicacin en revistas de alto prestigio (ibd.). La segunda paradoja es que la participacin en dichos consorcios no es gratis. Por el contrario, el financiamiento que deben dedicar los pases de Amrica Latina como contraparte para poder acceder ha aumentado considerablemente entre Programa marco 6 y el 7, an vigente. As, por ejemplo, Brasil aportaba por cada proyecto el 22% del total promedio por proyecto en el 6 PM, y en el 7 aporta casi el 30%; mientras que la Argentina pas de aportar el 13% al 23%. Y, sin dudas, el caso ms evidente es el de Mxico, que haba tenido una participacin menor en los Programas anteriores, por lo que ha debido hacer un esfuerzo mayor: del 6% en el 6 PM pas a contribuir con ms de la mitad del total de fondos en los que participan grupos mexicanos (Kreimer y Levin, 2011). Dicho de otro modo, los pases de Amrica Latina no slo no tienen una poltica pasiva frente a las estrategias europeas por imponer sus agendas de investigacin, sino que adems las apoyan activamente con cantidades crecientes de recursos. Naturalmente, los mecanismos por los cuales se evala en cada pas de la Regin la participacin de los grupos locales en los programas internacionales est centrado en la nocin de calidad, operacionalizada tal como lo hemos descripto en los acpites anteriores. Naturalmente este proceso est lejos de la aspiracin de Varsavsky, para quien: Hoy hay ms cientficos vivos que en toda la historia de la humanidad, y disponen de recursos en cantidad ms que proporcional a su nmero. Con todos esos recursos adquieren aparatos y materiales maravillosos, asistentes bien entrenados, bibliografa completa y rpida. Disfrutan de un gran prestigio y de sueldos nada despreciables. Qu han producido con todas esas ventajas? Toneladas de papers y muchos objetos, pero menos ideas que antes (Varsavsky,1969, pg. 43). Las ciencias sociales El problema de la evaluacin de las ciencias sociales es an mucho ms complicado que en las llamadas ciencias duras, puesto que sus practicantes se han puesto de acuerdo, al menos, en indicadores de tipo cuantitativo que, ms all de los cuestionamientos que hemos formulado, satisfacen sin dudas los requerimientos de las lites cientficas (y de los campos cuya dominacin ejercen) en la mayor parte de los pases. Para abordar brevemente el tema, es necesario sealar que si la profesionalizacin de las ciencias fsicas y naturales se produjo -segn los campos y los contextos nacionales- entre fines del siglo XIX y comienzos del XX, este proceso en las ciencias sociales es muy posterior y dispar. Por un lado, en los pases anglosajones, ya hacia mediados del siglo XX haba un conjunto de campos acadmicos bien estructurados, con todo el conjunto de requisitos que la profesionalizacin acarrea, en particular las normas de entrada al mismo, como el doctorado, y la relacin contractual (o funcionarial, segn el caso) en las instituciones acadmicas. Sin embargo, en la medida en que las instituciones nacionales de poltica fueron estableciendo mecanismos de
PROPUESTA EDUCATIVA / 36

71

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

Pablo Kreimer

evaluacin y control, estos se fueron internacionalizando a imagen y semejanza de lo que ocurri con las disciplinas duras. As, en 1973 se cre el Social Science Citation Index que cubre las bases de datos de ms de 2000 revistas cientficas (Klein y Chiang, 2004). A estos sistemas de indexacin y sus consecuentes usos para la evaluacin de los cientficos sociales cabe realizarle varios comentarios crticos: El idioma y el mercado de trabajo El primero de ellos es que el sistema funciona bastante bien para los Estados Unidos,que posiblemente sea el nico pas donde existe un verdadero mercado de trabajo acadmico y, sobre todo, porque la inmensa mayora de las revistas indexadas se publican en ingls. De hecho, en la base de datos hay solamente dos revistas de ciencias sociales alemanas, mientras que la base de datos de Alemania contiene 542. De todos modos, como veremos enseguida, aun en los Estados Unidos, ello tiene otras consecuencias10. Papers versus libros Otro problema habitual, siempre mencionado, es que los investigadores de ciencias sociales publican generalmente sus trabajos de varios aos bajo la forma de libros, muchos de los cuales son inmensamente ms citados que los artculos en revistas, pero que no estn indexados en ninguna base de datos. Tambin es frecuente que se publiquen libros que son compilaciones de diversos trabajos realizados por diferentes autores, y estos textos, muy a menudo similares a los papers, tampoco estn indexados en ninguna base de datos. La heterogeneidad

72

El problema siguiente es que, a diferencia de las ciencias exactas y naturales, las normas para la evaluacin y aprobacin o rechazo de artculos en las revistas de ciencias sociales estn lejos de ser homogneas, ya que algunas tienen un comit colectivo que discute sobre los textos, otras tienen mecanismos de referato con doble ciego (ni el evaluador ni el evaluado conocen sus identidades), en algunos casos es el editor quien toma las decisiones, y en otros ni siquiera hacen explcitos los procedimientos que emplean. El inters local Otra cuestin propia de las ciencias sociales reside en el hecho de que, a diferencia de las ciencias experimentales, cada sociedad es algo propio, con dinmicas e historias que no son transferibles de inmediato como las categoras de molcula, clula, protn o planeta. As, los contextos de emergencia de cada sociedad impregnan el tipo de conocimiento que producen las ciencias sociales, e incluso el modo en que se produce, por lo que frecuentemente resulta difcil extrapolar categoras de anlisis, investigaciones, e interpretaciones de un contexto a otro, es decir, universalizarlo11. Quienes defienden, sin embargo, el uso de indicadores generalizados para la evaluacin de las ciencias sociales han propuesto, al mismo tiempo, argumentos que resultan atendibles: muy a menudo, los investigadores de ciencias sociales son reacios a someter sus trabajos al escrutinio crtico de sus colegas por afuera de sus espacios sociales ms prximos (y ms favorables). As, la endogamia manifestada en revistas acadmicas donde predominan artculos producidos por el propio grupo que las edita, es un vicio frecuentemente constatado. El otro refiere al provincialismo, en donde se ignoran las producciones realizadas en otros contextos, a pesar de los aportes que, en principio, dichas producciones podran ofrecer, tanto conceptual o terica como empricamente. Lo que sealamos son aspectos comunes para todos los contextos nacionales en el campo de las ciencias sociales. A ello debemos agregarle un aspecto muy importante en la tensin por la profesionalizacin: la convivencia, dentro de una misma categora profesional, de investigadores y de intelectuales, a menudo personificada en los mismos sujetos. Aunque no es este el lugar para desarrollarlo, la figura del intelectual, y en particular del intelectual comprometido,
PROPUESTA EDUCATIVA / 36

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

La evaluacin de la actividad cientfica: desde la indagacin sociolgica a la burocratizacin. Dilemas actuales

propia de fines del siglo XIX y vigente durante la mayor parte del siglo XX, estuvo orientada sobre todo al desempeo de un rol social cuyas definiciones pueden ser mltiples, pero que van desde la iluminacin de las condiciones sociales subyacentes -y no claramente identificables para los legos- hasta el papel de conciencia crtica de la sociedad, pasando por la comprensin del rol del intelectual ejercido como fraccin de una clase. En todo caso, la mayor parte de los as definidos intelectuales han sido y son, en efecto, productores activos de conocimiento, y generadores de debates que, a pesar de estar desplegados en el interior del campo intelectual (el cual, como bien lo mostr Bourdieu, tiene sus propias normas), buscan espacios de legitimacin que suelen exceder sus propios espacios de construccin de sentido. Durante la segunda mitad del siglo XX, y en particular durante sus ltimas dcadas, esta figura del intelectual crtico fue perdiendo peso frente a la tensin de la profesionalizacin de las ciencias sociales, de modo que muchos de quienes podemos pensar como emblemas de dicha funcin tuvieron, como discpulos, a intelectuales que se fueron profesionalizando segn las normas de la vida acadmica. Este proceso tuvo dos tipos de consecuencias: por un lado, hizo emerger las tensiones entre las formas de evaluar la actividad, ya que los parmetros de legitimacin se fueron moviendo hacia las formas ms institucionalizadas que analizamos ms arriba. Por otro lado, como seala Varsavsky para las ciencias duras, ello ha ido sin dudas en detrimento de la capacidad de generar nuevas ideas, puesto que a menudo el desarrollo de nuevos conceptos, y aun el desarrollo de investigaciones empricas que se rigen ms por los ritmos de la sociedad que por las necesidades de las instituciones acadmicas, lleva ms tiempo y ms maduracin que lo que las instituciones cientficas suelen acordar para sus evaluaciones peridicas, tanto ex ante como ex post. Por otro lado, muchos investigadores de las ciencias sociales han defendido en los ltimos aos el predominio del paper como forma privilegiada de manifestar los resultados de las investigaciones, por sobre los libros. Y muchos de quienes sostienen esta posicin suelen ejercer el liderazgo en diversos campos acadmicos e, incluso, en muchos programas de doctorado de ciencias sociales se estimula a los estudiantes para que sus tesis de doctorado consten de un conjunto de artculos relativamente cortos, con los requisitos como para ser aceptados por las revistas internacionales de referencia en cada campo. Sin embargo, en trminos cognitivos, la estructura del paper y la de un libro son radicalmente diferentes: en un artculo es posible desarrollar una idea, o un puado de ideas, y/o mostrar la evidencia emprica que la/s sostiene. Pero por lo general resulta imposible presentar una teora novedosa, que abarque cuestiones antes no abordadas o, ms an, que ponga en cuestin los marcos analticos ms corrientes. Esto ltimo requiere de un desarrollo conceptual, analtico, metodolgico y an emprico mucho mayor, y es difcilmente resumible en unas veinte pginas. Por otro lado, la profesionalizacin creciente en diversos campos de las ciencias sociales vino acompaada de una hiperespecializacin, en donde un investigador de las nuevas generaciones se har especialista de un aspecto muy pequeo de conocimientos, los que deber dominar con toda profundidad. Ello contrasta, claro, con la figura del intelectual universal que poda acceder a conocimientos muy diversos y provenientes de diferentes mbitos del saber. Si, como ya sealamos, la inflacin de publicaciones hace que la atencin humana pueda abarcar cada vez una porcin menor de lo que est a su alcance, el grado de amplitud de las ideas se va restringiendo cada vez ms. Hay otra cuestin que dificulta el anlisis del proceso de evaluacin de las ciencias sociales, o al menos para algunas de sus disciplinas, y que se refiere al rol de los expertos, que puede superponerse con el del cientfico profesional o con el del intelectual, e incluso a menudo ser desempeado por los mismos individuos, volviendo incluso turbios los intentos de clasificacin. Ello se vuelve ms evidente en algunas disciplinas que en otras, como la economa, algunas ramas de la sociologa, las ciencias de la educacin y, en algunos pases, la antropologa. El problema aqu radica en que se trata de formas diferentes de produccin de conocimiento (conocimiento crtico, conocimiento sistemtico, o conocimiento aplicado), pero cuyos mbitos de circulacin y socializacin se yuxtaponen, son compartidos, an si estn en tensin. Frecuentemente los expertos, adems, operan como los agentes de la internacionalizacin de los conocimientos, de nuevas formas de legitimacin y de corrientes que, bajo el influjo de organismos pblicos o transnacionales, son portadores de paradigmas que, aun estando en conflicto se presentan como naturalizados, como lo moderno12.
PROPUESTA EDUCATIVA / 36

73

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

Pablo Kreimer

Un ltimo elemento tiende a profundizar la situacin descripta: aquellos que, dentro de las ciencias sociales, pretendan desplegar una estrategia de tipo universalizada, publicando en revistas de mayor alcance, vern que, al igual que lo que observamos para las ciencias duras, las evaluaciones realizadas en dichas revistas tienden a descartar los artculos ms heterodoxos, a favor de aquellos que tiendan a afianzar los paradigmas ms corrientes. Al respecto, vale la pena recordar la confesin del propio Bourdieu (2002), cuando decide crear su propia revista, la luego clebre Actes de la recherche en sciences sociales, con la explicacin de que sus orientaciones no tenan cabida en la publicacin hegemnica de la poca, la Revue Franaise de Sociologie, entonces dominada -segn l- por los seguidores de Paul Lazarsfeld13. La situacin de la evaluacin de las ciencias sociales en Amrica latina no es completamente diferente del panorama que acabamos de describir, atravesado por tensiones muy similares. Hay, sin embargo, un aspecto distintivo que vale la pena mencionar, aun si en todos los contextos se observan dinmicas de produccin de conocimientos, las dinmicas en el interior de cada campo: tomando en cuenta criterios geogrficos e institucionales predominantes, la distribucin est lejos de ser homognea, por lo que resulta evidente que, en todos los campos disciplinarios o temticos se observan centros que generan innovaciones conceptuales y metodolgicas adems de realizar investigaciones o de sustentarse en trabajos empricos. Por otro lado, existen numerosos espacios de produccin de conocimiento que denominamos perifricos y cuyo nivel de innovacin conceptual es bajo. Este fenmeno, claramente observado en las ciencias duras (Kreimer, 2006), puesto que se verifican all trabajos muy sofisticados tcnicamente y con abundante desarrollo emprico especializado, pero prcticamente sin produccin terica, es ms difcil de determinar en las ciencias sociales. Parte de la dificultad reside en el hecho de determinar con exactitud qu es una innovacin conceptual en estas disciplinas, ms all de algunos textos que han sido fundadores de toda una manera de concebir alguna parte o proceso de la realidad social. Otra dificultad radica en otro aspecto que ya sealamos, relativo a la idiosincrasia propia de cada sociedad, y a las dificultades para extrapolar las observaciones o interpretaciones realizadas en un espacio social determinado. As, una dificultad que se encuentra en las evaluaciones de las ciencias sociales en contextos perifricos como los de Amrica Latina, la observamos en el uso muy frecuente de marcos analticos desarrollados en contextos centrales, y que se aplican de un modo mecnico y a menudo acrtico para estudiar los contextos sociales locales. As, muchos trabajos han pretendido aplicar conceptos tales como los de campos de produccin simblica, redes tecnocientficas, movimientos sociales, no lugares, regmenes polticos, sistemas nacionales de innovacin, entre otros muchos conceptos que remiten a marcos tericos cuyas inspiraciones empricas han sido completamente diferentes de los contextos para los cuales se los pretende utilizar. Esto tiene bastantes consecuencias, entre las cuales, y para finalizar, podemos sealar dos: la primera, es que estos trabajos, inscriptos en una utilizacin acrtica de marcos conceptuales centrales o internacionalizados, tienen muchas ms posibilidades de ser aceptados en las revistas internacionales, ya que generalmente se presentan como casos de con lo cual tienden a reforzar el programa cognitivo al que se refieren, fortalecindolos con nuevas evidencias empricas en contextos sociales remotos. Como muchos lderes locales han estudiado en universidades o centros de investigacin localizados en los centros, suelen actuar, en sus pases de origen, reproduciendo las tradiciones en las cuales se han socializado cientficamente. Al mismo tiempo, estos lderes locales suelen ser quienes tienen la capacidad de establecer los criterios de las evaluaciones de sus pares. As, las evaluaciones locales centradas en la alta valoracin de los artculos publicados en revistas internacionales, donde se aprecian los valores de adecuacin a los marcos hegemnicos, tiende a dejar menor lugar para la capacidad de producir innovaciones conceptuales en contextos perifricos. A ello se agrega que los lderes internacionales suelen prestar poca atencin a las innovaciones tericas que provienen de observaciones empricas realizadas en contextos perifricos14. La segunda consecuencia es, posiblemente, ms gravosa: en este estado de cosas, estn muy debilitadas las capacidades para generar observaciones e interpretaciones crticas que impliquen al mismo tiempo un componente novedoso en trminos conceptuales, realizadas con el mismo rigor que se exige en los centros de investigacin ms rigurosos. Si ello afectara slo
PROPUESTA EDUCATIVA / 36

74

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

La evaluacin de la actividad cientfica: desde la indagacin sociolgica a la burocratizacin. Dilemas actuales

a los colectivos de investigadores no sera tan problemtico, pero son las sociedades mismas las que dispondrn, en consecuencia, de contribuciones menos provechosas por parte de sus propios cientficos sociales, y de menos elementos para contribuir a transformarlas.

Bibliografa
BARBER, Bernard, Resistance by scientists to scientific discovery, en Scientific manpower , 1960, Washington, National Science Foundation, 1961. BOLTANSKI, Luc, Rendre la ralit inacceptable, Pars, Domopolis, 2008. BOURDIEU, Pierre, Le champ scientifique, en Actes de la Recherche en Sciences Sociales, N. 2-3, 1976. __________, Lusage social des sciences, Pars, ditions de lINRA, 1997. __________, Esquisse pour une auto-analyse, Paris, Raison dagir, 2002. FELD, Adriana, Ciencia, instituciones y poltica. Origen, dinmica y estrategia de los consejos de ciencia y tecnologa en la argentina: 1943-1973, Tesis de Doctorado en Ciencias Sociales, Buenos Aires, Universidad de Buenos Aires, 2011. GALLISON, Peter y HEVLY, Bruce, Big Science: The Growth of Large Scale Research, Stanford, Stanford University Press, 1992. GARFIELD, Eugene y SHER, Irving, New Factors in the Evaluation of Scientific Literature Through Citation Indexing, en American Documentation, 14(3), pg.195-201, 1963. GODIN, Benoit, On the Origins of Bibliometrics, en Scientometrics, 68 (1), 2006. __________, The Making of Science, Technology and Innovation Policy: Conceptual Frameworks as Narratives, 1945-2005, Montreal, Centre - Urbanisation Culture Socit de lInstitut national de la recherche scientifique, 2009.
DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

75

HAGSTROM, Warren, The Scientific Community, Nueva York, Basic Books, 1965. KLEIN, Daniel y CHIANG, Eric, The Social Science Citation Index: A Black Boxwith an Ideological Bias?, en Econ Journal Watch, Volume 1, N 1, pg. 134-165, 2004. KREIMER, Pablo, Dependientes o integrados? La ciencia latinoamericana y la divisin internacional del trabajo, en Nmadas, CLACSO, N 24, 2006. __________, El cientfico tambin es un ser humano, Buenos Aires, Siglo XXI, 2009. __________, La recherche en Argentine: entre lisolement et la dpendance, en CRES, Cahiers de recherche sur lEducation et les savoirs, N 9, 2010. KREIMER, Pablo y LEVIN, Luciano, Mapping trends and patterns in S&T Cooperation between the European union and Latin American countries based on FP6 and FP7 projects, en GAILLARD, Jacques y ARVANITIS, Rigas (eds.), Mapping and understanding Science and technology collaboration between Europe and Latin America, 2011. LATOUR, Bruno, Give Me a Laboratory and I will raise the world, en KNORR-CETINA, Karen & MULKAY, Michael (eds.), Science Observed, Beverly Hills, Sage, 1983. ___________, Science in Action: How to Follow Scientists and Engineers through Society, Boston, Harvard University Press, 1987. MERTON, Robert, The Mathew Effect in Science, en Science, 159 (3810), pg. 56-63, 1968. MOED, H. F.; BURGER, W. J. M.; FRANKFORT, J. G.;VAN RAAN, A.F. J., On the measurement of research performance: the use of bibliometric indicators, en Leiden: Science Studies Unit, LISBON-Institute, University of Leiden, 1987.

PROPUESTA EDUCATIVA / 36

Pablo Kreimer

NARIN, Francis y HAMILTON, Kimberley, Bibliometric performance measures, en Scientometrics, 6:293 310, 1996. NEUMAN, W. Russell; PARK, Yon Jin y PANEK, Elliot, Tracking the Flow of Information Into the Home:An Empirical Assessment of the Digital Revolution in the U.S. from 19602005, Ann Harbor, University of Michigan, 2009. OECD, Main Science and Technology Indicators Database, May 2011. ORTIZ, Renato, La supremaca del ingls en las ciencias sociales, Buenos Aires, Siglo XXI, 2009. OTEIZA, Enrique (comp.), La poltica de investigacin cientfica y tecnolgica argentina. Historias y perspectiva, Buenos Aires, Bibliotecas Universitarias/CEAL, 1992. PERSSON, Olle; GLNZEL, Wolfgang, & DANELL, Rickard, Inflationary bibliometric values: The role of scientific collaboration and the need for relative indicators in evaluative studies, en Scientometrics, 60(3), pg. 421-432, 2004. PLOTKIN, Mariano y NEIBURG, Federico, Intelectuales y expertos. La constitucin del conocimiento social en

Argentina, Buenos Aires, Paids, 2004. POLANYI, Michael, The Tacit Dimension, New York, Anchor Books, 1967. PRICE, Derek, Little Science, Big Science, Nueva York, Columbia University Press, 1963. SALOMON, Jean-Jacques, La science et la technologie modernes, en SALOMON, JeanJacques, SAGASTI, Francisco y SACHS, Cline, La qute incertaine. Science, technologie, dveloppement, Paris, Economica, 1994. __________, Los cientficos. Entre saber y poder, Buenos Aires, Editorial de la Universidad Nacional de Quilmes, 2008.

76

SEGLEN, Per O., Why the impact factor of journals should not be used for evaluating research, en British Medical Journal, 314: 497, 1997. VARSAVSKY, Oscar, Ciencia, poltica y cientificismo, Buenos Aires, Capital Intelectual, (2010) [1969].

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS

Notas
1

Durante los primeros acpites nos referiremos exclusivamente a la ciencia acadmica, y en particular a las llamadas ciencias duras. En la ltima seccin veremos las consecuencias sobre los otros espacios de produccin de conocimientos, sus mecanismos de evaluacin y una breve reflexin sobre las ciencias sociales. No deja de ser paradjico que, en sus comienzos, los artculos cientficos estuvieran destinados a reemplazar crecientemente a los libros, forma por excelencia de comunicacin hasta bien entrado el siglo XVIII e incluso en el XIX. De hecho, se consideraba que haba una superpoblacin de libros, lo que haca casi imposible para un especialista estar completamente actualizado. En cambio, los artculos con su formato breve, permitan aliviar dicha tarea, al condensar la informacin en pocas lneas, aunque el cambio del libro al artculo fue muy trabajoso, con resistencias que duraron siglos, y en donde el formato paper como lo conocemos hoy era desvalorizado por los cientficos serios (Barber, 1961). Evitamos el uso que hace Salomon de comunidad cientfica ya que este lleva una carga semntica excesiva que ha sido ampliamente discutida en los ltimos aos. Para un anlisis de estos debates vase Kreimer (2009). En la actualidad, y sobre todo para la cultura argentina donde la psicologa cientfica es relativamente marginal respecto del mainstream piscoanaltico local, parece muy extrao que sea precisamente un psiclogo quien siente las bases de un cierto anlisis cientfico sobre la ciencia. Digamos de paso que el ISI fue posteriormente adquirido por Thomson Scientific & Healthcare en 1992 y es actualmente conocido como Thomson Reuters ISI, tras la compra de Reuters por Thomson en 2008.
PROPUESTA EDUCATIVA / 36

La evaluacin de la actividad cientfica: desde la indagacin sociolgica a la burocratizacin. Dilemas actuales

Y naturalmente, es difcil suponer que toda la investigacin en qumica de una universidad sea considerada como muy buena mientras el 70% de sus investigaciones en biologa sean percibidas como muy malas. Persson et al. (2004) sealan que se observa una tendencia inflacionaria, debido a la alta correlacin entre las co-autoras y el impacto de las citas. Tomo para esta seccin el caso de la Argentina como modo de ilustrar estos procesos. Podramos decir que el desarrollo es similar, con algunas diferencias institucionales y caractersticas propias de cada pas, al que se observ durante estos aos en los pases ms grandes de la regin, como Brasil o Mxico. En realidad, el aporte del CONICET a la incorporacin de nuevos investigadores durante esa poca fue ms simblico que efectivo: entre 1960 y 1966 se incorporaron slo 481 investigadores, una parte de los cuales tena, de todos modos, su lugar de trabajo en la Universidad (Feld, 2011). Para un anlisis muy interesante del papel del ingls en las ciencias sociales, vase Ortiz (2009). No incluyo aqu, naturalmente, a toda la tradicin de estudios comparativos, que han constituido histricamente un intento por sobrepasar los lmites estrechos de aquello que se observa en una sociedad especfica. Para una compilacin de estudios sobre las complejas relaciones entre intelectuales y expertos en la Argentina, vase el libro editado por Plotkin y Neiburg (2004). Adems de la entretenida descripcin del propio Bourdieu, se puede consultar el libro reciente de Luc Boltanski (2008). Por supuesto, no estn incluidos aqu los estudios, por ejemplo etnogrficos, cuyo objeto son, precisamente, las sociedades extraas o primitivas.

10 11

12

13

14

77

Resumen El artculo reconstruye la gnesis de los actuales sistemas de evaluacin cientfica y acadmica que surgen asociados a la definicin cannica de la ciencia y sus prcticas institucionalizadas. El autor desacraliza los mecanismos de evaluacin tales como los papers y las citas mediante los cuales los organismos de poltica cientfica y los grupos de pares distribuyen prestigio y recursos materiales. En una segunda parte del artculo se tratan las consecuencias de la aplicacin de estos sistemas de evaluacin sobre el desarrollo y configuracin de las ciencias y de las carreras de sus cientficos en Amrica Latina. Finalmente se aborda la compleja problemtica de la evaluacin de las ciencias sociales en pases perifricos como el nuestro. Palabras claves Polticas cientficas - Evaluacin de la investigacin Integracin subordinada - Racionalidad burocrtica

Abstract The article reconstructs the origin of current scientific and academic evaluation systems associated to the canonical definition of science and its institutionalized practices. The author desacrilizes such evaluation mechanisms as papers and quotations used by science policy-making bodies and peer groups to assign relative status and material resources. A second part of the article addresses the consequences of these systems upon the development and shaping of sciences and scientific careers in Latin America. Finally, we deal with the complex problem of evaluating the social sciences in such peripheral countries as ours.

Key words Scientific policies - Research evaluation - Subordinate integration - Bureaucratic rationality

PROPUESTA EDUCATIVA / 36

DOSSIER / ENTREVISTA / ARTCULOS / RESEAS