Documentos de Académico
Documentos de Profesional
Documentos de Cultura
CUALITATIVA
La evaluación de la evaluación de la investigación
científica
Unidad 4 | Recurso 2
La evaluación de la
evaluación de la
investigación científica
La evaluación de la evaluación de
la investigación científica
Si la valoración y el examen de procesos y resultados, en general, contribuye al buen
funcionamiento de una organización, en un sistema como el Nacional de Investigadores,
formado por individuos y organizaciones que trabajan de forma independiente y en áreas
muy diversas, los mecanismos de evaluación son vitales. ¿Cuentan el Sistema Científico
Tecnológico de México y el SNI con métodos e instrumentos de evaluación útiles,
confiables y modernos?
La ciencia de la ciencia
Las tareas de investigación, en todas las áreas del conocimiento y en todas sus formas,
representan ya una parte significativa de las actividades de la sociedad mexicana. Junto
con el desarrollo tecnológico y la innovación, están llamadas a crecer a fin de impulsar el
progreso social y la competitividad del país. Las comparaciones internacionales apuntan a
ello y todas las plataformas electorales de 2012 lo prometen.
Tomando en cuenta lo limitado de los recursos y la fuerte demanda que de ellos hacen
múltiples sectores, ese anticipado incremento en investigación requiere de orientación y
apoyos diferenciados. Así podrán aprovecharse cabalmente los individuos y las
capacidades institucionales de investigación para los objetivos y las necesidades de
México.
No es extraño por ello que los estudios de la evaluación de la investigación –la evaluación
de la evaluación de la investigación– se hayan convertido en sí mismos en un campo muy
amplio de estudio e investigación, con propósitos, herramientas y visiones diversos y, en
consecuencia, con múltiples ramas y gran variedad de conceptos.
Desde sus inicios, al principio de los años sesenta, fue evidente la conexión entre la ciencia
de la ciencia1 –como se llamó en su momento al estudio de la dinámica individual y
colectiva de las publicaciones científicas– y la planeación estratégica y el desarrollo
tecnológico de las naciones. El crecimiento de las actividades de investigación y los
avances en el procesamiento y transmisión de datos han multiplicado los trabajos,
estudios y experimentos en este campo.
El caso de México
Al ser México una nación joven con un largo pasado colonial, el interés central de las
políticas gubernamentales en relación al conocimiento fue, por mucho tiempo, educar a
la población en los saberes del mundo occidental. No se pretendía impulsar estos en
alguna dirección específica. Incluso las escuelas de altos estudios anteriores a la
Revolución mexicana tenían por objeto conocer, adentrarse en, dominar los
La fuerte expansión de la educación superior a partir de los años sesenta del siglo pasado,
y la creación de nuevas instituciones de investigación en las décadas siguientes,
condujeron a la formalización del profesorado de carrera. Ello implicó la existencia de
escalafones diversos, la apertura de programas de maestría y doctorado, la aparición de
revistas especializadas, la multiplicación de las solicitudes de apoyo para la realización de
proyectos. Implicó, en suma, visiones y orientaciones diversas y a veces encontradas
acerca de la investigación más adecuada para el desarrollo nacional.
Esa fuerte expansión multiplicó los procesos de decisión mediante comités de evaluación
a gran número de actividades, propósitos e intereses de los nacientes grupos de
investigación, educación superior y posgrado del país. Es en estas circunstancias en las que
surge en 1984 el Sistema Nacional de Investigadores (SNI).
Al igual que otras, la experiencia del sni muestra que los criterios, prácticas y procesos de
evaluación constituyen poderosas herramientas para estimular la investigación (Gráfica 1)
La fuerza del reconocimiento social y el “pago por méritos” que introdujo el SNI, llevó a
que los procesos de evaluación de este sistema se aplicasen pronto a miles de
investigadores. Desde un principio, estos procesos descansaron en comisiones
dictaminadoras que evalúan los méritos de los solicitantes.
El proceso de evaluación por pares es, además, aplicado en la evaluación de muchos otros
aspectos y ámbitos de las actividades de investigación: ingreso, permanencia y promoción
académica; concursos, distinciones y premios; aceptación o rechazo de propuestas de
investigación o trabajos enviados para su aprobación o publicación; otorgamiento de
becas, financiación de proyectos y contratos; incorporación en academias, sociedades
científicas o asociaciones profesionales.
Estos avances dieron lugar a muy diversas políticas públicas, organizaciones y programas
para el aprovechamiento de la ciencia y la tecnología. Con ello surgieron numerosas
instancias para su planeación, gestión y evaluación. Esto significó cantidades cada vez
mayores de recursos humanos, financieros y materiales dedicados a esas actividades. Por
tanto, aumentaron los enfoques y análisis para incrementar la relación costo-beneficio de
las actividades científicas, tecnológicas e innovadoras.
Imagen 1 referente a investigación Universitaria. Obtenida en: Foto de Escuela creado por senivpetro -
www.freepik.es
Hoy en día, existe una vasta y sofisticada literatura sobre estos temas, así como un amplio
conjunto de gobiernos, agencias y organizaciones que se ocupan de ellos. Este trabajo
recoge la experiencia de dos de estas: el Higher Education Funding Council for England
(HEFCE), de Inglaterra, y la Agence d’Évaluation de la Recherche et de l’Enseignement
Supérieur (aeres) de Francia.
Por su parte, la aeres, establecida por ley en 2007, es una organización independiente
creada para evaluar las instituciones de investigación y de educación superior de Francia.
Evalúa todas las unidades de investigación francesas incluyendo las del Centre National
de la Recherche Scientifique, la principal organización científica de ese país. Analiza
también los programas universitarios de estudio y los procesos utilizados en esas
instituciones para evaluar a su personal. La aeres hace públicos todos sus procesos de
evaluación así como los resultados de ellos. Tiene la posibilidad de incorporar en esos
procesos a expertos y organizaciones extranjeras cuando lo considere necesario.
En la reunión se hizo evidente cuán extendido está el reconocimiento del papel que la
evaluación tiene en la orientación de las actividades de investigación: se aceptó sin
cuestionamientos que este papel debe ampliarse y mejorarse. Así, se señaló, entre otras
cosas, que las evaluaciones deben:
Diversos grupos expresaron en diferentes formas que los actuales procesos de evaluación
presentan ya serios problemas. En particular se mencionaron los largos tiempos, altos
costos y peligros que significan las evaluaciones por pares, señalándose que México, a
diferencia de otros países, no había aprendido de su larga historia de evaluación.
Así, y usando al SNI como principal ejemplo, se indicó que el número de expedientes que
tienen que evaluar cada año las comisiones dictaminadoras —tanto de los que buscan
ingresar al Sistema por primera vez como de los que desean permanecer en él— se eleva
ya a varios miles. Esto implica una carga excesiva para los evaluadores y provoca retraso
en sus dictámenes. Peor aún, da lugar a una inadecuada revisión de los expedientes.
Además, el costo del proceso es alto e implica una pesada logística para convocar a los
integrantes de las comisiones, movilizarlos, atenderlos y procesar sus necesidades y
dictámenes. Se genera también un creciente número de inconformidades.
Lo ejemplificado con el SNI, se dijo, se repite en otros procesos del Conacyt y de otras
dependencias gubernamentales, al igual que en los que llevan a cabo muchas de las
instituciones de investigación del país.
Siguiendo con el ejemplo del sni, no obstante la importancia que este reviste para los
investigadores y sus instituciones, los datos e información de las actividades de
investigación no han sido recolectados ni analizados en los últimos 20 años.7 Es decir,
dejaron de ser, si es que alguna vez lo fueron, de utilidad para la formulación de políticas
públicas.
Propuesta
Es por ello que este trabajo propone algunas acciones para asegurar que en el futuro se
revisen constante y sistemáticamente las formas en que se evalúa la investigación
científica en México. Estas acciones deben asegurar que las pautas y los procesos de
evaluación sirvan de guía para promover el desarrollo de esa actividad en el territorio
mexicano. Deben facilitar, asimismo, la evaluación de la investigación realizada por
personas, grupos e instituciones, y la de los proyectos, programas y políticas de
investigación.
En particular, se propone:
Para asegurar que las actividades de ciencia, tecnología e innovación (CTI) y de educación
superior mexicanas respondan de manera eficiente y eficaz a los objetivos institucionales,
regionales y nacionales, hace falta contar con un organismo independiente. Sus tareas
Un organismo autónomo de
evaluación de la
investigación, del tipo del
Consejo Nacional para la
Evaluación de las Políticas
Públicas de Desarrollo Social
(Coneval), contribuirá a una
responsabilidad compartida
entre gobierno e
instituciones de
investigación y educación
superior.
Ilustración 1 referente a sistemas de investigación. Obtenida en: Freepik.es
Las instituciones evaluadas contarán con información para orientar sus estrategias
de docencia e investigación. Los grupos de educación superior y de investigación
tendrán elementos para mejorar la calidad de sus servicios y sustentar sus solicitudes
de financiamiento. Las fundaciones, empresas y organismos financiadores dispondrán
de información útil para sus decisiones. Los empleadores, estudiantes, directivos y
padres de familia contarán con información adecuada para conocer la calidad de los
programas de estudio.
Llevar a cabo estos dos procesos implica una relación estrecha entre la institución y el
organismo evaluador. Implica la participación de diferentes sectores sociales y la
consistencia de los datos y procesos de evaluación. Por otro lado, sus procesos permitirían
el otorgamiento de financiamiento, incluyendo presupuestos institucionales
multianuales.
El modelo alternativo que se propone para evaluar los expedientes de los investigadores
descansa en:
Con el proceso antes descrito y suponiendo un escenario de 5 mil solicitudes por año, sería
factible que cada una de esas solicitudes fuese evaluada por cinco investigadores
diferentes, sin que ningún evaluador tuviese más de una veintena de casos. El proceso y
la plataforma tecnológica también permitirían recurrir a investigadores mexicanos en el
extranjero o incluso a investigadores extranjeros si ello se considerase conveniente.
A manera de conclusión
Para los propósitos de este trabajo, se entiende por investigación científica al conjunto
de actividades de investigación, desarrollo tecnológico e innovación que se lleva a cabo
de manera profesional en cualquier área del conocimiento.
Referencias
Derek J. de Solla Price, Little Science, Big Science, Columbia, New York, 1963.
2 Henk Moed y Andrew Plume, “Research Assessment” en Research Trends, mayo 2011.
formación académica de los investigadores”, Ciencia y desarrollo, no. 82, año XIV,
pp. 93-102 (1988); “Los físicos”, Ciencia y desarrollo, no. 83, año XIV, pp. 141-153
(1988); “Los investigadores nacionales de nivel III”, Ciencia y desarrollo, no. 77,
año XIII, pp. 95-103 (1987).