Está en la página 1de 21

METODOLOGÍA DEL

CUALITATIVA
La evaluación de la evaluación de la investigación
científica

Recurso compilado por la docente Yesenia Uribe Madé.


1 julio 2021 0
Metodogía cualitativa

Unidad 4 | Recurso 2
La evaluación de la
evaluación de la
investigación científica

La evaluación de la evaluación de la investigación científica


1
Metodogía cualitativa

La evaluación de la evaluación de
la investigación científica
Si la valoración y el examen de procesos y resultados, en general, contribuye al buen
funcionamiento de una organización, en un sistema como el Nacional de Investigadores,
formado por individuos y organizaciones que trabajan de forma independiente y en áreas
muy diversas, los mecanismos de evaluación son vitales. ¿Cuentan el Sistema Científico
Tecnológico de México y el SNI con métodos e instrumentos de evaluación útiles,
confiables y modernos?

La ciencia de la ciencia

Las tareas de investigación, en todas las áreas del conocimiento y en todas sus formas,
representan ya una parte significativa de las actividades de la sociedad mexicana. Junto
con el desarrollo tecnológico y la innovación, están llamadas a crecer a fin de impulsar el
progreso social y la competitividad del país. Las comparaciones internacionales apuntan a
ello y todas las plataformas electorales de 2012 lo prometen.

Tomando en cuenta lo limitado de los recursos y la fuerte demanda que de ellos hacen
múltiples sectores, ese anticipado incremento en investigación requiere de orientación y
apoyos diferenciados. Así podrán aprovecharse cabalmente los individuos y las
capacidades institucionales de investigación para los objetivos y las necesidades de
México.

En algunos países, la evaluación de la investigación —o, más precisamente, los procesos


seguidos para la evaluación de las actividades, proyectos y resultados de investigación–
tiene una utilidad que va más allá del aseguramiento de la calidad de la investigación. Se
usa para orientar la dirección y el sentido de las investigaciones mismas.

La evaluación de la evaluación de la investigación científica


2
Metodogía cualitativa

No es extraño por ello que los estudios de la evaluación de la investigación –la evaluación
de la evaluación de la investigación– se hayan convertido en sí mismos en un campo muy
amplio de estudio e investigación, con propósitos, herramientas y visiones diversos y, en
consecuencia, con múltiples ramas y gran variedad de conceptos.

Desde sus inicios, al principio de los años sesenta, fue evidente la conexión entre la ciencia
de la ciencia1 –como se llamó en su momento al estudio de la dinámica individual y
colectiva de las publicaciones científicas– y la planeación estratégica y el desarrollo
tecnológico de las naciones. El crecimiento de las actividades de investigación y los
avances en el procesamiento y transmisión de datos han multiplicado los trabajos,
estudios y experimentos en este campo.

Hoy en día, la evaluación de la evaluación de la investigación científica constituye un


esfuerzo internacional de gran magnitud, que busca medir el retorno de la inversión en
investigación a través de la relación que se da entre su calidad y sus insumos, resultados e
impacto. Esto demanda el uso de métodos tanto cuantitativos como cualitativos,
incluyendo entre ellos la aplicación de indicadores bibliométricos y la evaluación por
pares, es decir por investigadores expertos. Un ejemplo de lo anterior es la matriz
multidimensional para evaluar la investigación de universidades desarrollada, en 2010,
por un grupo de expertos establecido por la Comisión Europea (Tabla 1).2

La evaluación de la evaluación de la investigación científica


3
Metodogía cualitativa

Conviene hacer notar que la matriz multidimensional distingue cuatro métodos de


evaluación: (1) evaluación por pares; (2) comentarios de usuarios; (3) indicadores
cuantitativos, incluyendo los bibliométricos, y (4) autoevaluación. Estos métodos pueden
ser usados conjuntamente. En particular, el uso de los indicadores bibliométricos ha
crecido de manera significativa. Hoy se dice que existen tres “generaciones” de estos
indicadores (Tabla 2).

El caso de México

La historia de la investigación científica en México, entendida esta como una actividad


practicada de manera sistemática y profesional por grupos de individuos en instituciones
establecidas, es relativamente corta. Se remonta a la segunda mitad del siglo XX.

Antes, es cierto, hubo individuos que se dedicaron al avance y la generación del


conocimiento, y se fundaron instituciones para el estudio de la ciencia. Sin embargo,
fueron acciones aisladas, discontinuas e inconexas. Respondían más a la inquietud y el
entusiasmo por el conocimiento de algunas personas que a alguna política pública.

Al ser México una nación joven con un largo pasado colonial, el interés central de las
políticas gubernamentales en relación al conocimiento fue, por mucho tiempo, educar a
la población en los saberes del mundo occidental. No se pretendía impulsar estos en
alguna dirección específica. Incluso las escuelas de altos estudios anteriores a la
Revolución mexicana tenían por objeto conocer, adentrarse en, dominar los

La evaluación de la evaluación de la investigación científica


4
Metodogía cualitativa

conocimientos avanzados del mundo contemporáneo, mas no en generar nuevos


conocimientos.

Los primeros esfuerzos de alcance nacional para estimular la investigación en México se


dieron con la creación, en 1942, de la Comisión Impulsora y Coordinadora de la
Investigación Científica. Esta, transformada más tarde en el Instituto Nacional de
Investigación Científica, y la entonces recién creada Academia de la Investigación
Científica (hoy Academia Mexicana de Ciencias) dieron lugar, en 1970, al actual Consejo
Nacional de Ciencia y Tecnología (Conacyt).

Teniendo como objetivo impulsar el incipiente desarrollo de la investigación, las acciones


de esas instituciones se orientaron a otorgar becas para formar más investigadores y
apoyos financieros a los ya formados, tanto para cubrir los gastos asociados a sus
proyectos de investigación como para asegurarles ingresos suficientes para permanecer
dedicados a esa actividad. La evaluación en ambos casos se llevaba a cabo por comités
convocados con ese propósito.

La fuerte expansión de la educación superior a partir de los años sesenta del siglo pasado,
y la creación de nuevas instituciones de investigación en las décadas siguientes,
condujeron a la formalización del profesorado de carrera. Ello implicó la existencia de
escalafones diversos, la apertura de programas de maestría y doctorado, la aparición de
revistas especializadas, la multiplicación de las solicitudes de apoyo para la realización de
proyectos. Implicó, en suma, visiones y orientaciones diversas y a veces encontradas
acerca de la investigación más adecuada para el desarrollo nacional.

Esa fuerte expansión multiplicó los procesos de decisión mediante comités de evaluación
a gran número de actividades, propósitos e intereses de los nacientes grupos de
investigación, educación superior y posgrado del país. Es en estas circunstancias en las que
surge en 1984 el Sistema Nacional de Investigadores (SNI).

La evaluación de la evaluación de la investigación científica


5
Metodogía cualitativa

Al igual que otras, la experiencia del sni muestra que los criterios, prácticas y procesos de
evaluación constituyen poderosas herramientas para estimular la investigación (Gráfica 1)

La fuerza del reconocimiento social y el “pago por méritos” que introdujo el SNI, llevó a
que los procesos de evaluación de este sistema se aplicasen pronto a miles de
investigadores. Desde un principio, estos procesos descansaron en comisiones
dictaminadoras que evalúan los méritos de los solicitantes.

El proceso de evaluación por pares es, además, aplicado en la evaluación de muchos otros
aspectos y ámbitos de las actividades de investigación: ingreso, permanencia y promoción
académica; concursos, distinciones y premios; aceptación o rechazo de propuestas de
investigación o trabajos enviados para su aprobación o publicación; otorgamiento de
becas, financiación de proyectos y contratos; incorporación en academias, sociedades
científicas o asociaciones profesionales.

La evaluación de la evaluación de la investigación científica


6
Metodogía cualitativa

La evolución de la evaluación en el mundo

El desarrollo de las actividades de investigación y desarrollo tecnológico es una de las


características sobresalientes del siglo XX. A partir de la segunda mitad de ese siglo
acompañó a otro similar en educación superior. Se multiplicaron las sociedades científicas
y las revistas especializadas; los congresos, reuniones y simposios para presentar, conocer
y discutir los avances. Crecieron las universidades, departamentos y centros de
investigación al igual que los laboratorios e institutos nacionales. En consecuencia, se
multiplicaron las fundaciones, consejos y agencias para la promoción y coordinación de la
ciencia.

Estos avances dieron lugar a muy diversas políticas públicas, organizaciones y programas
para el aprovechamiento de la ciencia y la tecnología. Con ello surgieron numerosas
instancias para su planeación, gestión y evaluación. Esto significó cantidades cada vez
mayores de recursos humanos, financieros y materiales dedicados a esas actividades. Por
tanto, aumentaron los enfoques y análisis para incrementar la relación costo-beneficio de
las actividades científicas, tecnológicas e innovadoras.

Todo lo anterior condujo a un creciente cuerpo de instrumentos para la recolección y el


análisis de los datos asociados con el conocimiento. Es decir, redundó en un interés y una
capacidad mayores para evaluar la investigación en sus diversos niveles, componentes y
entornos.

En particular, en los últimos años han surgido diversas comparaciones de la capacidad


educadora, investigadora e innovadora de países, regiones, universidades y centros.
Algunos de estos estudios son motivo de mucha atención por parte de la prensa y el gran
público. Cada uno de ellos descansa en una serie de indicadores y procesos que son
agregados y ponderados de formas diversas.

La evaluación de la evaluación de la investigación científica


7
Metodogía cualitativa

El recientemente publicado Ranking de Sistemas Nacionales de Educación Superior,


elaborado por el grupo Universitas 21, ilustra lo anterior.4 El estudio analiza cuatro
dimensiones de los sistemas de educación superior, como puede verse en la Tabla 3.

La aplicación de este método muestra que los países latinoamericanos, especialmente


México, ocupan posiciones bajas en comparación con las de otros países (Gráfica 2).

La evaluación de la evaluación de la investigación científica


8
Metodogía cualitativa

Ejemplos de evaluación de la investigación


universitaria

Imagen 1 referente a investigación Universitaria. Obtenida en: Foto de Escuela creado por senivpetro -
www.freepik.es

Hoy en día, existe una vasta y sofisticada literatura sobre estos temas, así como un amplio
conjunto de gobiernos, agencias y organizaciones que se ocupan de ellos. Este trabajo
recoge la experiencia de dos de estas: el Higher Education Funding Council for England
(HEFCE), de Inglaterra, y la Agence d’Évaluation de la Recherche et de l’Enseignement
Supérieur (aeres) de Francia.

El hefce, creado en 1992, es un organismo público dependiente del Department for


Businesses, Innovation and Skills del Reino Unido y es el responsable de la distribución del
financiamiento a las universidades e instituciones de enseñanza superior y de educación
continua de Inglaterra.

La evaluación de la evaluación de la investigación científica


9
Metodogía cualitativa

En 2011 y después de diversos procesos de evaluación llevados a cabo a lo largo de


muchos años (conocidos como Research Assessment Exercises, RAE), el hefce estableció
un Marco para la Investigación de Excelencia (Research Excellence Framework). Este
marco especifica la información requerida, las definiciones y criterios que se aplicarán en
la evaluación de las solicitudes de financiamiento que presentarán las instituciones de
educación superior, cuyos resultados se harán públicos en diciembre de 2014 y regirán el
financiamiento en los años académicos 2015 y 2016.

Recientemente, el hefce ha publicado un esquema que ayuda a entender cómo las


universidades contribuyen a la innovación nacional.5 La Figura 1 lo reproduce.

Por su parte, la aeres, establecida por ley en 2007, es una organización independiente
creada para evaluar las instituciones de investigación y de educación superior de Francia.

La evaluación de la evaluación de la investigación científica


10
Metodogía cualitativa

Evalúa todas las unidades de investigación francesas incluyendo las del Centre National
de la Recherche Scientifique, la principal organización científica de ese país. Analiza
también los programas universitarios de estudio y los procesos utilizados en esas
instituciones para evaluar a su personal. La aeres hace públicos todos sus procesos de
evaluación así como los resultados de ellos. Tiene la posibilidad de incorporar en esos
procesos a expertos y organizaciones extranjeras cuando lo considere necesario.

La situación actual en México

Imagen 2 referente a las investigaciones en mexico. Obternida de:


https://tecreview.tec.mx/2017/01/27/uncategorized/7-proyectos-de-investigacion-que-transforman-el-futuro-
de-mexico/

El año pasado, el Consejo Consultivo de Ciencias (CCC), a instancias de algunos de sus


miembros, llevó a cabo un encuentro para analizar la evaluación de las actividades de
investigación en México.6 Se invitó a un centenar de reconocidos investigadores,
estudiosos, funcionarios y empresarios de distintas instituciones nacionales a reflexionar
conjuntamente sobre el tema y a proponer soluciones.

La evaluación de la evaluación de la investigación científica


11
Metodogía cualitativa

En dicho encuentro se identificaron 12 problemas asociados con la evaluación de la


investigación que impiden que ella incida de mejor manera en el desarrollo de México y
en la evolución del sistema de investigación (Tabla 4).

En la reunión se hizo evidente cuán extendido está el reconocimiento del papel que la
evaluación tiene en la orientación de las actividades de investigación: se aceptó sin
cuestionamientos que este papel debe ampliarse y mejorarse. Así, se señaló, entre otras
cosas, que las evaluaciones deben:

• Atender la diversidad de grupos de investigación que hay en el país por edad,


género, disciplina, región, institución.

La evaluación de la evaluación de la investigación científica


12
Metodogía cualitativa

• Cuidar que las investigaciones respondan tanto a lo internacional como a lo local,


regional y nacional.

Diversos grupos expresaron en diferentes formas que los actuales procesos de evaluación
presentan ya serios problemas. En particular se mencionaron los largos tiempos, altos
costos y peligros que significan las evaluaciones por pares, señalándose que México, a
diferencia de otros países, no había aprendido de su larga historia de evaluación.

Así, y usando al SNI como principal ejemplo, se indicó que el número de expedientes que
tienen que evaluar cada año las comisiones dictaminadoras —tanto de los que buscan
ingresar al Sistema por primera vez como de los que desean permanecer en él— se eleva
ya a varios miles. Esto implica una carga excesiva para los evaluadores y provoca retraso
en sus dictámenes. Peor aún, da lugar a una inadecuada revisión de los expedientes.
Además, el costo del proceso es alto e implica una pesada logística para convocar a los
integrantes de las comisiones, movilizarlos, atenderlos y procesar sus necesidades y
dictámenes. Se genera también un creciente número de inconformidades.

Lo ejemplificado con el SNI, se dijo, se repite en otros procesos del Conacyt y de otras
dependencias gubernamentales, al igual que en los que llevan a cabo muchas de las
instituciones de investigación del país.

Se señaló, en resumen, que a pesar del gran número de procesos de evaluación de la


investigación que México ha venido llevando a cabo en los últimos 30 años, no existen
estudios que hayan analizado las diversas experiencias. Tampoco se ha estimado su
impacto general o el de las políticas o programas para las que se usan. Incluso menos se
han desarrollado métricas o indicadores ad hoc, ni propuesto y probado alternativas.

Siguiendo con el ejemplo del sni, no obstante la importancia que este reviste para los
investigadores y sus instituciones, los datos e información de las actividades de
investigación no han sido recolectados ni analizados en los últimos 20 años.7 Es decir,
dejaron de ser, si es que alguna vez lo fueron, de utilidad para la formulación de políticas
públicas.

La evaluación de la evaluación de la investigación científica


13
Metodogía cualitativa

Propuesta

Es por ello que este trabajo propone algunas acciones para asegurar que en el futuro se
revisen constante y sistemáticamente las formas en que se evalúa la investigación
científica en México. Estas acciones deben asegurar que las pautas y los procesos de
evaluación sirvan de guía para promover el desarrollo de esa actividad en el territorio
mexicano. Deben facilitar, asimismo, la evaluación de la investigación realizada por
personas, grupos e instituciones, y la de los proyectos, programas y políticas de
investigación.

En particular, se propone:

1. Establecer un organismo independiente dedicado a la evaluación y métrica de las


políticas, programas e instituciones de investigación. El organismo debe ocuparse,
además, en generar lineamientos para la evaluación sustentados en un cuidadoso
balance entre los objetivos individuales, institucionales, regionales y nacionales,
así como en el uso de la bibliometría y la evaluación por pares.

2. Experimentar un proceso alternativo de evaluación en el SNI, a fin de comparar sus


resultados con los del método tradicional.

Organismo dedicado a la evaluación de la


investigación y la educación superior

Para asegurar que las actividades de ciencia, tecnología e innovación (CTI) y de educación
superior mexicanas respondan de manera eficiente y eficaz a los objetivos institucionales,
regionales y nacionales, hace falta contar con un organismo independiente. Sus tareas

La evaluación de la evaluación de la investigación científica


14
Metodogía cualitativa

serán desarrollar los lineamientos e indicadores pertinentes y evaluar el desempeño en


esas actividades. Analizará también la eficacia de las políticas públicas en torno a ellas.

Un organismo autónomo de
evaluación de la
investigación, del tipo del
Consejo Nacional para la
Evaluación de las Políticas
Públicas de Desarrollo Social
(Coneval), contribuirá a una
responsabilidad compartida
entre gobierno e
instituciones de
investigación y educación
superior.
Ilustración 1 referente a sistemas de investigación. Obtenida en: Freepik.es

Un organismo de este tipo dará unidad y utilidad a las evaluaciones. Generará


instrumentos y establecerá criterios y marcos de referencia claros y pertinentes.

Las instituciones evaluadas contarán con información para orientar sus estrategias
de docencia e investigación. Los grupos de educación superior y de investigación
tendrán elementos para mejorar la calidad de sus servicios y sustentar sus solicitudes
de financiamiento. Las fundaciones, empresas y organismos financiadores dispondrán
de información útil para sus decisiones. Los empleadores, estudiantes, directivos y
padres de familia contarán con información adecuada para conocer la calidad de los
programas de estudio.

El organismo de evaluación propuesto sustentará su trabajo en dos procesos


complementarios:

La evaluación de la evaluación de la investigación científica


15
Metodogía cualitativa

1. El de la autoevaluación, que conduce a que cada institución o persona puedan


reflexionar y ponderar su propio desempeño.
2. La validación externa de esa autoevaluación en función de los objetivos y misión de
cada institución.

Llevar a cabo estos dos procesos implica una relación estrecha entre la institución y el
organismo evaluador. Implica la participación de diferentes sectores sociales y la
consistencia de los datos y procesos de evaluación. Por otro lado, sus procesos permitirían
el otorgamiento de financiamiento, incluyendo presupuestos institucionales
multianuales.

La creación de un organismo con las funciones y características descritas seguramente


llevará a modificar o integrar funciones que ahora se vienen llevando a cabo por otros
organismos, entre ellos el Consejo para la Acreditación de la Educación Superior (Copaes),
los comités interinstitucionales de Evaluación de la Educación Superior (CIEES) y el Foro
Consultivo Científico y Tecnológico.

Experimentar un proceso alternativo de


evaluación en el SIN

La idea es aprovechar la evaluación en proceso de las solicitudes de primer ingreso y de


renovación de pertenencia al sni para evaluar una muestra de ambas con base en un nuevo
proceso. Se compararán los respectivos resultados, a fin de sustentar o rechazar la
transición de uno a otro proceso. El ejercicio servirá incluso si no se adopta el nuevo
método, ya que podría conducir a la generación de otras propuestas.

El modelo alternativo que se propone para evaluar los expedientes de los investigadores
descansa en:

La evaluación de la evaluación de la investigación científica


16
Metodogía cualitativa

• Un formato de solicitud más simple que el actual;


• Un formato de evaluación más simple (y más transparente) que el actual;
• Una distribución de la tarea de evaluación entre un número mayor (y más rico) de
evaluadores;
• Un proceso de evaluación más ágil y con menos reuniones presenciales de los
evaluadores;
• Un procesamiento más expedito tanto de la información de los solicitantes como
de los resultados de su evaluación.

Todo ello sin perder calidad y


sin eliminar a las actuales
comisiones dictaminadoras.
Estas podrían ocuparse, por
ejemplo, de los casos
controvertidos o
interdisciplinarios.

Para lograrlo, sería necesario


establecer en la convocatoria
para ingreso y permanencia en
el sni que los solicitantes llenen
una ficha de autoevaluación –
ver ejemplo en la Tabla 5–
además de los documentos
requeridos. El sni enviaría cada
una de estas fichas a cinco
investigadores que
pertenezcan al área y subárea
del evaluado, a fin de que
procedan a analizarlas dentro
de plazos precisos y con reglas
claras de confidencialidad.

La evaluación de la evaluación de la investigación científica


17
Metodogía cualitativa

Al concluir este proceso se compararán sus resultados con los de la evaluación


normal.

Con el proceso antes descrito y suponiendo un escenario de 5 mil solicitudes por año, sería
factible que cada una de esas solicitudes fuese evaluada por cinco investigadores
diferentes, sin que ningún evaluador tuviese más de una veintena de casos. El proceso y
la plataforma tecnológica también permitirían recurrir a investigadores mexicanos en el
extranjero o incluso a investigadores extranjeros si ello se considerase conveniente.

A manera de conclusión

Hemos presentado dos propuestas: un organismo autónomo de evaluación de la


investigación y un método alternativo de evaluación a usarse en el sni. Consideramos que
ambas propuestas son viables y necesarias para mejorar la investigación que se realiza en
México.

Para los propósitos de este trabajo, se entiende por investigación científica al conjunto
de actividades de investigación, desarrollo tecnológico e innovación que se lleva a cabo
de manera profesional en cualquier área del conocimiento.

La evaluación de la evaluación de la investigación científica


18
Metodogía cualitativa

Referencias

Autor: Jorge Flores| Sitio: estepais.com | Fecha: 03.06.2012| URL:


https://archivo.estepais.com/site/2012/la-evaluacion-de-la-evaluacion-de-la-
investigacion-cientifica/

Derek J. de Solla Price, Little Science, Big Science, Columbia, New York, 1963.

—, Hacia una ciencia de la ciencia, Ariel, Barcelona, 1973.

2 Henk Moed y Andrew Plume, “Research Assessment” en Research Trends, mayo 2011.

3 Atlas de la Ciencia Mexicana en .

4 U21 Rankings of National Higher Education Systems en .

5 PACEC Report, Strengthening the Contribution of English Higher Education


Institutions to the Innovation System: Knowledge Exchange and HEIF Funding,
consultado el 14 de mayo en .

6 “La evaluación de la investigación”, reunión de trabajo organizada por el Consejo


Consultivo de Ciencias de la Presidencia de la República en Cuernavaca, Morelos,
enero de 2011.

7 Casi desde su inicio y no obstante lo primitivo de los sistemas de cómputo, Salvador


Malo y colaboradores publicaron más de una docena de trabajos con información
del SNI. Algunos ejemplos son “Sugerencias para el futuro del Sistema Nacional
de Investigadores”, Boletín de la Academia Mexicana de Ciencias, no. 8, marzo-
abril, pp. 32-35, (1992); “Distribución geográfica e institucional”, Ciencia y
desarrollo, no. 78, año XIII, pp. 84-95 (1988); “La profesionalización de la
investigación clínica”, Ciencia y desarrollo, no. 80, año XIV, pp. 121-128 (1988); “La

La evaluación de la evaluación de la investigación científica


19
Metodogía cualitativa

formación académica de los investigadores”, Ciencia y desarrollo, no. 82, año XIV,
pp. 93-102 (1988); “Los físicos”, Ciencia y desarrollo, no. 83, año XIV, pp. 141-153
(1988); “Los investigadores nacionales de nivel III”, Ciencia y desarrollo, no. 77,
año XIII, pp. 95-103 (1987).

La evaluación de la evaluación de la investigación científica


20

También podría gustarte