Está en la página 1de 10

INSTITUTO COLOMBIANO PARA EL

DESARROLLO DE LA CIENCIA Y LA
TECNOLOGIA COLCIENCIAS

Propuesta de un índice para la medición de


grupos de investigación, tecnológica o de
innovación

Versión Preliminar para discusión

Elaborado por:
Subdirección de Programas de
Desarrollo Científico y Tecnológico y
Grupo Académico CT&S- Universidad Nacional de Colombia

Bogotá D.C., Mayo 10 de 2004

1
Propuesta de un índice para la medición de
grupos de investigación, tecnológica o de
innovación

Felipe García 1 , Alvaro Montenegro 2 , Harvey Rosas2


Javier Rodríguez2

Mayo 10 de 2004

1 Introducción

Dentro del marco de política de la actual administración, se ha establecido la necesidad


de contar con datos seguros sobre el comportamiento de los diferentes grupos de
investigación científica y tecnológica que hacen parte del Sistema Nacional de Ciencia
y Tecnología del cual Colciencias es la Secretaria Técnica. En 1992 se consolidaron dos
sistemas de acumulación y procesamiento de la información (GrupLAC y CvLAC) que
permitieron por primera vez contar con una base de datos para poder tener la capacidad
de obtener información en tiempo real que sirviese de base para la implementación de
políticas en el País sobre Ciencia y Tecnología, además de proveer estadísticas
confiables para el seguimiento del Sistema Nacional de Ciencia y Tecnología de
Colombia. Este desarrollo también promovió que en el ano 2002 se hiciese una
clasificación de grupos de investigación en reconocidos y registrados. Si bien la
categoría de grupo registrado es un reconocimiento a una trayectoria de investigación y
producción científica, los estándares requeridos para acceder a ella son generales y no
discriminan las diferencias existentes entre el conjunto de 809 grupos reconocidos a
diciembre del 2003 en el país. Con el objetivo de tener una información que nos permita
diferenciar los grupos reconocidos, hemos desarrollado y probado un instrumento que
clasificará los grupos reconocidos en tres categorías (A, B y C) con base en diferentes
variables que describiremos en el transcurso de este documento. El objetivo final de la
aplicación de este instrumento de evaluación, es poder contar con un escalafón nacional
de grupos de investigación

Con base en la experiencia acumulada en la construcción de sistemas de medición para


grupos de investigación, Colciencias conjuntamente con el Observatorio Colombiano de
Ciencia y Tecnología y el grupo académico CT&S-UN de la Universidad Nacional ha
desarrollado un nuevo índice que se denominará ScientiCol3 . El propósito de este

1
Colciencias
2
Grupo CT&S – UN
3
Colombia forma parte de la “Red internacional de fuentes de información en ciencia tecnología e
innovación” conocida como red ScienTI. El país lidera junto con Brasil el desarrollo científico y
tecnológico en las áreas de sistemas de información y de la ciencia tecnología e innovación. Dos de los
ocho miembros del comité internacional que coordina las acciones de la red son de Colombia: un
representante de Colciencias como Organismo Nacional de Ciencia y Tecnología (ONCYT) y un
representante del grupo académico CT&S-UN como grupo de desarrollo e investigación (GDI). Puede
consultarse la página http://www.colciencias.gov.co/scienti para información ampliada. Los sistemas de
CvLAC y GrupLAC hacen parte de la plataforma tecnológica que soporta la red.

2
documento es la socialización del índice con el propósito que los investigadores lo
conozcan y lo critiquen y aporten ideas que puedan ayudar a mejorarlo cuantitativa o
cualitativamente

El índice ScientiCol ha sido probado con múltiples simulaciones basadas en el estado


de las bases de datos de GrupLAC, revistas nacionales e internacionales, libros,
patentes y registros de producción tecnológica a fecha 18 de noviembre de 2002 y
validado con el estado de las bases de datos en línea. Por ello, algunos cambios son
normales al aplicar el modelo con datos en línea. Adicionalmente el modelo ha sido
validado con los jefes de los programas nacionales y con la información en línea
disponible en GrupLAC.

Colciencias resalta el compromiso adquirido por los investigadores y líderes de grupo


en el diligenciamiento y mantenimiento de la información de CvLAC y GrupLAC, que
han llevado a convertir estos instrumentos en un estándar nacional. La gráfica 1 muestra
la evolución de la base de datos de GrupLAC desde su inicio y compara con los grupos
registrados históricamente en Colciencias.

Grupos de Investigación
2500 2383
2250
2000

1750 1725

1500

1250
1000
809
737
750
500 445

250 235

0
1991 1995 2000 2002 2004

Grupos de Investigación Reconocidos

Figura 1. Evolución del número de grupos registrados históricamente en Colciencias.

Es evidente el impacto de GrupLAC que se inicia a finales del año 2002.


Adicionalmente, cabe señalar que la base nacional de currículos de personas
relacionadas con el Sistemas Nacional de Ciencia y Tecnología. (CvLAC) cuenta
actualmente con cerca de 23,000 hojas de vida. Esta base además de ser fuente esencial
de información el Sistema, viene siendo empleada ya por otros entes oficiales y
privados como algunos ministerios, por las distintas Universidades tanto públicas como
privadas y por organismos internacionales como la Organización Panamericana de la
Salud, y por su puesto la red ScienTI.

Colciencias invita a complementar la información tanto de currículos (CvLAC) como de


grupos (GrupLAC) de tal manera que las mediciones reflejen realmente la situación real
de los grupos. Constantemente se realizan revisiones a la información por parte de
Colciencias y el Observatorio Colombiano de Ciencia y Tecnología, con el apoyo
tecnológico del grupo académico CT&S-UN. La validación realizada al índice
ScientiCol , mediante la revisión a la información en línea revela que el principal

3
inconveniente en la medición se debe a faltantes de información clave. Si bien, la
calidad de la información ha tenido una mejora notable con respecto a los años 2002 y
2003, también lo es que persisten problemas en la información que deben ser corregidos
por los investigadores con el propósito de obtener una mejor medición de sus grupos.
El sistema GrupLAC en línea dispone de un reporte que le permite al investigador por
un lado detectar producción repetida y por otro detectar faltantes críticos de
información. Actualmente alrededor del 35% de los productos de la base de datos de
GrupLAC en línea no tienen la información de existencia completa y por tanto no
pueden ser utilizados en el modelo de medición. 4

Por ejemplo para el caso de los artículos publicados la información faltante o incorrecta
en la base de datos en línea presenta la siguiente estadística.

• Se encontró que este producto esta repetido con otro ya registrado 198
• No esta asociado a algún proyecto5
• No está registrada la página inicial del artículo 1685
• La página inicial registrada no es un número mayor que cero 20
• No está registrada la página final del artículo6 2090
• La Página final registrada no es un número mayor que cero 6 16
• No está registrado el SIN de la revista, 1922
• El ISSN de la revista registrado no es valido 203
• La revista registrada no se encuentra aún en el servicio de revistas de la plataforma ScienTI debido a que la información
consignada posiblemente no es correcta 2138

Los investigadores deben primero asegurar que la información que garantiza el


indicador de existencia de un producto es completa y confiable. Cuando un producto no
tiene la información de existencia no es tenido en cuenta. Luego debe incorporar la
información que sube la calidad cuando es necesario. El documento Conceptual de la
convocatoria del año 2002 (Colciencias, 2002) contiene las definiciones de tales
indicadores http://www.colciencias.gov.co/sncyt/pdfs/grupos2002.pdf. Luego de la
socialización y revisión final del índice ScientiCol, Colciencias publicará el nuevo
documento conceptual de medición.

2 Propuesta de construcción del índice ScientiCol


El índice ScientiCol presenta tres características nueva en relación con modelos
anteriores que buscan mejor la calidad y equidad de la medición. La primera
corresponde a la no utilización de la productividad. Si bien, conceptualmente la
medición por productividad (normalizando la producción por el número de
investigadores equivalentes a tiempo completo) es lo más adecuado para mediciones de
este tipo, la experiencia de convocatorias de años anteriores y los datos actuales
muestran deformaciones debidas por un lado a la falta de claridad acerca de como
definir el denominador, fundamentalmente porque por la declaración que hacen los
líderes de grupo sobre quienes son sus investigadores y cuales su permanencias y

4
Revisión: mayo 4 de 2004
5
Para el cálculo del índice ScientiCol no será tenida en cuenta esta condición, aunque los reportes se
GrupLAC seguirán reportando el faltante de información que el único propósito de que la información sea
completada.

4
dedicación al grupo es difusa. Por ejemplo, se encuentra que en los datos de los autores
de productos algunos figuran como integrantes del grupo y no son declarados como
investigadores. Esta es una situación normal en un grupo, pero frente a un modelo de
productividad presenta problemas para los cálculos basados en la definición de
investigador a tiempo completo. El problema del efecto de tamaño en grupos grandes
introducido al utilizar la producción en lugar de la productividad en la construcción del
índice ScientiCol es suavizado utilizando un umbral para un grupo típico de cuatro
investigadores y una producción equivalente de dos artículos de alto nivel tipo A
(definida mas adelante) por año. El análisis de la información muestra que los índices
construidos a partir de la producción frente a los construidos con productividad tienen
una correlación aproximada del 76%.

La segunda característica deseable del índice ScientiCol es que evita el efecto


acumulativo que permitiría a un grupo obtener muy alto puntaje sin producción de alta
calidad. Si bien, no es posible eliminar este efecto en su totalidad, en el índice
ScientiCol se separa el peso de los productos de tipo A6 . Así el índice de producción
propuesto tiene la forma

5*(Indice de producción general ) + 3.5*(Indice de producción de tipo A),

de esta forma, solo la producción de tipo A logra un peso completo global de 8.5 en una
escala de 0 a 10. Solamente se alcanza el máximo índice de producción si se tiene
producción de tipo A. El índice de producción general incluye la producción de tipo A.

La tercera característica deseable que se ha buscado en la construcción del índice


ScientiCol es en la interpretación de los indicadores. La definición original de los
indicadores básicos que se presenta en el documento conceptual de la convocatoria de
grupos del año 2002 no permite hacer interpretaciones directas de los respectivos
valores y tampoco permite la comparación de resultados entre los grupos de los distintos
Programas Nacionales. Por un lado los pesos finales de los productos están en distintas
escalas y por el otro los factores G por programa, además de confundir la interpretación
no representan en realidad ningún aporte diferencial para los programas, que fue la
principal razón de su adopción el modelo del año 2002. Para lograr una mejor
interpretación de los resultados se proponen dos características en la construcción el
índice SientiCol : primero, cambiar la escala de los productos de nuevo conocimiento.
Se propone dividir entre 5 el peso de los productos para que todos los productos tengan
valores entre 0 (sin índice de existencia) y 1. El peso original está entre 0 y 5. Segundo,
se propone como pesos G un anclaje que compara entre tipos de producción de forma
general. Esta modificación tiene un efecto adicional a la comparabilidad que ahora se
garantiza entre grupos de diferentes programas, y es la de permitir que grupos con
producción de alto nivel de diferente tipo obtengan puntajes altos con producción de
alto nivel de diferente tipo: artículos, libros, productos patentados o regsitrados.

El anclaje propuesto para los pesos G se basa en definir como unidad de medida el
artículo y utilizar las siguientes ponderaciones g para la producción: artículo 1, libro de

6 Por producción de tipo A se entiende en este documento aquella que en cada tipo de producto el máximo valor de calidad, es
decir los productos que alcanza el máximo peso en el indicador de calidad de los productos. Para el caso de la producción
tecnológica se consideran productos A adicionalmente a las patentes de utilidad y a los registros formales de productos que sean
verificables.

5
investigación 3, capítulo de libro de investigación 3/5, producto patentado o registrado
9/2, producto no patentable o protegido por secreto industrial 2. Los productos de
formación y de divulgación todos con su peso original de 1. Como estos últimos son de
diferente campo estadístico no se suman entre sí y solo se comparan entre ellos.

Concretamente el índice ScientiCol tiene las siguientes características:

1. Se mantienen las definiciones básicas de existencia, calidad y visibilidad


circulación y uso presentadas en le documento conceptual de la convocatoria del
año 2002.
2. Se elimina la exigencia fundamental de tener asociado los productos a proyectos
de investigación formales para contabilizar la producción de grupo. Se
contabiliza la producción registrada en GrupLAC únicamente, la cual es tomada
de los currículos por el líder del grupo.
3. Se cambia la productividad por producción anualizada y se corrige con un
umbral que asume como producción anual un equivalente en artículos de tipo A.
Esto no significa necesariamente artículos de tipo A, y se trata producción
promedio. El valor numérico de este umbral es de 2 y puede interpretarse como
la producción anual esperada de un grupo de cuatro investigadores.
4. Se separa la producción de tipo A para evitar que grupos sin producción tipo A
alcancen valores demasiado altos del el índice ScientiCol. El umbral de
producción de tipo A es 0.5 y corresponde a tener en promedio un producto de
tipo A cada dos años.
5. Los factores g se unifican para todos los programas. El peso de los productos se
divide entre 5 (el máximo peso alcanzable por producto) y se establece el
siguiente anclaje para la producción: artículo 1, libro de investigación 3, capítulo
de libro de investigación 3/5, producto patentado o registrado 9/2, producto no
patentable o protegido por secreto industrial 2. Los productos de formación y de
divulgación todos con su peso original de 1. Como estos últimos son de
diferente campo estadístico no se suman entre sí y solo se comparan entre ellos.

La siguiente tabla muestra un categorización de la producción basada estrictamente en


los factores de calidad de los productos:

Tabla 1. Categorización de los productos según el criterio de calidad


Categoría Descripción Notación
ART-A
Indicadores de producción de ART-B
artículos ART-C
ART-0
Indicador de producción de CAP-A
capítulos libros CAP-B
CAP-0
Productos o resultados que Indicador de producción de LIB-A
generan nuevo conocimiento libros LIB-B
LIB-0
Indicador de producción de NORM-A
normas NORM-0
Indicador de producción de PAT-INV
patentes PAT-MOD-UTIL
PAT-REG

6
Indicador de producción de no
patentados NO-PAT
CUR-D
Productos de actividades de CUR-M
investigación del Grupo, PRG-ACAD-D
relacionadas con formación de PRG-ACAD-M
investigadores TES-D
TES-M
TRAB-GR
Productos relacionados con la
extensión de las actividades de LIT-GRIS
investigación del grupo y de sus PA-ST
resultados: apropiación social del
conocimiento. P-DIV
Indicador de producción de
Nuevo conocimiento IND_PRODC_NC
Índice de producción de
Nuevo conocimiento IND_NC
Indicador de producción de
formación IND_PRODC_F
Indicadores e índices utilizados Índice de producción de
como variables suplementarias o formación
ilustrativas en el análisis IND_F
Indicador de producción de
divulgación IND_PRODC_D
Índice de producción de
divulgación IND_D
Índice de calidad INDICE
Índice de Colciencias NRO_ICOL

Por ejemplo, en el caso de los artículos, los artículos A son los que alcanzan el valor de
calidad igual a 3, los artículos B los que alcanzan la calificación 1.6 de calidad, los
artículos C los que alcanza el valor de calidad 0.6 y los artículos O son los que alcanzan
el valor cero de calidad. Similar para los demás casos.

El indicador de nuevo conocimiento propuesto es:

INDICADOR_NC = Iart + 3 Ilib + (3/5) Icap + Inor + (9/2) Ipat + 2 Inopat,

en donde:

Iart : Indicador de producción de artículos


Ilib : Indicador de producción de libros
Icap : Indicador de producción de capítulos libros
Inor : Indicador de producción de normas
Ipat : Indicador de producción de patentes
Inopat : Indicador de producción de no patentados.

Para la construcción del índice de producción se toma umbral igual a 2, y puede


interpretarse como la producción anual esperada de un grupo de cuatro investigadores.

7
El indicador de nuevo conocimiento de tipo A, se construye de la misma forma, pero
solo considerando los producto de tipo A. El índice respectivo se obtiene utilizando el
umbral igual a 0.5 que interpreta como un producto de tipo A cada dos años en
promedio.

Finalmente el índice ScientiCol propuesto es:

ScientiCol = 5Inc + 3IncA + 1.5 If + 0.5 Id

Donde Inc es el índice de nuevo conocimiento, IncA es el índice de nuevo


conocimiento de producción de tipo A, If es el índice de formación y ld es el índice de
divulgación.

3 Propuesta de condiciones para el


escalafonamiento de grupos
Inicialmente se han propuesto las siguientes condiciones para el escalafonamiento del
año 20047 .

El modelo de escalfonamiento propuesto es

Grupos A: índice ScientiCol mayor o igual a 8 y tener al menos cinco años de


existencia.
Grupos B: índice ScientiCol mayor o igual a 5 y tener al menos tres años de
existencia.
Grupos C: índice ScientiCol mayor o igual a 2 y tener al menos dos años de
existencia.

Por trasparencia y seguridad del proceso de escalafonamiento, Colciencias


conformará un comité de alto nivel que hará la evaluación y avalará los resultados.

4 Análisis estadístico descriptivo del índice


ScientiCol
Análisis de Componentes Principales (ACP) Normado

Se realizó un ACP normado utilizando los indicadores como variables activas (no
intervienen los umbrales). Las variables activas corresponden a los veintiséis (26)
indicadores originales, las variables ilustrativas son: los tres indicadores de producción,
los tres índices sintéticos de producción (Nuevo conocimiento, Formación y Extensión),

7
. Solo podrán escalafonarse grupos que a la fecha del escalafonamiento estén reconocidos y se inscriban
a la convocatoria de escalafonamiento del año 2004. GrupLAC tendrá un módulo adicional de inscripción
que solamente contendrá la opción para inscribirse a la convocatoria de escalafonamiento.

8
el índice ScientiCol y el índice de producción tipo A. En el análisis de componentes
principales se tiene una representación aproximada de la información (matriz de
correlaciones) suministrada por los 26 indicadores base para construcción del índice
ScientiCol .

En el gráfico del círculo de correlaciones Figura 2 se observa que el índice ScientiCol


propuesto, se encuentra muy correlacionado con el primer componente principal, esto
implica que el índice propuesto es casi el mejor resumen de las variables en una sola
dimensión.

Figura 2. Círculo de correlaciones de los indicadores de producción.

Si se realiza el análisis de componentes principales utilizando únicamente los


indicadores de producción de Tipo A (más alta calidad), se observa que el índice tiene
una proyección bastante alta lo que implica un muy buen resumen estadístico en una
dimensión. La Figura 3 corresponde al primer plano factorial de este análisis.

9
Figura 3. Círculo de correlaciones de los indicadores de producción de más alta calidad.

5 Bibliografía

Colciencias, Documento Conceptual Convocatoria a Grupos Colombianos de


Investigación Científica y Tecnológica Año 2002. 2002

Lebart L, y otros, Multivariate Descriptive Statistical Análisis, John Wiley and sons.
1984.

Montenegro Alvaro, Pardo Campo E, Charum Jorge. Validación de un Índice de


excelencia de grupos de investigación. Programme de Recherche en d`Enseignemente
en Statistique Appliquée 1ra. Jornada Latinoamericana de Estadística Aplicada. 2000.

Montenegro Alvaro. Construcción de moelos de medición. El caso de la actividad


científica. Memorias del Seminario contextos investigativos e indicadores académicos.
Universidad Nacional de Colombia. 1999.

Pardo Campo E. La validación estadística de los índices sintéticos. La Memorias del


Seminario contextos investigativos e indicadores académicos. Universidad Nacional de
Colombia. 1999.

10

También podría gustarte