Está en la página 1de 10

Propuestadeunndiceparalamedicinde gruposdeinvestigacin,tecnolgicaode innovacin

FelipeGarca1,AlvaroMontenegro2,HarveyRosas2 JavierRodrguez2 Mayo10de2004

1 Introduccin
Dentrodelmarcodepolticadelaactualadministracin,sehaestablecidolanecesidad de contar con datos seguros sobre el comportamiento de los diferentes grupos de investigacincientficaytecnolgicaquehacenpartedelSistemaNacionaldeCienciay TecnologadelcualColcienciaseslaSecretariaTcnica.En1992seconsolidarondos sistemasdeacumulacinyprocesamientodelainformacin(GrupLACyCvLAC)que permitieronporprimeravezcontarconunabasededatosparapodertenerlacapacidad deobtenerinformacinentiemporealquesirviesedebaseparalaimplementacinde polticas en el Pas sobre Ciencia y Tecnologa, adems de proveer estadsticas confiables para el seguimiento del Sistema Nacional de Ciencia y Tecnologa de Colombia. Este desarrollo tambin promovi que en el ano 2002 se hiciese una clasificacin de grupos de investigacin en reconocidos y registrados. Si bien la categoradegruporegistradoesunreconocimientoaunatrayectoriadeinvestigaciny produccincientfica,losestndaresrequeridosparaaccederaellasongeneralesyno discriminanlasdiferenciasexistentesentreelconjuntode809gruposreconocidosa diciembredel2003enelpas.Conelobjetivodetenerunainformacinquenospermita diferenciarlosgruposreconocidos,hemosdesarrolladoyprobadouninstrumentoque clasificarlosgruposreconocidosentrescategoras(A,ByC)conbaseendiferentes variablesquedescribiremoseneltranscursodeestedocumento.Elobjetivofinaldela aplicacindeesteinstrumentodeevaluacin,espodercontarconunescalafnnacional degruposdeinvestigacin Conbaseenlaexperienciaacumuladaenlaconstruccindesistemasdemedicinpara gruposdeinvestigacin,ColcienciasconjuntamenteconelObservatorioColombianode CienciayTecnologayelgrupoacadmicoCT&SUNdelaUniversidadNacionalha desarrollado un nuevo ndice que se denominar ScientiCol3. El propsito de este
1 2

Colciencias GrupoCT&SUN 3 Colombia forma parte de la Red internacional de fuentes de informacin en ciencia tecnologa e innovacin conocida como red ScienTI. El pas lidera junto con Brasil el desarrollo cientfico y tecnolgicoenlasreasdesistemasdeinformacinydelacienciatecnologaeinnovacin.Dosdelos

documento es la socializacin del ndice con el propsito que los investigadores lo conozcanylocritiquenyaportenideasquepuedanayudaramejorarlocuantitativao cualitativamente ElndiceScientiColhasidoprobadoconmltiplessimulacionesbasadasenelestado de las bases de datos de GrupLAC, revistas nacionales e internacionales, libros, patentes y registros de produccin tecnolgica afecha 18 de noviembre de 2002y validadoconelestadodelasbasesdedatosenlnea.Porello,algunoscambiosson normalesalaplicarelmodelocondatosenlnea.Adicionalmenteelmodelohasido validado con los jefes de los programas nacionales y con la informacin en lnea disponibleenGrupLAC. Colcienciasresaltaelcompromisoadquiridoporlosinvestigadoresylderesdegrupo eneldiligenciamientoymantenimientodelainformacindeCvLACyGrupLAC,que hanllevadoaconvertirestosinstrumentosenunestndarnacional.Lagrfica1muestra laevolucindelabasededatosdeGrupLACdesdesuinicioycomparaconlosgrupos registradoshistricamenteenColciencias.

G ru p o sd e In v e stig a ci n
2500 2250 2000 1750 1500 1250 1000 750 500 250 0
235 445 737 809 1725 2383

1991

1995

20 0 0
R e co n o cid o s

2002

2 0 04

G ru p o sd e In ve stig a ci n

Figura1.EvolucindelnmerodegruposregistradoshistricamenteenColciencias. Es evidente el impacto de GrupLAC que se inicia a finales del ao 2002. Adicionalmente, cabe sealar que la base nacional de currculos de personas relacionadas con el Sistemas Nacional de Ciencia y Tecnologa. (CvLAC) cuenta actualmenteconcercade23,000hojasdevida.Estabaseademsdeserfuenteesencial de informacin el Sistema, viene siendo empleada ya por otros entes oficiales y privadoscomoalgunosministerios,porlasdistintasUniversidadestantopblicascomo
ocho miembros del comit internacional que coordina las acciones de la red son de Colombia: un representante de Colciencias como Organismo Nacional de Ciencia y Tecnologa (ONCYT) y un representantedelgrupoacadmicoCT&SUNcomogrupodedesarrolloeinvestigacin(GDI).Puede consultarselapginahttp://www.colciencias.gov.co/scientiparainformacinampliada.Lossistemasde CvLACyGrupLAChacenpartedelaplataformatecnolgicaquesoportalared.

privadasypororganismosinternacionalescomolaOrganizacinPanamericanadela Salud,yporsupuestolaredScienTI. Colcienciasinvitaacomplementarlainformacintantodecurrculos(CvLAC)comode grupos(GrupLAC)detalmaneraquelasmedicionesreflejenrealmentelasituacinreal delosgrupos.Constantementeserealizan revisionesalainformacin porpartede Colciencias y el Observatorio Colombiano de Ciencia y Tecnologa, con el apoyo tecnolgico del grupo acadmico CT&SUN. La validacin realizada al ndice ScientiCol, mediante la revisin a la informacin en lnea revela que el principal inconveniente en la medicin se debe a faltantes de informacin clave. Si bien, la calidaddelainformacinhatenidounamejoranotableconrespectoalosaos2002y 2003,tambinloesquepersistenproblemasenlainformacinquedebensercorregidos porlosinvestigadoresconelpropsitodeobtenerunamejormedicindesusgrupos. ElsistemaGrupLACenlneadisponedeunreportequelepermitealinvestigadorpor un lado detectar produccin repetida y por otro detectar faltantes crticos de informacin.Actualmentealrededordel35%delosproductosdelabasededatosde GrupLAC en lnea no tienen la informacin de existencia completa y por tanto no puedenserutilizadosenelmodelodemedicin.4 Porejemploparaelcasodelosartculospublicadoslainformacinfaltanteoincorrecta enlabasededatosenlneapresentalasiguienteestadstica.
Seencontrqueesteproductoestarepetidoconotroyaregistrado Noestaasociadoaalgnproyecto5 Noestregistradalapginainicialdelartculo Lapginainicialregistradanoesunnmeromayorquecero Noestregistradalapginafinaldelartculo6 LaPginafinalregistradanoesunnmeromayorquecero6 NoestregistradoelSINdelarevista, ElISSNdelarevistaregistradonoesvalido LarevistaregistradanoseencuentraanenelservicioderevistasdelaplataformaScienTIdebidoaquela informacinconsignadaposiblementenoescorrecta 198 3173 1685 20 2090 16 1922 203 2138

Los investigadores deben primero asegurar que la informacin que garantiza el indicadordeexistenciadeunproductoescompletayconfiable.Cuandounproductono tienelainformacindeexistencianoestenidoencuenta.Luegodebeincorporarla informacinquesubelacalidadcuandoesnecesario.EldocumentoConceptualdela convocatoria del ao 2002 (Colciencias, 2002) contiene las definiciones de tales
4

Revisin:mayo4de2004

Paraelclculodelndice ScientiCol nosertenidaencuentaestacondicin,aunquelosreportesse GrupLACseguirnreportandoelfaltantedeinformacinqueelnicopropsitodequelainformacin seacompletada.

indicadores http://www.colciencias.gov.co/sncyt/pdfs/grupos2002.pdf. Luego de la socializacin y revisin final del ndice ScientiCol, Colciencias publicar el nuevo documentoconceptualdemedicin.

2 PropuestadeconstruccindelndiceScientiCol
El ndice ScientiCol presenta tres caractersticas nueva en relacin con modelos anteriores que buscan mejor la calidad y equidad de la medicin. La primera corresponde a la no utilizacin de la productividad. Si bien, conceptualmente la medicin por productividad (normalizando la produccin por el nmero de investigadoresequivalentesatiempocompleto)eslomsadecuadoparamedicionesde este tipo, la experiencia de convocatorias de aos anteriores y los datos actuales muestran deformaciones debidas por un lado a la falta de claridad acerca de como definir el denominador, fundamentalmente porque por la declaracin que hacen los lderes de grupo sobre quienes son sus investigadores y cuales su permanencias y dedicacinalgrupoesdifusa.Porejemplo,seencuentraqueenlosdatosdelosautores deproductosalgunosfigurancomointegrantesdelgrupoynosondeclaradoscomo investigadores.Estaesunasituacinnormalenungrupo,perofrenteaunmodelode productividad presenta problemas para los clculos basados en la definicin de investigadoratiempocompleto.Elproblemadelefectodetamaoengruposgrandes introducidoalutilizarlaproduccinenlugardelaproductividadenlaconstruccindel ndice ScientiCol essuavizadoutilizandounumbral paraungrupo tpicodecuatro investigadores y una produccin equivalente de dos artculos de alto nivel tipo A (definidamasadelante)porao.Elanlisisdelainformacinmuestraquelosndices construidosapartirdelaproduccinfrentealosconstruidosconproductividadtienen unacorrelacinaproximadadel76%. La segunda caracterstica deseable del ndice ScientiCol es que evita el efecto acumulativoquepermitiraaungrupoobtenermuyaltopuntajesinproduccindealta calidad. Si bien, no es posible eliminar este efecto en su totalidad, en el ndice ScientiColseseparaelpesodelosproductosdetipoA6.Aselndicedeproduccin propuestotienelaforma 5*(Indicedeproduccingeneral)+3.5*(IndicedeproduccindetipoA), deestaforma,sololaproduccindetipoAlograunpesocompletoglobalde8.5enuna escalade0a10.Solamentesealcanzaelmximo ndicedeproduccinsisetiene produccindetipoA.ElndicedeproduccingeneralincluyelaproduccindetipoA.

PorproduccindetipoAseentiendeenestedocumentoaquellaqueencadatipodeproductoelmximovalordecalidad,esdecirlosproductosque

alcanza el mximo peso en el indicador de calidad de los productos. Para el caso de la produccin tecnolgica se consideran productos A adicionalmentealaspatentesdeutilidadyalosregistrosformalesdeproductosqueseanverificables.

La tercera caracterstica deseable que se ha buscado en la construccin del ndice ScientiCol esen lainterpretacindelos indicadores. Ladefinicin originalde los indicadoresbsicosquesepresentaeneldocumentoconceptualdelaconvocatoriade grupos del ao 2002 no permite hacer interpretaciones directas de los respectivos valoresytampocopermitelacomparacinderesultadosentrelosgruposdelosdistintos ProgramasNacionales.Porunladolospesosfinalesdelosproductosestnendistintas escalasyporelotrolosfactoresGporprograma,ademsdeconfundirlainterpretacin no representanenrealidadningnaportediferencial paralosprogramas, que fuela principal razn de su adopcin el modelo del ao 2002. Para lograr una mejor interpretacindelosresultadosseproponendoscaractersticasenlaconstruccinel ndice SientiCol:primero,cambiarlaescaladelosproductosdenuevoconocimiento. Seproponedividirentre5elpesodelosproductosparaquetodoslosproductostengan valoresentre0(sinndicedeexistencia)y1.Elpesooriginalestentre0y5.Segundo, seproponecomopesosGunanclajequecomparaentretiposdeproduccindeforma general.Estamodificacintieneunefectoadicionalalacomparabilidadqueahorase garantiza entre grupos de diferentes programas, y es la de permitir que grupos con produccindealtoniveldediferentetipoobtenganpuntajesaltosconproduccinde altoniveldediferentetipo:artculos,libros,productospatentadosoregsitrados. ElanclajepropuestoparalospesosGsebasaendefinircomounidaddemedidael artculoyutilizarlassiguientesponderacionesgparalaproduccin:artculo1,librode investigacin3,captulodelibrodeinvestigacin3/5,productopatentadooregistrado 9/2, producto no patentable o protegido por secreto industrial 2. Los productos de formacinydedivulgacintodosconsupesooriginalde1.Comoestosltimossonde diferentecampoestadsticonosesumanentresysolosecomparanentreellos. ConcretamenteelndiceScientiColtienelassiguientescaractersticas: 1. Se mantienen las definiciones bsicas de existencia, calidad y visibilidad circulacinyusopresentadasenledocumentoconceptualdelaconvocatoriadel ao2002. 2. Seeliminalaexigenciafundamentaldetenerasociadolosproductosaproyectos de investigacin formales para contabilizar la produccin de grupo. Se contabilizalaproduccinregistradaenGrupLACnicamente,lacualestomada deloscurrculosporellderdelgrupo. 3. Se cambia la productividad por produccin anualizada y se corrige con un umbralqueasumecomoproduccinanualunequivalenteenartculosdetipoA. Esto no significa necesariamente artculos de tipo A, y se trata produccin promedio.Elvalornumricodeesteumbralesde2ypuedeinterpretarsecomo laproduccinanualesperadadeungrupodecuatroinvestigadores. 4. SeseparalaproduccindetipoAparaevitarquegrupossinproduccintipoA alcancen valores demasiado altos del el ndice ScientiCol. El umbral de produccindetipoAes0.5ycorrespondeatenerenpromediounproductode tipoAcadadosaos. 5. Losfactoresgseunificanparatodoslosprogramas.Elpesodelosproductosse divide entre 5 (el mximo peso alcanzable por producto) y se establece el 5

siguienteanclajeparalaproduccin:artculo1,librodeinvestigacin3,captulo delibrodeinvestigacin3/5,productopatentadooregistrado9/2,productono patentableoprotegidoporsecretoindustrial2.Losproductosdeformacinyde divulgacin todos con su peso original de 1. Como estos ltimos son de diferentecampoestadsticonosesumanentresysolosecomparanentreellos. Lasiguientetablamuestrauncategorizacindelaproduccinbasadaestrictamenteen losfactoresdecalidaddelosproductos:
Tabla1.Categorizacindelosproductossegnelcriteriodecalidad Categora Descripcin Notacin ARTA Indicadoresdeproduccinde ARTB artculos ARTC ART0 Indicadordeproduccinde CAPA captuloslibros CAPB CAP0 Indicadordeproduccinde LIBA libros LIBB LIB0 Indicadordeproduccinde NORMA normas NORM0 Indicadordeproduccinde PATINV patentes PATMODUTIL PATREG Indicadordeproduccinde nopatentados NOPAT CURD CURM PRGACADD PRGACADM TESD TESM TRABGR LITGRIS PAST PDIV

Productosoresultadosque generannuevoconocimiento

Productosdeactividadesde investigacindelGrupo, relacionadasconformacinde investigadores Productosrelacionadosconla extensindelasactividadesde investigacindelgrupoydesus resultados:apropiacinsocial delconocimiento.

Indicadoresendicesutilizados comovariablessuplementarias oilustrativasenelanlisis

Indicadordeproduccinde Nuevoconocimiento ndicedeproduccinde Nuevoconocimiento Indicadordeproduccinde formacin ndicedeproduccinde formacin Indicadordeproduccinde divulgacin ndicedeproduccinde divulgacin ndicedecalidad ndicedeColciencias

IND_PRODC_NC IND_NC IND_PRODC_F IND_F IND_PRODC_D IND_D INDICE NRO_ICOL

Porejemplo,enelcasodelosartculos,losartculosAsonlosquealcanzanelvalorde calidadiguala3,losartculosBlosquealcanzanlacalificacin1.6decalidad,los artculosClosquealcanzaelvalordecalidad0.6ylosartculosOsonlosquealcanzan elvalorcerodecalidad.Similarparalosdemscasos. Elindicadordenuevoconocimientopropuestoes: INDICADOR_NC=Iart+3Ilib+(3/5)Icap+Inor+(9/2)Ipat+2Inopat, endonde: Iart : Ilib : Icap : Inor : Ipat : Inopat : Indicadordeproduccindeartculos Indicadordeproduccindelibros Indicadordeproduccindecaptuloslibros Indicadordeproduccindenormas Indicadordeproduccindepatentes Indicadordeproduccindenopatentados.

Para la construccin del ndice de produccin se toma umbral igual a 2, y puede interpretarsecomolaproduccinanualesperadadeungrupodecuatroinvestigadores. ElindicadordenuevoconocimientodetipoA,seconstruyedelamismaforma,pero soloconsiderandolosproductodetipoA.Elndicerespectivoseobtieneutilizandoel umbral igual a 0.5 que interpreta como un producto de tipo A cada dos aos en promedio.

FinalmenteelndiceScientiColpropuestoes:

ScientiCol=5Inc+3IncA+1.5If+0.5Id DondeInceselndicedenuevoconocimiento,IncAeselndicedenuevo conocimientodeproduccindetipoA,Ifeselndicedeformacinyldeselndicede divulgacin.

3 Propuestadecondicionesparaelescalafonamientode grupos
Inicialmentesehanpropuestolassiguientescondicionesparaelescalafonamientodel ao20047. Elmodelodeescalfonamientopropuestoes Grupos A: ndice ScientiCol mayor o igual a 8 y tener al menos cinco aos de existencia. GruposB: ndice ScientiCol mayor oigual a 5yteneral menostres aos de existencia. GruposC: ndice ScientiCol mayor o igual a 2 y tener al menos dos aos de existencia. Por trasparencia y seguridad del proceso de escalafonamiento, Colciencias conformaruncomitdealtonivelqueharlaevaluacinyavalarlosresultados.

4 AnlisisestadsticodescriptivodelndiceScientiCol
AnlisisdeComponentesPrincipales(ACP)Normado Se realiz un ACP normado utilizando los indicadores como variables activas (no intervienen los umbrales). Las variables activas corresponden a los veintisis (26) indicadoresoriginales,lasvariablesilustrativasson:lostresindicadoresdeproduccin, lostresndicessintticosdeproduccin(Nuevoconocimiento,FormacinyExtensin), elndice ScientiCol yelndicedeproduccintipoA.Enelanlisisdecomponentes principales se tiene una representacin aproximada de la informacin (matriz de correlaciones)suministradaporlos26indicadoresbaseparaconstruccindelndice ScientiCol.

.Solopodrnescalafonarsegruposquealafechadelescalafonamientoestnreconocidosyseinscriban alaconvocatoriadeescalafonamientodelao2004.GrupLACtendrunmduloadicionaldeinscripcin quesolamentecontendrlaopcinparainscribirsealaconvocatoriadeescalafonamiento.

EnelgrficodelcrculodecorrelacionesFigura2seobservaqueelndiceScientiCol propuesto,seencuentramuycorrelacionadoconelprimercomponenteprincipal,esto implicaqueelndicepropuestoescasielmejorresumendelasvariablesenunasola dimensin.

Figura2.Crculodecorrelacionesdelosindicadoresdeproduccin. Si se realiza el anlisis de componentes principales utilizando nicamente los indicadoresdeproduccindeTipoA(msaltacalidad),seobservaqueelndicetiene unaproyeccinbastantealtaloqueimplicaunmuybuenresumenestadsticoenuna dimensin.LaFigura3correspondealprimerplanofactorialdeesteanlisis.

Figura3.Crculodecorrelacionesdelosindicadoresdeproduccindemsaltacalidad.

5 Bibliografa
Colciencias, Documento Conceptual Convocatoria a Grupos Colombianos de InvestigacinCientficayTecnolgicaAo2002.2002 LebartL,yotros,MultivariateDescriptiveStatisticalAnlisis, JohnWileyandsons. 1984. Montenegro Alvaro, Pardo Campo E, Charum Jorge. Validacin de un ndice de excelenciadegruposdeinvestigacin.ProgrammedeRechercheend`E nseignemente enStatistiqueApplique1ra.JornadaLatinoamericanadeEstadsticaAplicada.2000. Montenegro Alvaro. Construccin de moelos de medicin. El caso de la actividad cientfica.MemoriasdelSeminariocontextosinvestigativoseindicadoresacadmicos. UniversidadNacionaldeColombia.1999. PardoCampoE.Lavalidacinestadsticadelosndicessintticos. LaMemoriasdel Seminariocontextosinvestigativoseindicadoresacadmicos.UniversidadNacionalde Colombia.1999.

10