CURSO DE EXPERTO UNIVERSITARIO

METODOLOGA Y TCNICAS DE INVESTIGACIN

Y ANLISIS PROSPECTIVO
Gestin de fuentes
Y ANLISIS PROSPECTIVO
Gestin de fuentes
documentales para la
investigacin investigacin
3. Evaluacin de la investigacin
i fi cientfica
UNIVERSIDAD DE GRANADA MADOC
CENTRO DE FORMACIN CONTINUA
Noviembre 2010
ndice: ndice:
Un concepto de Ciencia desde el punto de vista sociolgico
La teora normativa y sus crticos
El ciclo de produccin del conocimiento
Qu es la evaluacin de la Ciencia
Metodologa de la evaluacin cientfica: Metodologas Cualitativas y
Cuantitativas Cuantitativas.
Fuentes para la evaluacin: las bases de datos cientficas
WOS
Protocolos de evaluacin
Cmo presentar un proyecto cientfico y cmo valorarlo
La valoracin de los cientficos La valoracin de los cientficos
La institucionalizacin de la actividad cientfica en Espaa
Qu es Ciencia? Qu es Ciencia?
E l i i i i d l b d di Es el conocimiento sistematizado, elaborado mediante
observaciones, razonamientos y pruebas metdicamente
organizadas. La ciencia utiliza diferentes mtodos y tcnicas para la
adquisicin y organizacin de conocimientos sobre la estructura de
un conjunto de hechos objetivos y accesibles a varios
observadores, adems de estar basada en un criterio de verdad y , y
una correccin permanente
Wikipedia
Registro calc ladora leng aje j ego isionario Registro, calculadora, lenguaje, juego, visionario
M Bunge la investigacin cientfica
Ms definiciones Ms definiciones
Pl ifi i l l i tfi t Planificacin: plan general, cientficamente
organizado y frecuentemente de gran amplitud, para
obtener un objetivo determinado, tal como el j ,
desarrollo econmico, la investigacin cientfica...
Evaluacin: estimacin o clculo del valor de una
cosa.
Evaluacin cientfica, tiene por finalidad determinar, de
forma sistemtica y objetiva la relevancia eficiencia eficacia forma sistemtica y objetiva, la relevancia, eficiencia, eficacia,
pertinencia, progreso y efectos de una actividad en funcin de
los objetivos que pretenden alcanzarse con su realizacin,
incluyendo el anlisis de la gestin administrativa y de la y g y
ejecucin de esa actividad.
Objetivos de la evaluacin
C t l L l i it di l lt d
Objetivos de la evaluacin
Control. La evaluacin permite medir los resultados
obtenidos con las acciones ejecutadas para conducir la
toma de decisiones.
Aprendizaje. La evaluacin permite que los evaluados
aumenten su conocimiento sobre los aspectos
t l ti i id l f conceptuales y prcticos que inciden en el fenmeno en
el que se desea influir, y sobre cmo mejorar la
ejecucin y gestin de una actuacin. ejecuc y ges de u a ac uac
Intervencin. La evaluacin orienta la actuacin de los
evaluados y de la poblacin objetivo, pues, al establecer
t d di i l i i fl parmetros de medicin y valoracin, influye en su
comportamiento.
El papel de la ciencia en la Sociedad
El conocimiento ha adquirido un gran protagonismo El conocimiento ha adquirido un gran protagonismo
en la sociedad y en la economa de los pases
desarrollados
Es el factor clave del incremento de la productividad y
la competitividad
Los gobiernos definen polticas de ciencia y Los gobiernos definen polticas de ciencia y
tecnologa con el objetivo ltimo de alcanzar niveles
ms altos de bienestar econmico y social
Las empresas adoptan estrategias basadas en la Las empresas adoptan estrategias basadas en la
"gestin del conocimiento
Las universidades y centros pblicos de investigacin y p g
adquieren un papel muy relevante en la dinmica
socioeconmica como proveedores de conocimiento
y recursos humanos altamente cualificados y
Algunosprincipiosgeneralesatenerencuenta.Unavisin
mertoniana delaCiencia
El prestigio de los cientficos es (o debe ser) proporcional al
prestigio de su obra
mertoniana de la Ciencia
p g
Los productos de la actividad cientfica son las publicaciones
(principalmente)
Los CUDeOS Los CUDeOS
Comunismo
Universalidad
Desinters
Escepticismo organizado
El impulso: el afn por el reconocimiento que debe ser una funcin de
los logros cientficos
La fuente de conflictos es la pugna entre comunismo y lucha por el La fuente de conflictos es la pugna entre comunismo y lucha por el
reconocimiento
Efecto Mateo vs hiptesis de Ortega p g
Las citas son una medida fiable de la repercusin de los
trabajos.
Las bases de datos tipos WOS permiten cuantificar estas citas Las bases de datos tipos WOS permiten cuantificar estas citas
y generan indicadores derivados de las mismas
Crticas a la Teora Normativa
L ti id t di l
Crticas a la Teora Normativa
Los crticos en resumidas cuentas dicen que la
teora normativa no dan cuenta de las
conductas reales de los cientficos ni siquiera en conductas reales de los cientficos ni siquiera en
su versin acadmica.
Contranormas:
Universalismo particularismo
Comunismo- Secretismo
D i t I t Desinters- Inters
Escepticismo organizado Dogmatismo organizado
Segn los seguidores de Merton esta dualidad Segn los seguidores de Merton esta dualidad
responde a las fases privada y publica de la
actividad cientfica.
Nuevos planteamientos
Los estudios actuales ya no consideran a la Ciencia
como un sistema semi autnomo y tienen en cuenta las y
relaciones que se establecen entre los lugares de
investigacin y las situaciones sociales en las que se
encuentran insertos
Ideas principales:
Se ha producido una transformacin radical, irreversible y
mundial de la manera en que la Ciencia se organiza y ejecuta mundial de la manera en que la Ciencia se organiza y ejecuta
Mayor competencia entre cientficos
La financiacin se ha convertido en un elemento crucial
Mayor atencin a la utilidad directa de la investigacin El Mayor atencin a la utilidad directa de la investigacin. El
objetivo ltimo no es el nuevo conocimiento sino la innovacin
Rendicin de cuentas
Colectivizacin: Colectivizacin:
Tanto en la forma de trabajar como
En la posibilidad de elegir los temas
Retroalimentacin o comunicacin inversa Retroalimentacin o comunicacin inversa
Se ha pasado del CUDOS al PLACE
Propiedad, local, autoridad, comisionados y expertos
Dimensiones de la actividad cientfica
Formacin
Conocimiento
certificado
Innovacin
Libros

Artculos
Artculos
Patentes
Investigacin
Subvenciones y
Comunicacin e
i f
P lti bli
Divulgacin y
y
programas
informes
Polticas pblicas
Divulgacin y
peritaje
El ciclo de produccin de conocimientos certificados y del
reconocimiento
Audiencia especfica: colegas, sugerencias
Difusin
p g g
Aplicaciones
Publicacin
Empresa pblica
o privada
Preparacin del artculo
Temas
Lectura de
Temas
Proyectos
Experimentacin
Lectura de
artculos
y
Financiacin
Recursos
Experimentacin,
datos
Recursos
La produccin de conocimiento certificado p
LOS ARTCULOS EN EL CICLO DE PRODUCCIN DEL LOS ARTCULOS EN EL CICLO DE PRODUCCIN DEL
CONOCIMIENTO
Produccin e interpretacin de datos
percepcin de que el acervo de conocimiento es insuficiente p p q
Metodologa, Experimentacin, anlisis de datos, interpretacin
Publicacin
Redaccin del trabajo, envo a una revista, revisiones, publicacin
Interactuacin Interactuacin
Impacto, aplicaciones, nuevos proyectos
Reconocimiento
El impulso de los cientficos, la lucha por el reconocimiento: el papel de las citas:
Pago del crdito debido
Instrumento de persuasin
Biblioteca, archivo y registro
Son tambin un ESLABN EN EL SISTEMA DE EVALUACIN, un ESLABN EN EL SISTEMA DE EVALUACIN, un medio
indirecto para evaluar la actividad investigadora de los autores que
publican sus resultados en las mismas
Evaluacin y actividad cientfica
L l i i h t l ti id d La evaluacin es inherente a la actividad
cientfica.
L i i t l dif i l La revisin por expertos es lo que diferencia las
revistas cientficas de las restantes
Es cualitativa/cuantitativa Es cualitativa/cuantitativa
La evaluacin aplicada a la actividad cientfica
se emplea usualmente en su versin ex-ante se se emplea usualmente en su versin ex-ante, se
valoran los proyectos cientficos antes de
financiarlos y se determinan las orientaciones financiarlos y se determinan las orientaciones
cientficas con cargo a suposiciones sobre
necesidades, inters y factibilidad
Quleen/citanlosinvestigadores?
ResearchInformationNetworkandJISC.2009
Donde prefieren publicar?
Research Information Network and JISC. 2009
Cmoquierenserevaluados?
e
s
t
a
d
o
s
e
n
t

f
i
c
o
s

e
n
c
u
e
0
0
9

|
|

5
7
5
4

c
i
e
u
e
l
a

C
a
s
a
l
,

2
0
B
u
Es posible la planificacin y la evaluacin en
Ciencia?
El proceso de creacin y aplicacin de nuevo y
conocimiento es un fenmeno muy complejo que implica
a numerosos agentes
Sus efectos y algunos de sus factores son en parte Sus efectos y algunos de sus factores son en parte
intangibles
Es incierta y a veces impredecible Es incierta y a veces impredecible
Las herramientas analticas estn poco desarrolladas
pero cada vez lo estn ms
Es posible la planificacin y la evaluacin?
(2)
Entre la planificacin de lo desconocido y p y
Ciencia sobre la Ciencia
Ejemplos de Ciencia no planificada Ejemplos de Ciencia no planificada
La Ciencia hasta el siglo XX
Ejemplos de planificacin extrema Ejemplos de planificacin extrema
Alemania, URSS, Proyecto Manhattan
Ciencia para la Poltica Ciencia para la Poltica
Nacimiento de la Poltica cientfica
Entre la repblica de la Ciencia
La evaluacin ex post no es necesaria porque
the results of any one particular investigation
cannnot be predicted with accuracy (Bush, V. 1945)
y la Ciencia responsable.
Bernal J D, la responsabilidad social del cientfico
Los poderes pblicos pueden y deben controlar la
orientacin de la Ciencia
Los actores
La gestin y evaluacin de la Ciencia es
un territorio donde convergen muchos
intereses:
Acadmicos
Polticos
Econmicos
Sociales Sociales
Y tiene consecuencias:
I t t Internas y externas
La Ciencia Acadmica
Es la principal productora de Ciencia
aunque no la nica q
Ha dotado a este territorio de un sustrato
terico a travs de la Sociologa de terico a travs de la Sociologa de
Ciencia
De unas herramientas tcnicas a travs
de las Documentacin y la Bibliometra de las Documentacin y la Bibliometra
La Poltica
Ha introducido el debate cientfico en la
agenda poltica creando el concepto de g p p
Poltica Cientfica
Ha institucionalizado el sistema Ha institucionalizado el sistema
Ha creado los instrumentos para su
control
Utiliza (o lo intenta) a los cientficos en sus Utiliza (o lo intenta) a los cientficos en sus
debates, legitima sus decisiones
La Economa
S h tid t i l d l Se ha convertido en un vector esencial de la
actividad econmica.
Es el motor esencial de una parte muy Es el motor esencial de una parte muy
importante de la investigacin
Es un beneficiario potencial de los progresos Es un beneficiario potencial de los progresos
que la Ciencia consigue
Es un determinante en las orientaciones de la
investigacin (es aqu donde entronca con la
Evaluacin)
Los potenciales beneficios econmicos son una Los potenciales beneficios econmicos son una
variable a considerar en la evaluacin
La Sociedad
Es la beneficiaria directa de los avances
cientficos
Es un agente activo/pasivo de la misma
Determina hasta cierto punto la orientacin p
Aporta los recursos humanos y econmicos
Recibe del mundo cientfico/acadmico parte de los p
cuadros de mando que la gobiernan
Demanda informacin sobre competencia/prestigio
de las instituciones acadmicas (rankings)
Consecuencias
D t i l d i Determina las carreras acadmicas
La asignacin de la financiacin
La estratificacin del sistema
Hasta cierto punto la orientacin en la medida
en que es una herramienta de la PC
La gestin de la Ciencia
Es cualitativa/cuantitativa Es cualitativa/cuantitativa
Es bsicamente una actividad ex-ante,
b d i di d t basada en indicadores ex-post
Su orientacin condiciona
La orientacin cientfica de un pas
Los lazos y participacin del sector privado en Los lazos y participacin del sector privado en
esa actividad
La promocin y reconocimiento de sus La promocin y reconocimiento de sus
actores
Indicadores para la Ciencia
Los primeros debates sobre la evaluacin
Criteria for scientific choice (Weinberg 63) Criteria for scientific choice (Weinberg, 63)
Evaluacin a priori y a posteriori
Criterios intrnsecos y extrnsecos
Informe Bromley Physics in perspective 72; 14 criterios: 5 intrnsecos, 9 extrnsecos
1. Madurez para la exploracin
2. Significacin de las preguntas
3. (3a)Potencial para descubrir leyes fundamentales
4. (3b)Potencial para descubrir generalizaciones de amplia aplicabilidad cientfica
5. Atractivo para los ms capaces
1. Contribuciones potenciales para otros ciencias
2. Potencial de estimulacin para otras areas
3. Aplicaciones a la Ingeniera, Medicina y otras ciencias aplicadas
4. Potencial aplicacin a la Tecnologa
5. Potencial para aplicaciones inmediatas
6. Potenciales contribuciones para objetivos sociales
7. Contribucin al prestigio nacional y a la cooperacin internacional
8. Contribucin a la defensa nacional
9. Contribucin a la educacin pblica
Creacin de las primeras oficinas de evaluacin en el NIH y en el NSF
Publicacin de Evaluative Bibliometrics
Indicadores para la Ciencia
Los primeros debates sobre la evaluacin
Optica
8
9
Los primeros debates sobre la evaluacin
Criteria for scientific choice (Weinberg, 63)
Evaluacin a priori y a posteriori
Criterios intrnsecos y extrnsecos
Informe Bromley Physics in perspective72 14criterios: 5 intrnsecos 9 extrnsecos
4
5
6
7
8
Informe Bromley Physics in perspective 72 14 criterios: 5 intrnsecos, 9 extrnsecos
1. Madurez para la exploracin
2. Significacin de las preguntas
3. (3a)Potencial para descubrir leyes fundamentales
4. (3b)Potencial para descubrir generalizaciones de amplia aplicabilidad cientfica
5 At ti l
0
1
2
3
1 2 3a 3b 5 6 7 8 9 10 12 4 11 13
5. Atractivo para los ms capaces
1. Contribuciones potenciales para otros ciencias
2. Potencial de estimulacin para otras areas
3. Aplicaciones a la Ingeniera, Medicina y otras ciencias aplicadas
9
10
Astrofsica
4. Potencial aplicacin a la Tecnologa
5. Potencial para aplicaciones inmediatas
6. Potenciales contribuciones para objetivos sociales
7. Contribucin al prestigio nacional y a la cooperacin internacional
8. Contribucina la defensa nacional
3
4
5
6
7
8
8. Contribucin a la defensa nacional
9. Contribucin a la educacin pblica
Creacin de las primeras oficinas de evaluacin en el NIH y en el NSF
Publicacin de Evaluative Bibliometrics
0
1
2
1 2 3a 3b 5 6 7 8 9 10 12 4 11 13
Elementos en la organizacin de la
evaluacin
El tipo de investigacin involucrada
Bsica, aplicada, estratgica o orientada a
productos
El objeto o nivel de la evaluacin El objeto o nivel de la evaluacin
Individuos, instituciones, proyectos, disciplinas
El problema de aislar los elementos evaluados El problema de aislar los elementos evaluados
El tiempo
E t i t i t Ex-ante, interim, ex-post
Propsito de la evaluacin Propsito de la evaluacin
E t Ex-ante:
Al ms alto nivel afecta al establecimiento de las
polticas de investigacin y a la asignacin de los polticas de investigacin y a la asignacin de los
recursos
En los sucesivos escalones se relaciona con la
implementacion de estas polticas: recursos humanos
necesarios, equipamientos.
E l l b i l t l En el escaln bsico, generalmente por el
procedimiento de la evaluacin por pares, aprueba o
rechaza los proyectos y les asigna los recursos ec a a os p oyectos y es as g a os ecu sos
concretos.
Propsito de la evaluacin Propsito de la evaluacin
Interim
Son difciles de diferenciar de la pura gestin So d c es de d e e c a de a pu a gest
contable normal de cualquier operacin o
proyecto
Su inters reside en que los informes in
progress dan a los gestores instrumentos
para la toma de decisiones.
La evaluacin interim slo existe en la
investigacin de campo y generalmente slo
en proyectos de cierta envergadura adquiere
d d i verdadero rigor.
Propsito de la evaluacin Propsito de la evaluacin
Ex post Ex post
Se refiere tanto a los resultados como a la forma en los medios
asignados han sido empleados de acuerdo con los objetivos
iniciales iniciales
Sus resultados son esenciales para la programacin de la
investigacin y evaluacin ex ante
Estas e al aciones son menos sistemticas q e las primeras Estas evaluaciones son menos sistemticas que las primeras y
se suelen concebir ad-hoc
Sus motivaciones son diversas pero la ms frecuente es la de
i l l d t d d i i d l incorporarlas al proceso de toma de decisiones de las
evaluaciones a priori.
Tiene una intencin legitimadora ante audiencias externas
cientficas o polticas.
En este caso los niveles son poco significativos las intenciones
no son muy distintas entre un departamento universitario y una
agencia que trabaja a nivel nacional, la diferencia estriba en la
comparabilidad.
Criterios para la seleccin de proyectos Criterios para la seleccin de proyectos
M i i fi Mrito cientfico
Competencia de los investigadores responsables
Significacin/relevancia de los trabajos propuestos en la Significacin/relevancia de los trabajos propuestos en la
especialidad, incluye consideraciones sobre tiempo,
repercusiones..
Ef t b t Efectos sobre otras reas
Nivel de financiacin requerido
Posibilidades de alcanzar los objetivos propuestos en un programa: Posibilidades de alcanzar los objetivos propuestos en un programa:
se trata de valorar tambin las conexiones con otros actores del
proceso, industria, etc. Que son el objetivo ltimo de muchas lneas
de investigacin de investigacin
El ciclo de las evaluaciones
Ex-ante
Interim
Ex-post
P1
p
Ex-ante
Interim
P2
Ex-ante
Interim
E t
P2
P3
Ex-ante
P3
Tiempo
Tipos de revisin de expertos
Revisin por pares directa
U d t d l i di i li i l Un grupo de expertos de la misma disciplina revisa la
calidad cientfica de los proyectos.
Revisin por pares modificada Revisin por pares modificada
Es una revisin por pares en la que stos tienen que
pronunciarse sobre ms aspectos que la calidad cientfica, p p q
por lo que el grupo de evaluadores puede incluir tambin
especialistas en otros campos (otras disciplinas cientficas u
otras profesiones). otras profesiones).
Revisin indirecta: bibliomtricas
Tipos de revisin de expertos 2
Revisin de mritos
Los pares se pronuncian no slo sobre los aspectos tcnicos del
proyecto sino que tambin incluyen consideraciones ms proyecto, sino que tambin incluyen consideraciones ms
amplias: curricula, implicaciones socioeconmicas.
Revisin por paneles Revisin por paneles
Un grupo de expertos formado por cientficos y otros
profesionales evalan los proyectos sobre la base de la
i f i i d t t d ( i i informacin proporcionada por otros mtodos (revisin por pares
directa, encuestas, estudios de caso, etc.).
Criterios por reas Criterios por reas
Exactas y Naturales Mdicas Ingenieras y Agrarias Sociales Humanidades
Cal i dad cientfica XX XX XX XX XX XX
Competencia del Investi gado XX XX X X X X Competencia del Investi gado XX XX X X X X
Innovaci n X X X X X X
Impacto ci entfi co X X X X X X
Impacto econmi co X X XX XX X
I t l ti i l X XX X X XX XX Impacto pol ti co-soci al X XX X X XX XX
Cal i dad tcni ca X X X X X X
Qu elementos se consideran en las
l i i tfi
Investigacin
evaluaciones cientficas
Produccin
Produccin: bruta, nacional/internacional
Productividad por autores Productividad por autores
Cuota de participacin por campos, pas, etc.
Presencia en bases, o en conjuntos predeterminados
Impacto
Difusin o visibilidad en definitiva: citas.
Cit b l t l ti di H Citas absolutas, relativas, ndice H
Fis
Tal cual
Presencia por cuartiles, terciles, deciles
Impactos normalizados
Documentos citados en el corede la especialidad Documentos citados en el core de la especialidad
Citas en determinadas obras
Hbitos de citacin
Qu elementos se consideran en las
l i i tfi evaluaciones cientficas
Direccin y desarrollo de la investigacin
Direccin de investigacin
Tesis doctorales dirigidas
Resultados acadmicos de las mismas
Grupos de investigacin: nacionales/internacionales Grupos de investigacin: nacionales/internacionales
Labores de gestin: direccin de departamentos, servicios,
etc.
Presencia en programas de investigacin, doctorados
(de calidad si puede ser), redes temticas.
Qu elementos se consideran en las
l i i tfi evaluaciones cientficas
Reconocimiento
Premios de investigacin
Invitaciones
Participacin en comits: revistas, congresos, etc.. p g
Tramos de investigacin o equivalentes
Ofertas de trabajos de instituciones j
J uicio de expertos en cuanto a reputacin de los
investigadores
Qu elementos se consideran en las
l i i tfi evaluaciones cientficas
Financiacin
Docencia
Tasa de graduaciones en
Fondos obtenidos en
programas competitivos y
cuanta
Tasa de graduaciones en
los distintos ciclos
Capacidad de atraccin de
t di t
cuanta
Nacionales/internacionales
Sectoriales
estudiantes
Encuestas
Innovacin docente
Privados
Becas nacionales,
internacionales
Otros
Patentes
it l b l
Becarios
xito laboral
...
Qu tipo de indicadores bibliomtricos existen?
Qu elementos se consideran en las
l i i tfi evaluaciones cientficas
COLABORACIN
N Autores/trabajo
Patrones colaboracin
Ordenes de firma
RELACIONALES RELACIONALES
Anlisis de co-palabras; redes de colaboracin
El modelo INPUT/OUTPUT
LA ACTIVIDAD CIENTFICA PUEDE SER EN RESUMEN PLANTEADA SEGN
ESTE MODELO
INPUT OUTPUT
IMPACT
Sistema
C id d
Recursos
H
Artculos
Investigacin
Comunidad
Cientfica
Visibilidad
Humanos
Recursos
Artculos
Patentes
Visibilidad
Impacto
Econmicos
Libros
Tesis
Camberra
Frascati
Indicadores
bibliomtricos

Oslo
bibliomtricos
Algunas consideraciones sobre las fuentes
No son estadsticamente representativas en el
sentido tradicional
Muestran distribuciones sumamente sesgadas
El acceso a los datos es barato, los datos estn El acceso a los datos es barato, los datos estn
muy desglosados y son muy fiables
La obtencin de los mismos es casi instantnea La obtencin de los mismos es casi instantnea
Podemos crear muchos indicadores y hacer
experimentos experimentos
Fuentes de informacin cientfica
Control bibliogrfico:
Produccin
I t
Impacto Colaboracin
Control bibliogrfico:
Ulrichs, Latindex, DICE
Actividad Produccin
WoS
SCOPUS
G S h l
Impacto
(revistas)
J CR
Impacto
(autores)
WoS
Colaboracin
Cualquier
BD
Actividad
Esp@cenet
WIPO
G Scholar
BD Bibg.
Especializadas:
SJ R
R&N
SCOPUS
Google
Scholar
NTIS
UMI
Psycinfo,
Econlit..
Regionales y
i l
R&N
In-Recs/j
Scielo
R&N
In-Recs/j
Teseo
nacionales
CINDOC
Dialnet
In Recs/j
Impacto
(Pases)
- ESI
Bases de datos de entorno Bases de datos de entorno
INE: Indicadores de I+D, Eurostat
Web of Knowledge (WOS, JCR, ESI)
Web of Science (WOS)
htt // k f t / / http://www.accesowok.fecyt.es/wos/
BBDD de referencia en la ciencia mundial para
estudios bibliomtricos estudios bibliomtricos
Cubre las mejores revistas en todas las reas
temticas temticas
Indiza ms de 10.000 revistas y 100.000 actas
de congresos (40 millones de registros)
Consta de varios ndices (SCI, SSCI, AHCI y
CPCI)
Orientacin anglosajona y a ciencias bsicas
149 revistas espaolas a fecha abril 2009
(Rodrguez Yunta L Revistas espaolas en WoS 2009) (Rodrguez-Yunta, L. Revistas espaolas en WoS, 2009)
Bsqueda bsica (13 campos de consulta)
Cuidado con la bsqueda por fechas
Year published: Year published:
ao de
publicacin del publicacin del
artculo
Timespan: aos Timespan: aos
en que la
referencia ha referencia ha
sido procesada
por WoS por WoS
Bsqueda de autores (author finder)
Ejemplo: Emilio Delgado Lpez-Czar
1
2
Selecciona la
forma adecuada forma adecuada
Aade otra
posible firma del
3
posible firma del
autor
3
4
5
Refina por reas o instituciones
6
7
6
Resultados
8
O usa directamente la bsqueda bsica, pero
Cuidado con la sintaxis de WoS
Cuidado con los autores con dos apellidos Cuidado con los autores con dos apellidos
Cuidado con los homnimos
Cuidado con nombre regionales,
abreviaturas o nombres artsticos ab e atu as o o b es a t stcos
Cuidado con los errores de indizacin
Extremo cuidado al limitar por los campos
afiliacin o categora J CR g
Cuidado con la sintaxis de WoS
No admite tildes ni ees
Slo la(s) inicial(es) del nombre de pila Slo la(s) inicial(es) del nombre de pila
Admite operadores booleanos en el
i d d b d mismo cuadro de bsqueda
Truncamiento con * para ampliar las u ca e to co pa a a p a as
bsquedas
Cuidado con los autores con dos apellidos
El t j d i ti d l El porcentaje de investigadores espaoles que
aparecen bajo dos o ms nombres diferentes
oscila entre un 20%y un 40%segn los estudios oscila entre un 20% y un 40% segn los estudios
(Costas et al. 2006; Ruiz-Prez et al. 2002).
Los propios investigadores son responsables de g
esta variabilidad en su forma de firma, ya que
utilizan distintas formas a lo largo de su
produccin produccin
Adems, las bases de datos bibliogrficas
cometen con errores al transcribir la informacin cometen con errores al transcribir la informacin
a su registro electrnico, sobre todo derivadas de
sus prcticas de indizacin adaptadas a las
estructuras de nombres ingleses estructuras de nombres ingleses
Cuidado con los homnimos
Es complejo diferenciar entre autores
homnimos, apellidos comunes, etc (Lpez
E, Rodriguez J M, Garcia A)
En este caso hay que usar las opciones de En este caso hay que usar las opciones de
WoS para refinar los resultados, a sabiendas
de que podemos perder un pequeo de que podemos perder un pequeo
porcentaje de la produccin del autor
La mejor forma de evitar este fenmeno es La mejor forma de evitar este fenmeno es
asesorar a los investigadores para que usen
firmas lo ms distintivas posibles firmas lo ms distintivas posibles.
Cuidado con nombres regionales,
abreviaturas o nombres artsticos abreviaturas o nombres artsticos
Ramn Moncho
J os Luis Koldo J os Luis Koldo
J avier Xavier
Rosario Charo
Cuando hagamos bsquedas de autores es Cuando hagamos bsquedas de autores es
conveniente visitar antes su web personal,
d d i t b fi nos puede dar pistas sobre cmo firma, en
qu revistas publica, sus colaboradores,
Cuidado con los errores de indizacin de WoS
Autores
Instituciones
Extremo cuidado al limitar por afiliacin o categora jcr
AFILIACIN AFILIACIN
Autores en estancias fuera de la institucin a
veces no firman con su institucin de origen veces no firman con su institucin de origen
Autores con doble filiacin a veces no usan ambas
La tipologa Proceedings paper incluye slo la
institucin del primer firmante
CATEGORA JCR
Las revistas pueden estar asignadas hasta a 5 Las revistas pueden estar asignadas hasta a 5
categoras ISI
Autores con investigacin multidisciplinar Autores con investigacin multidisciplinar
Para el caso de las instituciones
Para las instituciones
Pi t d l ibl Piensa todas las posibles
variantes de una institucin
WoS usa abreviaturas estndar y
elimina las preposiciones p p
universidad = univ; hospital =
hosp hosp
Universidad de Murcia = Univ
Murcia Murcia
Universidad Politcnica de
V l i ? Valencia = ?
Opciones de
ordenacin
Historial de
bsquedas bsquedas
Opciones de anlisis
de resultados e de resultados e
informes de citacin
Opciones de
Opciones de filtrado de los resultados por
reas, tipos de documentos, aos,
i tit i f t t idi
Opciones de
exportacin,
impresin y
guardar en listas
instituciones, pases, fuentes, autores, idiomas
g
Cited Reference Search
Encuentra las citas a un artculo, libro, (incluso Encuentra las citas a un artculo, libro, (incluso
si no est recogido en WoS) pero ha sido citado
desde las revistas indizadas en WoS desde las revistas indizadas en WoS
Ej l it ibid Ejemplo: citas recibidas por
los artculos publicados en
2007 en la revista NO ISI
Anales de Documentacin
Cmo localizar las revistas indexadas en la WoS
Thomson cuenta con un listado maestro (master list) ( )
donde aparecen las revistas recogidas en sus ndices
de citas http://science.thomsonreuters.com/mjl/ p j
Ojo! No confundir con JCR: No todas
las revistas incluidas en WoS tienen las revistas incluidas en WoS tienen
factor de impacto JCR
Prctica
Qu produccin tiene la Universidad de
Vigo en 2008?
Cul es su promedio de citas?
Qu pas es su principal colaborador? Q p p p
Cuntas citas ha recibido Pedro Cavadas
en sus trabajos publicados en la revista J en sus trabajos publicados en la revista J
PLAST RECONSTR AES ?
Qu revista tiene como ISSN 1532 2882? Qu revista tiene como ISSN 1532-2882?
En qu productos de Thomson est
id ? recogida?
Journal Citation Reports (JCR)
http://www.accesowok.fecyt.es/jcr/ p y j
Base de datos que recoge los factores de impacto
de las revistas cientficas seleccionadas por
Thomson Re ters Thomson Reuters
Podemos delimitar la bsqueda por ao, categora
temtica y pases temtica y pases
Recoge otros indicadores como posicin de la
revista en su categora, ndice de inmediatez, revista en su categora, ndice de inmediatez,
porcentaje de autocitas,
Informacin bsica de una revista
Factor de impacto de la revista
Categoras J CR a las que se adscribe Categoras J CR a las que se adscribe
Posicin de la revista
en dichas categoras en dichas categoras
Descarga de JCR
Si queremos recopilar sistemticamente
todos los indicadores J CR; FECYT ofrece ;
los listados de impactos en formato excel
desde 2002 desde 2002
http://www.accesowok.fecyt.es/news/2007/
20070709 html 20070709.html
Prctica
Cul fue el factor de impacto de la revista
J AMA-J OURNAL OF THE AMERICAN
MEDICAL ASSOCIATION en 2008?
Cul es la revista con mayor impacto de Cul es la revista con mayor impacto de
la categora Allergy?
En qu cuartil se sita la revista El
profesional de la Informacin en 2008? profesional de la Informacin en 2008?
Essential Science Indicators (ESI)
http://www.accesowok.fecyt.es/esi/ http://www.accesowok.fecyt.es/esi/
Indicadores a nivel macro de produccin y citacin
Nos proporciona n marco comparati o podemos Nos proporciona un marco comparativo; podemos
confrontar los registros de un investigador o
institucin con reas / pases etc institucin con reas / pases, etc
Papers ms citados
Evolucin anual
Rnking de paises para la categora
Prctica
Qu posicin ocupa Espaa en nmero total
de citas en el rea de Matemticas?
En qu percentil de la distribucin se
encuentra un autor del rea de Ciencia de
Materiales que public un trabajo en 2004 y que
ha recibido 13 citas hasta la fecha de hoy?
Cul es el nmero mnimo de citas que
necesita un autor de Psicologa para situarse necesita un autor de Psicologa para situarse
dentro del 1% ms citado en 2007?
La estructuracin del sistema de control y
i i t d l Ci i E
Marco Legal:
seguimiento de la Ciencia en Espaa
g
Ley de Reforma Universitaria 1983
Ley 13/1986 de Fomento y Coordinacin General de la Investigacin Cientfica
y Tcnica (Plan Nacional, CICYT)
S d l l id d d did l f d l Se declara la necesidad de tomar medidas para el fomento de la
productividad del personal investigador
Estudio UAB para el MEC sobre modelo retributivo profesores
universitarios espaoles: universitarios espaoles:
Modelo retributivo estrecho
Buenos salarios profesores que inician su carrera docente y malos para los que
la finalizan la finalizan
Real Decreto 1086/1989 sobre Retribuciones del Profesorado de
Universidad
Introduccin complemento productividad t oducc co pe e to p oduct dad
Introduccin complemento por mritos docentes
Creacin paneles cientficos a iniciativa del MEC para fijar procedimiento
evaluacin:
Evaluacin por pares
Evaluacin individualizada por comits campos cientficos con sus propios
criterios evaluativos
Los organismos evaluadores
N i t l d i i No me interesa la descripcin
administrativa (ministerios )
Evaluacin Ex ante
ANEP, FIS ANEP, FIS
Evaluacin Ex post
Curriculares: ANECA y CNEAI Curriculares: ANECA y CNEAI
Institucionales ANECA
No generan (mucha) informacin de
resultados
La clave
Maduracin de la Ciencia espaola Maduracin de la Ciencia espaola
A partir de 1989, la puesta en marcha de las
evaluaciones de los cientficos evaluaciones de los cientficos
Se valorarn preferentemente las
aportaciones que sean artculos en revistas aportaciones que sean artculos en revistas
de prestigio reconocido, aceptndose como
tales las que ocupen posiciones relevantes tales las que ocupen posiciones relevantes
en los listados por mbitos cientficos en el
Subject Category Listing del Journal Citation j g y g
Reports del Science Citation Index (Institute
of Scientific Information, Philadelphia, PA,
USA) BOE 20-11-96
Un estudio de caso
Ciencias del Suelo y Geofarmacia. (RNM127)
Hasta los 90: Estudios descriptivos de suelos Andaluca Oriental,
atlas de suelos
Publicaciones: Ars Pharmaceutica, Revista de Edafologa y , g y
Agroqumica
Primera evaluacin: tramos denegados, no financiacin
ltima dcada: Entisoles en suelos pobremente desarrollados,
disolucin del cuarzo, Iberulitos
P bli i E J f S il S i (2 t ) Publicaciones: European J of Soil Science (2 en su categora),
Geoderma, Geochimica et Cosmochimica (3 en su categora)
Y para que sirve todo esto?
BIBLIOMETRA EVALUATIVA
TOMA DE DECISIONES
Optimizacin de los recursos econmicos
GESTORES DE LA POLTICA CIENTFICA
Optimizacin de los recursos econmicos
[limitados] destinados a investigacin
Seleccin de los cientficos ms capacitados Seleccin de los cientficos ms capacitados
La institucionalizacin de la
evaluacin en Espaa
L d l Ci i Ley de la Ciencia
Evaluacin Ex ante:
ANEP
FIS FIS
Evaluacin Ex post:
CNEAI CNEAI
ANECA
Agencias autonmicas