Está en la página 1de 12

Datos cuantitativos

La evaluacin cuantitativa de las revistas-e se efectu mediante indicadores cibermtricos, que


aportan medidas de tres tipos: descriptivas de las sedes web, de visibilidad e impacto y de popularidad.
Las herramientas utilizadas han sido:
Bases de datos del ISI Web of knowledge mediante su servicio Cited references se estudi el
nmero de veces que una aportacin cientfica es citada en los artculos posteriores, como medida del
impacto que un trabajo ha tenido sobre la comunidad cientfica especializada.
Motores de bsqueda y sus aplicaciones web, que permiten averiguar, por ejemplo, el vecindario
hipertextual, es decir, la relacin de las revistas con otros recursos digitales y sus patrones ms
habituales. Se perciben conductas que no se detectaran mediante el anlisis independiente de la web de
la revista. Los motores utilizados han sido Google Yahoo! Search y MSN Search, junto con otros
servicios como Google Scholar PageRank, etc. Se han utilizado delimitadores o comandos para la
obtencin de informacin de la visibilidad hipertextual (slo con Yahoo! Search y MSN Search pues
Google no proporciona valores de enlaces a dominios) y sobre popularidad (Alexa).
Mapeadores: Xenus Link Sleuth para generar informes cuantitativos de los objetos informticos
que componen la sede web.

Datos cualitativos
Se tuvieron en cuenta criterios de arquitectura de la informacin, como la actividad dedicada a
disear la organizacin, indexado, etiquetado y sistemas de navegacin necesarios para la bsqueda y
localizacin de todo sitio web. En este estudio se han englobado todos estos trminos bajo el epgrafe de
arquitectura de la informacin.
La conexin entre la extraccin de la informacin deseada y los indicadores cualitativos necesarios
origin la metodologa empleada, que se someti a los criterios de estudio de la usabilidad por
inspeccin, es decir, la evaluacin heurstica, que fue definida por Nielsen como la inspeccin
sistemtica del diseo de vista del usuario. Su propsito es encontrar los problemas de usabilidad en el
diseo como una parte del proceso de diseo interactivo.
La cantidad de informacin que ofrece una web podra ser un indicador de su calidad.

Se ha caracterizado cada uno en niveles como mximo, para poderlos cuantificar:

Indicadores de contenido
Se estableci que la cantidad de informacin que ofrece una sede web podra ser un indicador de su
calidad y as lo apoyan y lo premian las polticas europeas, como en el caso de eContent Los
indicadores que se establecieron para evaluar el contenido de las revistas electrnicas son los siguientes:
Autora de los artculos, estableciendo diferentes niveles de exhaustividad. Es importante
conocer este dato, as como la afiliacin institucional del autor, informacin de contacto o su
currculum personal.

Formato de los artculos. Html, que es el caracterstico de la web, facilita la visualizacin en


la pantalla, pero puede presentar dificultades cuando se trata de guardar o de imprimir el
texto. Otros, por el contrario, resultan ms fciles para el acceso a la informacin desde un
punto de vista prctico y enriquecen el acceso del usuario a la revista deseada. Es el caso del
pdf, que permite una gran calidad de impresin.
Publicacin diferida: los perodos de publicacin en internet deben estar slo
condicionados por el trmite que conlleva el envo de su artculo y su revisin, no debe
necesitar plazos fijos para cerrar la edicin de un nmero.
Internacionalizacin: adems de las implicaciones puramente lingsticas, el idioma
constituye tambin un factor de importancia en relacin con la accesibilidad del sitio que
contiene el texto, puesto que recientemente se ha comprobado que los motores de bsqueda
presentan claros sesgos idiomticos, particularmente positivos en el caso del ingls. Se ha
demostrado que el uso del ingls hace que la informacin que lo utiliza resulte ms visible
tanto para el usuario, como para el motor de bsqueda que lo indexa.

Indicadores formales
Accesibilidad: en la evaluacin de la adecuacin o no de las directrices de
accesibilidad establecidas por el W3C se utiliz una herramienta online, TAW, que
sigue las directrices de accesibilidad y est avalada por el Ministerio de Industria,
Turismo y Comercio
Direccin de la web: la url debe identificar explcitamente la sede web que nombra y
esto depende de la profundidad de la direccin url y del tipo que sea.
Estructura de la sede web: el nivel valorado ha sido el que establece una estructura
jerrquica o en rbol, por ser la ms usual y la ms correcta, al facilitar la navegacin
al usuario.
Estadsticas de uso: aportan informacin sobre cantidad de visitantes, visitas, pginas
vistas, va por la que llegaron los usuarios, palabras clave utilizadas en los
buscadores, las pginas de entrada, de salida, procedencia geogrfica, etc. Estos datos
dan informacin sobre la aceptacin y el impacto de la revista y el posicionamiento
web.

Mencin de responsabilidad de la sede web: es necesario que se identifique el


responsable de sus contenidos y conocer el organismo que avala los artculos y la
autora de la sede.
Especificacin de modelo de licencia de la propiedad intelectual de los artculos: se
debe aclarar que tipo de licencia ampara la propiedad intelectual de los contenidos. El
modelo habitual en estos momentos es el copyright pero se estn abriendo paso
nuevo tiposcreative commons copyleft open access, etc.

Consistencia en la navegacin: segn Fox Instone (2001) todos los elementos que
requiere una web para navegar deben ser persistentes y comunes dentro de cada sitio.
Se trata de acceder en cualquier momento y del mismo modo a todas las opciones que
existan dentro del sitio web considerado.
Documentos multimedia de apoyo a la investigacin: la presencia de estos
materiales, tales como presentaciones de diapositivas, grabaciones de vdeo,
fotografas, etc., que justifiquen, complementen o amplen la informacin contenida
en los artculos de la publicacin.
Navegabilidad: se analiza si la web posee un buscador, barra de navegacin, mapa
o cualquier otra herramienta que facilite la navegacin y la localizacin de
informacin dentro de la misma.
Contenido semntico del ttulo de la sede web: el uso de ttulos descriptivos es un
elemento importante de la usabilidad (Nielsen, 2005), pues permite a las personas que
visitan una pgina establecer su contexto, guardarla con un nombre apropiado en sus
bookmarks etc. Incluso en algunos motores de bsqueda se le da mucha importancia a
las palabras del ttulo a la hora del posicionamiento (Baeza-Yates Castillo Lpez
2005).
Servicios y contenidos de valor aadido: se han tenido en cuenta determinados
servicios y contenidos de valor aadido que se consideran relevantes para este tipo de
publicacin, como son: informacin complementaria, retroalimentacin, ndices,
alertas o identificadores persistentes.

Indicadores de las sedes web de las revistas-e


Cuantitativos
Productividad

Nmero de artculos por volumen y ao.

Visibilidad en bases de datos

Presencia de los artculos en bases de datos como


ISI Web of knowledge o Google scholar

Visibilidad en motores de
bsqueda
Vecindario hipertextual

Anlisis de la importancia de la web por el PageRank.


Relacin entre las pginas web visitadas por los
usuarios.

Tamao de las sedes web


Visibilidad hipertextual
Cualitativos

Nmero total de pginas de una web y tipos de


formatos utilizados.
Anlisis y comparacin de los datos obtenidos
mediante dos herramientas: Yahoo! Search y MSN
Seach

a) De contenido
Informacin sobre los autores.

Autora de los artculos

Uso de los formatos que permite el medio digital en los


artculos
(pdf,
html,
Anlisis
de etc.).
la inmediatez de la publicacin de los
artculos.
Idioma en el que aparecen los artculos publicados en
las revistas, publicacin en un solo idioma, en varios o
versiones bilinges.

Formato de los artculos


Publicacin diferida
Internacionalizacin
b) Formales
Accesibilidad

Nivel de cumplimiento de las directrices WAI de


accesibilidad en las sedes web.

Direccin de la web

Anlisis de la url, profundidad y dominio propio.

Estructura de la web

Anlisis de la estructura de la url de la sede web;


relacin entre las urls de las diferentes pginas.

Estadsticas de uso
Mencin de responsabilidad de
la sede web
Especicacin del modelo de
licencia de la propiedad
intelectual de los artculos
Documentos multimedia de
apoyo a la investigacin
Navegabilidad
Contenido semntico del ttulo
de la sede web

Utilizacin y publicacin de estadsticas de uso en las


sedes web.
Presencia o no.
Presencia o no.
Presencia de documentos multimedia que apoyen,
justiquen, complementen o amplen la informacin
contenida en los artculos.
Utilizacin de elementos que faciliten la navegacin en
una sede web, como buscadores, barras de navegacin,
mapas,
Empleo etc.
de ttulos descriptivos que permitan establecer
el criterio de la pgina, guardarla en bookmarks, etc.

Servicios y contenidos de valor


aadido

Presencia de informacin de valor aadido,


retroalimentacin, ndices, alertas, identicadores
persistentes, etc.
Tabla 1: Indicadores cuantitativos y cualitativos aplicados a las revistas.

RESULTADOS
Indicadores cuantitativos
Productividad de las revistas: el incremento de las publicaciones que nacen cada ao ha sido
continuado, con pequeas oscilaciones a lo largo de los ltimos aos (figura 1). De cualquier
forma tienen en su mayora una productividad muy baja, con un nmero de artculos muy
reducido por ao, el 25% tiene una productividad de entre 0 y 5. En el otro lado est el 2,14%
de las revistas que tiene una produccin muy alta. Esto supone una gran dispersin de los
datos de productividad, la moda del nmero de artculos por revista est entre 26 y 40, en un
30% de las revistas analizadas.

Vecindario: se analiz el patrn de visitas de una web para comprobar qu pginas visitan los
usuarios de las revistas electrnicas que se estaban analizando y observar las relaciones entre
sedes. Se han diferenciado 4 tipos de relaciones: dependencia institucional, temtica, lingstica
y tipologa documental. La relacin ms comn es la lingstica, seguida por la temtica (figura
2).

Tamao de la web: la mayora de las revistas estudiadas (59%) contienen menos de 100 pginas
en su sede, slo un 4% tiene ms de 1.000. La gran mayora (74%) se encuentra en html, mientras
que nicamente un 26% de ellas son visibles en formatos ricos, bsicamente en pdf.
Visibilidad hipertextual: consiste en el nmero de enlaces recibidos por una web, lo que se
interpreta como una medida de impacto. El hecho de que una web sea enlazada por otra se
entiende, en trminos de cita hipertextual, que es similar a la cita bibliogrfica en literatura
impresa, por lo que este dato es de gran importancia a la hora de analizar el impacto del contenido
de una revista electrnica. En este caso se han utilizado tanto Yahoo! Search
MSN Search
(tabla 2).En la tabla se recogen las 10 revistas ms enlazadas, ordenadas de forma descendente por
la suma de los parmetros que proporcionan los dos buscadores empleados. En primer lugar
aparece Espculo, que est situada muy arriba de la tabla por ambos, sin embargo, hay revistas
que estn muy bien situadas en uno y muy mal en el otro.
Ttulo de la revista

Yahoo!

MSN

Espculo

1.648

1.129

Boletn CF+S: ciudades para


un futuro ms sostenible

1.968

10

Hipertext.net

1.195

520

Lamusa

170

1.245

Medio ambiente & derecho

433

789

400

382

380

363

388

333

Anglogermnica online

45

556

Lemir: Literatura espaola


medieval y del renacimiento

88

417

Interactive educational
multimedia
Revista latina de
comunicacin social
Relieve: revista electrnica
de investigacin y evaluacin
educativa

Tabla 2: Ranking con las 10 revistas con mayor visibilidad hipertextual

Indicadores cualitativos
Indicadores de contenido
Autora de los artculos: el 75% de los trabajos analizados nicamente indican el nombre de los autores
y algn otro dato de localizacin de los mismos. Tan slo un 7% de las revistas electrnicas aporta otros
datos de identificacin, de contacto o un breve currculum vitae de los autores (figura 3).

Formato de los artculos: el 16% de las publicaciones tiene acceso a los documentos
exclusivamente en html. El 50% de las revistas tienen sus artculos accesibles nicamente en
formatos ricos, generalmente en pdf. Tan slo un 34% permite elegir a los usuarios entre
formatos ricos y html.
Multilingsmo: el 8% de las revistas analizadas posee versiones completas de al menos una
tercera parte los documentos en otros idiomas, excepto en ingls. Y tan slo un 9% contiene
una versin en ingls de los documentos a texto completo (figura 4).

Indicadores formales

Direccin de la sede web: nicamente un 6% de las revistas-e posee un dominio propio, lo cual
facilita su localizacin y su visibilidad. Un dato muy negativo es el hecho de que la mayora de
las revistas, un 58%, tiene una direccin con dos o ms niveles, lo que repercute en la visibilidad
de las mismas (figura 5).

Mencin de responsabilidad de la sede web: en el 39% de los casos aparece en la pgina de


inicio, en el
41% es visible desde cualquier pgina y en el 19% no se encuentra
Especificacin del modelo de licencia de la propiedad intelectual de los artculos: se indica en el
44% de las revistas, siendo el ms habitual el copyright
Consistencia en la navegacin: un 41% de las revistas presenta un diseo lgico y consistente
que fa- cilita la navegacin a travs de su contenido. El 33% muestran un diseo coherente que
aparece a lo largo de toda la sede web, de modo que se consigue una homogeneidad que facilita
su uso. Finalmente, un 26% acusa un diseo carente de consistencia (figura 6).

Documentos multimedia de apoyo a la investigacin: la gran mayora de los casos, un 95%, no los
utiliza, pese a que el entorno digital favorece su uso.
Navegabilidad: El 76% de las revistas cuentan con la existencia de, al menos, un elemento que facilite la
navegabilidad, ya sea un men categorizado, una barra de navegacin, un motor de bsqueda o cualquier
otra utilidad. El 24% carece de todo dispositivo a tal efecto.
pg. 8

RECOMENDACIONES

pg. 9

Utilizar documentos multimedia de apoyo a la investigacin.


Contar con un elemento que facilite la navegabilidad, por ejemplo un men
categorizado, una barra de navegacin, un motor de bsqueda o cualquier otra
utilidad.
Utilizar contenido semntico del ttulo de la sede web.
Presentar un diseo lgico y consistente que facilite la navegacin a travs de
su contenido.
Indicar el nombre de los autores y algn otro dato de localizacin de los
mismos
Las revistas analizadas deben poseer versiones completas en otros idiomas
Revisar constatemente las estadsticas para poder seguir implementanto
algunos indicadores.

DISCUSIN Y CONCLUSIONES
Un primer anlisis de las revistas muestra unos resultados con un patrn difuso, debido posiblemente
al bajo tamao de la poblacin, pero que es coherente con lo que cabra esperar. Destacan las
universidades madrileas, catalanas, andaluzas y valencianas, son ms productivas las pblicas que las
privadas, y la contribucin de las politcnicas y las de enseanza a distancia es reducida.
Temticamente, las humanidades y las ciencias sociales explotan especialmente la web como canal de
comunicacin, destacando el nmero de ttulos de pedagoga, lingstica y derecho.
El estudio del impacto y la visibilidad de la literatura cientfica muestra que son muy pocas las
revistas analizadas que han sido citadas por las bases de datos Thomson ISI, lo que da una medida
clara del poco impacto que tienen todava las revistas electrnicas en general, y las editadas por las
universidades espaolas en particular.
El anlisis del patrn de visitas de los usuarios confirma que el acceso a la informacin en internet se
realiza mayoritariamente a travs de motores de bsqueda. Utilizando buscadores especializados las
relaciones temticas y lingsticas generadas a partir de patrones de visita se correlacionan con los
resultados de bsquedas temticas en los motores de bsqueda.
En los datos cuantitativos sobre las caractersticas principales de las webs, como pueden ser su
tamao (nmero y tipologa de los objetos informticos y documentales), riqueza hipertextual (enlaces y
su distri- bucin), etc., destaca el pequeo tamao en nmero de pginas que contienen. Tambin
muestran una escasa proporcin de archivos en formatos ricos o documentos multimedia, que facilitan el
acceso a la informacin desde un punto de vista prctico (unidades documentales), y que enriquecen y
complementan el acceso del usuario a la informacin.
Uno de los aspectos negativos son los graves problemas formales de las sedes web, que redundan en
la baja visibilidad y que dificultan de forma considerable el acceso a los contenidos de las revistas
electrnicas tanto de los usuarios finales como de los robots de los motores de bsqueda. Muchas sedes
tienen direcciones complejas, con urls excesivamente largas y/o poco descriptivas, los mecanismos de
pg. 10

navegacin son confusos o incluso opacos a los motores, y en bastantes casos las estructuras no son
jerrquicas. La responsabilidad ltima de este aspecto podra corresponder a las propias universidades e
indica la falta de un compromiso claro de las mismas hacia la edicin de revistas especficamente
electrnicas.
Las sedes analizadas no cumplen en su mayora con ninguno de los criterios de accesibilidad. La
falta de una adecuacin generalizada a las directrices recogidas explcitamente en la legislacin vigente,
perjudica el acceso a la informacin.
Otros aspectos formales tambin aparecen descuidados, a veces como resultado de la mera
transposicin de las normas habituales en papel, que resultan insuficientes cuando no pobres en el
entorno electrnico. La ausencia de enlaces a pginas personales en la autora, la dilacin innecesaria
para cumplir periodicidades, la no disponibilidad de versiones en formatos alternativos o en otros
idiomas o la falta de acceso a estadsticas de conTsumo son algunos de los ms destacados.
En trminos generales se puede indicar que la cantidad de revistas electrnicas universitarias
espaolas es baja y, salvo contadas excepciones, no forma parte del eje central de la comunicacin
cientfica en nuestro pas. Ello resulta paradjico ya que los datos muestran un impacto destacable en la
web de los ttulos electrnicos, debido a su mayor audiencia potencial como a las novedosas
posibilidades que ofrece el soporte. Lamentablemente la adopcin de dichas innovaciones, tanto
formales como de contenido, no se ha generalizado entre los ttulos estudiados.

BIBLIOGRAFA
Baeza-Yates, R. Rivera, C. Velasco, J. Arquitectura y usabilidad en la web. En: El profesional de la
informacin, 2004, v. 13, n. 3, pp. 168-178.
Codina, L. Parmetros e indicadores de calidad para la evaluacin de re- cursos digitales. En: 7as
Jornadas espaolas de documentacin 2000, pp.135-144.
Fecyt Libro blanco e-Ciencia en Espaa 2004. Consultado en: 15-05-06.
http://www.fecyt.es/documentos/e-Ciencia.pdf
Hitchcock, S. Carr, L. Hall, W. Making the most of electronic journals,
1998. Consultado en: 23-05-06.
http://xxx.lanl.gov/html/cs.DL/9812016
Laboratorio de internet. Webometrics ranking of world universities Con- sultado en: 01-05-06.
http://www.webometrics.info/

pg. 11