Deep Web

Estrategias y mecanismos de bsqueda en la web invisible

Pilar Mara Moreno Jimnez
Mayo, 2003. ltima actualizacin: mayo, 2005.
Resumen
Se denomina web invisible o profunda a la informacin que no puede recuperarse con los mecanismos
de bsqueda comunes. Estos mecanismos tratan de abarcar toda la web, pero se calcula que los
mayores motores de bsqueda alcanzan a indizar slo entre un tercio y la mitad de los documentos
disponibles. La web invisible no slo es de mayor tamao que la web visible o superficial sino que
crece a mayor velocidad. Asimismo, mucha informacin disponible en la web profunda, como la que se
encuentra en bases de datos, tiene un alto valor potencial para el usuario.
La multiplicidad de mecanismos de rastreo, indizacin, recuperacin y organizacin de documentos en
la web puede causar confusin al usuario comn. Adems, el nmero de motores de bsqueda, as
como los hbridos resultado de la combinacin de diferentes mecanismos, ha aumentado. Esto hace
necesario clasificar y diferenciar los tipos de herramientas disponibles.
En este documento recomiendo algunas estrategias tiles para la bsqueda en la web y presento una
compilacin de recursos de bsqueda en la web invisible o profunda.
Tabla de contenido
Introduccin
1. Mecanismos de bsqueda en la web
Buscadores
Metabuscadores
Directorios
Guas
Tutoriales
Software especializado
2. Estrategias de bsqueda en la web
Estrategias generales
Seleccin de herramientas
Objetivo de la bsqueda
Forma de bsqueda
Especializacin de la bsqueda
file:///C|/Documents%20and%20Settings/edudist/Es...%20de%20bsqueda%20en%20la%20web%20invisible.htm (1 de 21)04/12/2006 01:53:57 p.m.
Precisin de la bsqueda
Mucha informacin recuperada
Seleccin de recursos
Poca informacin recuperada
3. Caracterizacin de la web invisible o profunda
La web opaca
La web privada
La web propietaria
La web realmente invisible
4. Herramientas de bsqueda en la web profunda
Buscadores
Metabuscadores
Directorios
Guas
Tutoriales
Motores avanzados
5. Estrategias de bsqueda en la web profunda
Informacin especializada
Bsquedas avanzadas
Evaluacin de la informacin
Informacin en bases de datos
6. Compilacin de recursos de bsqueda en la web profunda
Recursos de bsqueda ordenados alfabticamente

Recursos de bsqueda ordenados por tipo de recurso
7. Qu tan invisible es hoy la web invisible?
La web opaca
La web privada
La web propietaria
8. Bibliografa
Introduccin
El trmino web invisible fue utilizado por primera vez por la Dra. Jill Ellsworth para
denominar la informacin que resultaba invisible para las maquinarias de bsqueda
convencionales en la web (Ellsworth, 1995). Tambin se la denomina web profunda (deep

web), por oposicin a la web superficial (surface web) cuya informacin puede recuperarse
con los buscadores de Internet (Bergman, 2000). Un buscador es un sitio web cuyo propsito
principal consiste en que el pblico pueda encontrar informacin. Estos mecanismos y el
software que los apoya tratan de indizar toda la web, por lo que generan y mantienen enormes
bases de datos recuperables. A pesar de su pretendida exhaustividad, se calcula que los
mayores motores de bsqueda indizan slo entre un tercio y la mitad de los documentos
disponibles al pblico en la Red (Turner, 2003). Un estudio muy citado de Bright Planet ha
estimado que la informacin contenida en la web invisible es aproximadamente 550 veces
mayor que la de la web superficial y crece a mucha mayor velocidad (Bergman, 2000). Un
estudio posterior de Cyveillance calcula que el tamao de la web profunda es 275 veces mayor
que el de la web visible (Murray, 2000, citado en Ouf, 2001). Estimaciones posteriores, en
cambio, sealan que el tamao de la web invisible es slo entre 2 y 50 veces mayor que el de
la web visible (Sherman y Price, 2001b). Las diferencias en las cifras se deben a las diferentes
metodologas utilizadas por los autores. En cualquier caso, el valor de la informacin
contenida en la llamada web profunda justifica su estudio y el de sus formas de acceso.
1. Mecanismos de bsqueda en la web
La multiplicidad de trminos con que se alude a los mecanismos de rastreo, indizacin,
recuperacin y organizacin de documentos en la web puede causar confusin al usuario
comn. Lo cierto es que cada herramienta de bsqueda funciona y tiene un propsito y alcance
diferentes, pero cada vez ms las diferentes herramientas se combinan dando lugar a hbridos,
que pueden dificultar la comprensin del funcionamiento interno de estos mecanismos. Una
dificultad adicional es el nmero creciente de mecanismos disponibles, lo que hace an ms
necesario clasificarlos y diferenciarlos.
Buscadores
A los softwares que usan los llamados buscadores, motores o maquinarias de bsqueda (search
engines) para localizar pginas agregables a sus bases de datos tambin se les denomina
indistintamente araas (spiders), rastreadores (crawlers) o robots (en el contexto web).
Estos rastrean e indizan de forma automtica pginas web, as como todos los documentos
referenciados en ellas. Los buscadores tambin aaden a sus bases de datos las pginas de
cuya existencia son informados directamente por sus autores, as como los documentos
referenciados en las mismas. Los buscadores presentan interfaces para el pblico, que
consisten en cuadros donde realizar bsquedas de forma sencilla. Altavista, Ask Jeeves y
Google, entre otros, son buscadores.
Los buscadores arrojan resultados sobre las bsquedas realizadas en sus propios ndices y no
sobre la web directamente. Esto ltimo sera imposible debido al volumen de informacin y al
tiempo requerido para realizar la bsqueda. El rastreo de pginas web que efectan los robots
se realiza con periodicidad variable y, por economa, tiende a no ser muy frecuente. Por ello,
siempre existe una diferencia entre lo que pueden recuperar los buscadores y lo que realmente
se encuentra en la web.
Aparte del volumen y frecuencia de indizacin de documentos, la diferencia ms notoria entre
los buscadores es su frmula para calcular la relevancia de la informacin recuperada y
ordenar as su presentacin. Algunos buscadores se basan en un anlisis estadstico de

frecuencia de palabras en el texto, otros en el anlisis de la frecuencia con que las pginas
estn ligadas a otras. En algunos casos, los buscadores muestran los resultados indicando el
grado de relevancia de cada documento, mediante signos como estrellas, o bien con
porcentajes.
Un estudio del 2000 (Notess, citado por Sherman y Price, 2001b) demostr que existe poco
solapamiento entre buscadores, lo cual tal vez justifica su proliferacin, ya que cada uno va
cubriendo diferentes reas del espacio web, sin que por ahora sea posible tcnicamente que
ninguno sea exhaustivo.
Metabuscadores
Los metabuscadores (metasearch engines) son servidores web que realizan bsquedas en
muchos buscadores y/o directorios y presentan un resumen de los resultados, eliminando
duplicaciones. Los metabuscadores no se sirven de robots, sino que van a buscar directamente
a los ndices de cada buscador. Dogpile, Mamma, Metacrawler o InfoSpace son ejemplos de
metabuscadores.
Los metabuscadores, al igual que los buscadores, suelen presentar los resultados ordenados por
relevancia y muchas veces indican de qu buscadores especficos se ha recuperado cada
documento.
Una limitacin de los metabuscadores es que no suelen presentar opciones de bsqueda
avanzada, con lo cual se sacrifica la precisin en los resultados de las bsquedas.
Existen sitios web concentradores de buscadores y/o directorios, donde es posible realizar
bsquedas sucesivas en varios de ellos, seleccionndolos de listas preestablecidas. A veces, en
estos directorios los buscadores y/o directorios se encuentran clasificados por especialidad o
cobertura geogrfica. En otros casos, como en Metasearch por ejemplo, existe un mecanismo
que "traduce" la frmula de bsqueda y permite realizar bsquedas sucesivas en varios
buscadores y/o directorios.
Directorios
Los directorios (directories) son organizados manualmente a partir del registro de pginas por
parte de sus autores e implican una seleccin editorial y un proceso de categorizacin
jerarquizada. LookSmart y Yahoo! son algunos de los directorios ms conocidos.
Muchos directorios se especializan en un conjunto especfico de recursos, los cuales
generalmente son cuidadosamente seleccionados y descritos por los editores. Los editores de
un directorio pueden ser empleados por la empresa que lo realiza y entonces hablamos de un
modelo cerrado (closed model directories), que implica un mayor costo, pero tambin un
mayor grado de calidad. Si los editores del directorio son voluntarios, entonces se habla de un
modelo abierto (open model directories), lo que significa un costo y calidad inferiores. Los
criterios de seleccin de recursos pueden ser explcitos o no, y variar segn los editores,
especialmente en los modelos abiertos.
Las categoras en las que se organiza el directorio pueden tener un nmero variable de recursos
asociados, con lo cual algunas veces unas categoras resultan saturadas y otras muy poco
representadas. En ocasiones, razones como la falta de tiempo, conocimientos o habilidades de
los editores, limitan la cobertura de los directorios. Por otro lado, la poltica de solicitar un
cargo por incluir pginas, que han adoptado algunos directorios, puede desalentar la inclusin
de recursos potencialmente valiosos.

En cuanto a la actualizacin, como el mantenimiento del directorio debe ser manual, la
verificacin de ligas puede realizarse tan frecuentemente como se quiera, aunque esto no
siempre sucede.
Muchos buscadores web incluyen un sistema de navegacin en forma de directorio para
orientar la bsqueda de recursos en sus bases de datos. Por otro lado, debido a que la mayora
de los directorios tienen un tamao relativamente reducido, algunos directorios complementan
sus resultados con los de una bsqueda en algn buscador. Algunos sitios incluyen dos
opciones de bsqueda, en directorios compilados manualmente, o bien en buscadores que se
sirven de robots.
Frecuentemente los directorios tambin son denominados maquinarias de bsqueda (search
engines). Pero es importante distinguir entre los mecanismos que son buscadores y los que
son directorios, ya que, como hemos visto, se conforman y funcionan de manera diferente. As,
las formas de bsqueda ms eficientes varan en unos y otros. Mientras que la bsqueda por
palabras es ms adecuada en los buscadores, la navegacin es ms recomendable en los
directorios. Derivado de ello, las bsquedas en las categoras de un directorio elaborado para
un buscador, o las bsquedas por palabras en un directorio, presentarn ciertas limitaciones.
Por ejemplo, si se busca por palabras en un directorio, stas se extraern del ndice de ligas
(links) y anotaciones a esas ligas, que bsicamente componen el directorio y que excluyen el
texto completo de las pginas referenciadas, a diferencia de los buscadores.
Guas
Diversos especialistas y entidades acadmicas se dan a la tarea de elaborar y mantener pginas
concentradoras de recursos web seleccionados por reas de especialidad, a modo de directorios
anotados o guas temticas (subject guides), que pueden contener recursos que no son
recuperables con un buscador comn. Estos directorios anotados o guas temticas suelen tener
un alto grado de calidad, ya que comprometen el prestigio de los autores e instituciones
involucradas. La seleccin de recursos suele ser muy cuidadosa y su actualizacin frecuente.
En ocasiones diversas instituciones se asocian formando circuitos (web rings) para la
elaboracin cooperativa de estas guas, dividindose cada una de las partes. Un buen ejemplo
de ello es The WWW Virtual Library.
Los directorios anotados o guas pueden incluir, adems, algn mecanismo de bsqueda en sus
pginas o en la web en general.
Tutoriales
Comnmente no basta con conocer la variedad de herramientas de bsqueda disponibles en la
web, sino que se requiere una orientacin sobre su funcionamiento, sobre qu estrategias
seguir para trazar una adecuada ruta de bsqueda y sobre cmo elegir los mejores instrumentos
para cada necesidad.
How to Choose a Search Engine or Directory de la Universidad de Albany en Estados Unidos
y las guas de SearchAbility y de la Universidad de Leiden en Holanda A Collection of Special
Search Engines, orientan al usuario en el amplio mundo tanto de los recursos especializados en
la web como de las maquinarias que permiten su localizacin.
Software especializado
Los agentes auxiliares para las bsquedas en la web son un tipo de programas que operan junto
con los navegadores web y aaden funcionalidades a stos, como el manejo de conceptos, en
lugar de palabras, para recuperar informacin. Flyswat, Kenjin y Zapper son algunos de estos
programas. Otros agentes residen en el cliente web y permiten, por ejemplo, realizar
bsquedas simultneas en varios buscadores, eliminar las ligas muertas (dead links), refinar los
resultados de las bsquedas o acceder a algunos sitios de la web invisible. Copernic, por
ejemplo, es uno de estos agentes.
2. Estrategias de bsqueda en la web
Muchas veces, resulta tan frustrante no encontrar informacin en la web, como confuso
disponer de demasiadas opciones de bsqueda y no saber cmo emprenderla.
A continuacin presento algunas estrategias generales que deben tenerse en cuenta para
utilizar las diferentes herramientas de bsqueda en la web de forma ms rpida y eficiente. Los
rubros bajo los cuales aparecen son orientativos.
Estrategias generales
Usar varios recursos de bsqueda, y no ceirse a uno exclusivamente para todos los tipos
de bsqueda.
Elaborar y mantener una lista propia de buscadores, metabuscadores, directorios, guas y
recursos ms tiles. Guardar la seleccin en un archivo de Favoritos (bookmarks) en nuestra
computadora y/o en un servicio de acceso remoto a favoritos que permita consultar el
archivo desde cualquier computadora con acceso a la web, como Backflip.
Consultar a los bibliotecarios para recibir orientacin sobre estrategias de bsqueda y
localizacin de recursos de informacin en la web, y para obtener documentos.
Seleccin de herramientas
Usar los tutoriales para aprender a seleccionar y utilizar las diferentes herramientas de
bsqueda.
Objetivo de la bsqueda
Usar buscadores o metabuscadores para localizar informacin de la que poseemos datos
especficos.
Usar directorios o guas para explorar reas de inters temtico.
Forma de bsqueda
Usar buscadores o metabuscadores para realizar bsquedas por palabras.
Usar directorios o guas para revisar por categoras.
Especializacin de la bsqueda
Usar metabuscadores para realizar bsquedas generales en muchos buscadores a la vez.
Usar los concentradores o directorios de buscadores para buscar en varios buscadores
especializados.
Precisin de la bsqueda
Seleccionar e instalar en nuestra computadora la versin gratuita de algn motor
avanzado o agente auxiliar para las bsquedas en la web.
Solicitar la adquisicin para uso institucional de la versin completa de algn motor
avanzado o agente auxiliar para las bsquedas en la web.
Mucha informacin recuperada
Usar buscadores con opciones avanzadas de bsqueda.

Usar directorios anotados o guas.
Seleccin de recursos
Usar las guas temticas para conocer los principales recursos de informacin que cubren
nuestros intereses.
Usar directorios especializados para bsquedas exhaustivas de recursos.
Poca informacin recuperada
Usar mecanismos de bsqueda en la web invisible cuando se hayan agotado los
mecanismos de bsqueda en la web superficial.
Consultar a especialistas que conozcan recursos especializados.
Buscar en recursos adicionales si no se encuentra el material en la web.
3. Caracterizacin de la web invisible o profunda
Sherman y Price (2001a) identifican cuatro tipos de contenidos invisibles en la web: la web
opaca (the opaque web), la web privada (the private web), la web propietaria (the proprietary
web) y la web realmente invisible (the truly invisible web).
La web opaca
Se compone de archivos que podran estar incluidos en los ndices de los motores de bsqueda,
pero no lo estn por alguna de estas razones:
Extensin de la indizacin: por economa, no todas las pginas de un sitio son indizadas
en los buscadores.
Frecuencia de la indizacin: los motores de bsqueda no tienen la capacidad de indizar
todas las pginas existentes; diariamente se aaden, modifican o desaparecen muchas y la
indizacin no se realiza al mismo ritmo.
Nmero mximo de resultados visibles: aunque los motores de bsqueda arrojan a veces
un gran nmero de resultados de bsqueda, generalmente limitan el nmero de documentos
que se muestran (entre 200 y 1000 documentos).
URLs desconectados: las generaciones ms recientes de buscadores, como Google,
presentan los documentos por relevancia basada en el nmero de veces que aparecen
referenciados o ligados en otros. Si un documento no tiene una liga en otro documento ser
imposible que la pgina sea descubierta, pues no habr sido indizada.
La web privada
Consiste en las pginas web que podran estar indizadas en los motores de bsqueda pero son
excluidas deliberadamente por alguna de estas causas:
Las pginas estn protegidas por contraseas (passwords).
Contienen un archivo robots.txt para evitar ser indizadas.
Contienen un campo noindex para evitar que el buscador indice la parte
correspondiente al cuerpo de la pgina.
La web propietaria
Incluye aquellas pginas en las que es necesario registrarse para tener acceso al contenido, ya
sea de forma gratuita o pagada. Se dice que al menos 95% de la web profunda contiene
informacin de acceso pblico y gratuito (Turner, 2003)
Se compone de pginas que no pueden ser indizadas por limitaciones tcnicas de los
buscadores, como las siguientes:
Pginas web que incluyen formatos como PDF, PostScript, Flash, Shockwave, programas
ejecutables y archivos comprimidos.
Pginas generadas dinmicamente, es decir, que se generan a partir de datos que
introduce el usuario.
Informacin almacenada en bases de datos relacionales, que no puede ser extrada a
menos que se realice una peticin especfica. Otra dificultad consiste en la variable estructura
y diseo de las bases de datos, as como en los diferentes procedimientos de bsqueda.
4. Herramientas de bsqueda en la web profunda
Buscadores
En general, los buscadores han mejorado su desempeo en los ltimos aos, permitiendo un
mayor nivel de precisin en las bsquedas y ofreciendo los resultados en formas cada vez ms
convenientes para el usuario.
Pero por ahora, los buscadores comunes slo pueden recuperar directamente la informacin
que se encuentra disponible en la web y no aquella que se ofrece a travs de la web.
Desde que se empez a hablar de la web invisible los buscadores comunes han aadido
funcionalidades adicionales para la bsqueda en la llamada web profunda y han surgido
buscadores especializados en ese segmento de la web. Estos ltimos permiten la bsqueda
directa de artculos y documentos en texto completo y recuperan archivos PDF o PostScript.
Metabuscadores
Como hemos visto, los metabuscadores pueden presentar limitaciones respecto a las
posibilidades de bsqueda de cada buscador por separado. Por ejemplo, cuando la bsqueda es
sobre materiales o formatos especiales, resulta ms prctico sacar provecho de las opciones
avanzadas de bsqueda de los buscadores y, si es necesario, realizar bsquedas sucesivas en
varios de ellos. En este sentido, son ms recomendables los directorios concentradores de
buscadores.
Directorios
La mayora de los mecanismos que se usan para localizar recursos en la web profunda
consisten en directorios de recursos especializados, principalmente bases de datos disponibles
de forma gratuita en la red. El patrocinio de las instituciones acadmicas en la elaboracin de
los directorios, particularmente de los que son anotados, garantiza la cobertura y calidad de los
recursos compilados.
Guas
Las guas de recursos especializados generalmente estn elaboradas por bibliotecarios y son
una excelente herramienta de bsqueda y localizacin de recursos, adems de constituir un
buen instrumento de aprendizaje en el uso de la informacin.
Tutoriales
Las pginas ya mencionadas How to Choose a Search Engine or Directory de la Universidad
de Albany en Estados Unidos y las guas de SearchAbility y de la Universidad de Leiden en
Holanda A Collection of Special Search Engines incluyen los recursos de informacin y
bsqueda en la web profunda.

Motores avanzados
Finalmente, los recientes motores de pregunta dirigida (directed query engines) tienen la
capacidad de realizar bsquedas simultneas en varias bases de datos en la web. Lexibot y su
sucesor, Deep Query Manager, as como Distributed Explorer (Warnick y otros, 2001) y
FeedPoint, son ejemplos de estos motores avanzados de bsqueda.
5. Estrategias de bsqueda en la web profunda
Adems de las estrategias ya sealadas para la bsqueda en la web, podemos aadir otras
especficas para la bsqueda en la web profunda o invisible, agrupadas en rubros orientativos.
Informacin especializada
Usar las herramientas de bsqueda en la web profunda si buscamos informacin
acadmica de calidad.
Usar buscadores regionales especializados para localizar informacin originada fuera de
los Estados Unidos o en idiomas diferentes al ingls.
Usar metabuscadores para realizar bsquedas en varios buscadores especializados a la
vez.
Bsquedas avanzadas
Usar las opciones avanzadas de los buscadores para localizar imgenes o archivos PDF o
PostScript.
Usar directorios concentradores de buscadores para realizar bsquedas avanzadas
sucesivas en varios de ellos.
Evaluacin de la informacin
Usar directorios anotados para evaluar si los recursos disponibles en la web profunda son
tiles para la bsqueda que estamos realizando.
Usar directorios de bases de datos para conocer cules de ellas pueden ofrecernos
informacin til para nuestras bsquedas.
Informacin en bases de datos
Usar guas, directorios o motores avanzados si la informacin que buscamos puede estar
en una base de datos.
6. Compilacin de recursos de bsqueda en la web profunda
A continuacin presentar una compilacin de recursos de bsqueda en la web profunda, que
considero que pueden ser de utilidad para los usuarios acadmicos universitarios. Dada la
importancia de distinguir entre tipos de recursos para seleccionar el tipo de bsqueda a
realizar, los presento clasificados segn su funcionalidad, como buscadores, metabuscadores,
directorios, guas y motores avanzados, primero ordenados alfabticamente y luego por tipo.
Recursos de bsqueda en la web profunda

ordenados alfabticamente
Recurso
Tipo
About
http://www.about.com/
Gua
AcademicInfo
http://www.academicinfo.net/
Directorio
AlphaSearch
http://www.alphasearch.org/
Directorio de buscadores
Beaucoup
http://www.beaucoup.com/
The Big Hub

http://www.thebighub.com/
Directorio
iBoogie
http://www.iboogie.tv/
Metabuscador
Collection of Search Engines
http://www.leidenuniv.nl/ub/biv/specials.htm
CompletePlanet
http://www.completeplanet.com/
Directorio
Deep Query Manager (sustituye a Lexibot) Motor avanzado

http://brightplanet.com/news/dqm2.asp
Direct Search
http://www.freepint.com/gary/direct.htm
Directorio
Fazzle
http://www.fazzle.com/
Metabuscador
FeedPoint
http://www.quigo.com/feedpoint.htm
Motor avanzado
Fossick
http://fossick.com/
Metabuscador
HotSheet
http://www.hotsheet.com/
Directorio
IncyWincy
http://www.incywincy.com/
Directorio
Infomine
http://infomine.ucr.edu/
Directorio
InternetInvisible
http://www.internetinvisible.com/
Directorio
file:///C|/Documents%20and%20Settings/edudist/E...20de%20bsqueda%20en%20la%20web%20invisible.htm (10 de 21)04/12/2006 01:53:57 p.m.
Internets
http://www.internets.com/
Directorio
InvisibleWeb.com
http://www.invisibleweb.com/
Directorio
Invisible Web Directory

http://www.invisible-web.net/
Directorio
Ixquick
http://www.ixquick.com/
Metabuscador
Librarians Index
http://lii.org/
Directorio
LibrarySpot
http://www.libraryspot.com/
Gua
Master Link List On the Internet

http://www.web-friend.com/links/
masterlinks.html
Directorio
ProFusion
http://www.profusion.com/
Metabuscador
RefDesk.com
http://refdesk.com/
Directorio
ResearchIndex (CiteSeer)
http://citeseer.nj.nec.com/cs
Buscador
Resource Discovery Network

http://www.rdn.ac.uk/
Directorio anotado
Scirus
http://www.scirus.com/
Buscador
Search.Com
http://www.search.com/
Metabuscador
Search4science
http://www.search4science.com/
Motor avanzado
Strategic Finder
http://www.strategicfinder.com/
Motor avanzado
WebData.com
http://www.webdata.com/
Directorio de bases de datos
Webfile.com
http://webfile.com/
Directorio
WebSearch
http://www.websearch.com.au/
Buscador
Where to Do Research
http://www.wheretodoresearch.com/
Directorio
Recursos de bsqueda en la web profunda

Tipo de recurso
Buscadores
por tipo de recurso

Nombre y direccin del recurso
ResearchIndex (CiteSeer)
http://citeseer.nj.nec.com/cs
Scirus
http://www.scirus.com/
WebSearch
http://www.websearch.com.au/
Metabuscadores
iBoogie
http://www.iboogie.tv/
Fazzle
http://www.fazzle.com/
Fossick
http://fossick.com/
Ixquick
http://www.ixquick.com/
ProFusion
http://www.profusion.com/
Search.Com
http://www.search.com/
Directorios de buscadores
AlphaSearch
http://www.alphasearch.org/
Beaucoup
http://www.beaucoup.com/
Collection of Search Engines
http://www.leidenuniv.nl/ub/biv/specials.htm
Directorios
The Big Hub
http://www.thebighub.com/
CompletePlanet
http://www.completeplanet.com/
Direct Search
http://www.freepint.com/gary/direct.htm
HotSheet
http://www.hotsheet.com/
IncyWincy
http://www.incywincy.com/
Infomine
http://infomine.ucr.edu/
InternetInvisible
http://www.internetinvisible.com/
Internets
http://www.internets.com/
InvisibleWeb.com
http://www.invisibleweb.com/
Invisible Web Directory
http://www.invisible-web.net/
Librarians Index
http://lii.org/
Master Link List On the Internet
http://www.web-friend.com/links/masterlinks.html
RefDesk.com
http://refdesk.com/
Webfile.com
http://webfile.com/
Where to Do Research
http://www.wheretodoresearch.com/
Directorios anotados
AcademicInfo
http://www.academicinfo.net/
Resource Discovery Network
http://www.rdn.ac.uk/
Directorios de bases de datos WebData.com

http://www.webdata.com/
Guas
About
http://www.about.com/
LibrarySpot
http://www.libraryspot.com/
Motores avanzados
Deep Query Manager (sustituye a Lexibot)

http://brightplanet.com/news/dqm2.asp
FeedPoint
http://www.quigo.com/feedpoint.htm
Search4science
http://www.search4science.com/
Strategic Finder
http://www.strategicfinder.com/
7. Qu tan invisible es hoy la web invisible?

La web opaca
No cabe duda de que los actuales buscadores y directorios de la web estn mejorando su
funcionamiento. Ms all de los detalles tcnicos que el pblico no alcanza a ver, la eficiencia
de estas maquinarias ha aumentado y esto se aprecia en los resultados de las bsquedas. A
medida que estas herramientas se vayan haciendo ms poderosas disminuir la necesidad de la
elaboracin manual de guas o concentradores de recursos y quizs ms la de orientacin en
las estrategias de bsqueda y en el uso y aprovechamiento de los recursos localizados.
Un observador cuidadoso puede apreciar que persiste la prctica de los robots de no indizar
todas las pginas de un sitio, fijndose en los resultados de las bsquedas que arrojan las
diferentes herramientas. Por ejemplo, se puede tener la referencia de una base de datos,
disponible a travs de un sitio web, en una de las pginas del sitio que contiene una liga a ella,
y no aparecer, en cambio, la referencia a la pgina de acceso directo a la base de datos en ese
sitio.
La frecuencia de la indizacin puede haber aumentado en algunos buscadores, o incluso
hacerse de forma diferenciada para algunos recursos. Aquellas pginas que, por su naturaleza,
varan ms (por ejemplo, la informacin burstil) seran visitadas ms frecuentemente por los
robots que aquellas que tienden a ser ms estables en su contenido.
El nmero mximo de resultados visibles no es un problema cuando los buscadores presentan
los resultados ordenados por relevancia, pues siempre aparecern primero aquellos que se
ajustan ms a la bsqueda realizada. En la medida en que se pueda realizar una bsqueda
avanzada y los criterios de relevancia combinen el nmero de ligas con la frecuencia de
palabras, la presentacin de los resultados no constituir un obstculo para encontrar la
informacin. El usuario siempre debe tener en cuenta que los buscadores son ms apropiados
cuando la bsqueda es especfica, es decir, se conocen datos sobre lo que se busca; mientras
que es ms adecuado realizar bsquedas temticas en los directorios.
Los URLs desconectados podran evitarse si existiera la obligacin de registrar, aunque fuera
de forma muy sencilla, toda pgina que se colgara en la web. Pero dada la gran
descentralizacin de Internet, esto no parece vislumbrarse en un futuro inmediato.
La web privada
Este segmento de la web no representa una gran prdida en trminos de valor de la
informacin que contiene, ya que se trata, en general, de documentos excluidos

deliberadamente por su falta de utilidad. En cualquier caso, son los dueos de la informacin
los que deciden no hacerla disponible, por lo que difcilmente se podrn encontrar mecanismos
legtimos para franquear esa barrera. Adems, los archivos robots.txt sirven para evitar que los
robots caigan en agujeros negros, que les hagan entrar en procesos circulares interminables,
mermando as la eficiencia en su funcionamiento (Koster, 1997).
La web propietaria
En un artculo reciente de la OCLC Office for Research (ONeill, 2003) se examinan las
tendencias en cuanto a tamao, crecimiento e internacionalizacin de la web pblica, es decir,
la porcin de informacin ms visible y accesible para el usuario promedio. Las principales
conclusiones del estudio son:
El crecimiento de la web pblica muestra un estancamiento en los ltimos aos. Ello se
debe a que se crean menos sitios web y otros desaparecen, aunque esto no quiere decir que no
aumente en volumen de informacin, es decir, en nmero de pginas o nmero de terabytes.
Otra posibilidad, que no se seala en este estudio, pero que puede aventurarse, es que algunos
sitios web estn transformndose en sitios accesibles solamente mediante pago.
La web pblica est dominada por contenidos originados en los Estados Unidos, as como
escritos en ingls. Esto nos lleva a pensar que es probable que haya ms recursos invisibles en
pginas originadas en pases distintos a los Estados Unidos y en idioma diferente al ingls.
Algunos buscadores tradicionales como Altavista o Google han evolucionado y presentan
ahora la posibilidad de realizar bsquedas por materiales o formatos especiales. As, Altavista
permite la bsqueda de imgenes, audio y video, presentando opciones de bsqueda avanzada.
Google permite realizar bsquedas avanzadas para localizar imgenes. Por su parte, el
concentrador HotBot presenta la posibilidad de buscar por distintos formatos, para localizar
imgenes, audio, vdeo, archivos PDF, Script y Shockwave/Flash. Estas opciones estn activas
en HotBot para los buscadores Fast (Altheweb) e Inktomi (Pure Web Search), mientras que no
funcionan con Teoma ni Google, aunque como dijimos existe esta posibilidad si se realiza la
bsqueda directamente desde el sitio de Google.
Estas bsquedas en materiales especiales, como imgenes, audio y vdeo son posibles porque
se realiza una catalogacin textual de stos. Las bsquedas en materiales en formatos como
PDF, Flash, etc. se pueden realizar porque existen directorios de estos archivos. As, el
principal medio por el cual se pueden efectuar las bsquedas es el texto. Por ejemplo, si
queremos recuperar imgenes en blanco y negro, stas deben estar clasificadas de ese modo en
la base de datos. Esto implica, desde luego un proceso manual. Hoy por hoy, los mtodos
bibliotecarios tradicionales resultan ser los ms eficaces en la bsqueda de informacin, al
menos mientras la inteligencia artificial no avance ms. Realizar una bsqueda del tipo quiero
fotografas de personas que se parezcan a Woody Allen slo es posible si hay un especialista
que clasifique las imgenes para distinguir si se trata de dibujos o fotografas, si stas son de
personas, y adems incluya la informacin acerca de los parecidos. Las maquinarias actuales
de bsqueda son extraordinariamente eficaces para recuperar informacin textual, pero esto no
excluye la necesidad de la catalogacin y clasificacin de los recursos. Por lo mismo, el
nmero de archivos de este tipo que se pueden recuperar con los buscadores actuales tiene que
ser limitado. Una pgina web que contiene una imagen, sin mayor informacin textual acerca e
su contenido, no podr ser recuperada automticamente ms que por su extensin (.jpg, por
ejemplo).
Como hemos visto, la definicin ms genrica de lo que constituye la web invisible o profunda
apunta a los recursos que no pueden ser recuperados mediante las herramientas comunes de
bsqueda. Para verificar qu tan visible es la porcin de la web profunda que ha sido
identificada por los autores de The Invisible Web, he seleccionado al azar diez recursos de su
The Invisible Web Directory y he procedido a realizar la bsqueda en un buscador, un
directorio, un metabuscador y un agente metabuscador avanzado en su versin gratuita. Los
resultados de esta sencilla prueba aparecen reflejados en el cuadro de la pgina siguiente.
Resultados de bsqueda de recursos de The Invisible Web Directory
Recurso
MSN
Yahoo!
MetaCrawler
Copernic
Artcyclopedia
SI
SI
SI (6 buscadores) SI (8 buscadores)
CRA Forsythe
List
SI
SI
Current Films in
the Work
(Boxoffice
Hollywood Hot
Set)
Employee
Benefits
INFOSOURCE
SI
SI
SI
SI
Hamnet
SI
SI
Infonation
SI
SI
Jourlit
SI
SI
Scholarly
SI
Societies Project
SI
SI
SI
Vessel
Registration
Query System
Whos who in
SI
SI
American Art
(AskArt)
Vemos que todos los recursos seleccionados de The Invisible Web Directory son localizables
con las actuales herramientas de bsqueda. Adems, en los resultados se observa que existen
mltiples referencias en otras pginas, es decir, que se trata de pginas conectadas. La nica
dificultad para encontrarlas consiste, en algunos casos, en las palabras con las cuales se
denomina el sitio o el recurso. Por ejemplo, en el The Invisible Web Directory aparece Vessel
Query Registration System, en lugar de Vessel Registration Query System, lo cual hace que
la bsqueda por todas las palabras sea exitosa, pero la bsqueda por frase no. Igualmente, la
denominacin de Whos who in American Art para el sitio de AskArt, dificulta la
bsqueda, mientras que si se busca directamente por su nombre aparece en numerosos
buscadores. La tabla refleja adems cmo el solapamiento entre buscadores es variable.
Desde luego, se puede decir que el contenido de las bases de datos que estn incluidas en este
directorio es invisible, ya que es necesario realizar las bsquedas directamente en cada una de
ellas. Pero lo cierto es que llegar hasta la puerta de estas bases de datos resulta relativamente
sencillo. El mismo hecho de que el directorio haya sido colocado en la web, le confiere mayor
visibilidad a los recursos incluidos, ya que las ligas en el directorio aumentan la posibilidad de
indizacin de esas pginas. Entonces, podemos decir que The Invisible Web Directory es un
buen directorio de recursos y bases de datos disponibles en la web, pero no un directorio de
recursos invisibles.
En conclusin, lo que realmente sigue siendo invisible en la web son:
-- las pginas desconectadas;
-- las pginas no clasificadas que contienen principalmente imgenes, audio
o vdeo;
-- las pginas no clasificadas que contienen principalmente archivos PDF,
PostScript, Flash, Shockwave, ejecutables y comprimidos;
-- el contenido de las bases de datos relacionales;
-- el contenido que se genera en tiempo real;
-- el contenido que se genera dinmicamente.
Pero:
-- algunos buscadores recuperan archivos PDF y pginas con imgenes,
aunque de forma limitada;
-- es relativamente sencillo llegar hasta la puerta de las bases de datos con
contenido importante;
-- existen ya motores avanzados capaces de realizar bsquedas directas
simultneas en varias bases de datos a la vez; y aunque la mayora requieren de
pago, tambin ofrecen versiones gratuitas;
-- el contenido que se genera en tiempo real pierde validez con mucha
velocidad, salvo para anlisis histricos;
-- es relativamente sencillo llegar hasta la puerta de los servicios que
ofrecen informacin en tiempo real;
-- el contenido que se genera dinmicamente interesa nicamente a ciertos
usuarios con caractersticas especficas;
-- es relativamente sencillo llegar hasta la puerta de los servicios que
ofrecen contenido generado dinmicamente.
8. Bibliografa
1. A collection of special search engines [Pgina Web]. Consultada 2003 Abr.

24. Disponible en: http://www.leidenuniv.nl/ub/biv/specials.htm
2. The Deep Web [Pgina Web]. 2002; Consultada 2003 Mayo 6. Disponible
en: http://library.albany.edu/internet/deepweb.html.
University at Albany Libraries. Internet tutorials
3. FOLDOC: Free On-Line Dictionary of Computing [Pgina Web].
Consultada 2003 Abr. 24. Disponible en : http://foldoc.doc.ic.ac.uk/foldoc/
4. How to Choose a Search Engine or Directory [Pgina Web]. 2003 ;
Consultada 2003 Mayo 14. Disponible en: http://library.albany.edu/internet/
choose.html
5. Invisible Web: What it is, Why it exists, How to find it, and Its inherent
ambiguity [Pgina Web]. Consultada 2003 Mayo 5. Disponible en: http;//www.
lib.berkeley.edu/TeachingLib/Guides/Internet/InvisibleWeb.html.
UC Berkeley. Teaching Library Internet Workshops. Finding information on the
Internet: a tutorial.
6. Search Engines Terms: As Suggested by Members of the I-Search Digest
[Pgina Web]. Consultada 2003 Abr. 24. Disponible en: http://www.cadenza.org/
search_engine_terms/
7. Top 25 Invisible Web Categories. Searcher. 2001; 9(6):68-72.
8. Le Web Invisible [Pgina Web]. Consultada 2003 Mayo 5. Disponible en:
http://f.magnan.free.fr/web_invisible.htm
9. What is Fast? [Pgina Web]. Consultada 2003 Mayo 13. Disponible en:
http://www.lexibot.com/howitworks/whatisfast.asp
10. The WWW Virtual Library [Pgina Web]. Consultada 2003 Abr 24.
Disponible en: http://www.vlib.org/
11. Bergman, Michael K. The Deep Web: Surfacing Hidden Value. Bright
Planet; 2000.
12. Botluk, Diana. Minig Deeper Into the Invisible Web . Law Library
Resource Xchange; 2000.
Features.
13. Dragutsky, Paula. Guides to Specialized Search Engines [Pgina Web].
2003; Consultada 2003 Mayo 15. Disponible en: http://www.searchability.com
14. Daz, Karen R. The Invisible Web: Navigating the Web outside Traditional
Search Engines. Reference & User Services Quarterly. 2000; 40(2):131-134.
15. Ellsworth, Jill and Ellsworth, Matthew V. Marketing on the Internet :
Multimedia Strategies for the World Wide Web. New York: John Wiley & Sons;
1995.
16. Koster, Martijn. Robots in the Web: threat or treat? [Pgina Web]. 1997;
Consultada 2003 Mayo 16. Disponible en: http://www.robotstxt.org/wc/threatortreat.html.
17. O'Neill, Edward T.; Lavoie, Brian F., and Bennett, Rick. Trends in the
Evolution of the Public Web: 1998-2002. D-Lib Magazine. 2003; 9(4).
18. Ouf, Rehib. Le Dynamisme du World Wide Web: Taille, Croissance,
Visibilit, Distribution et Accessibilit de l'Information. Lyon, France: Ecole
Nationale Suprieure des Sciences de l'Information et des Bibliothques; 2001.
19. Salazar Garca, Idoia. La Red profunda: lo que los buscadores
convencionales no encuentran. En: Fernndez Muerza, Alex and Dantart Usn,
Alex, Coordinacin. Congreso ONLINE del Observatorio para la CiberSociedad;
Espaa.
Comunicaciones - Grupo 20: Periodismo y Comunicacin Digital
20.
Sherman, Chris. The Invisible Web. Free Pint. 2000; (64).
21.
---. Navigating the Invisible Web. SearchDay. 2001.
22. Sherman, Chris and Price, Gary. The invisible Web. Searcher. 2001; 8
(9):62-74.
23. ---. The invisible Web: Uncovering information sources search engines can't
see. Medford, New Jersey: CyberAge Books; Information Today; 2001.
24. Sullivan, Danny. Invisible Web Gets Deeper. The Search Engine Report.
2000.
25. Turner, Laura. Doing it Deeper: The Deep Web [Pgina Web]. Consultada
2003 Mayo 2. Disponible en: http://www.bhsu.edu/education/edfaculty/lturner/
The%20Deep%20Web%20article1.doc
26. Warnick, Walter L; Lederman, Abe; Scott, R. L.; Spence, Karen J.;
Johnson, Lorrie A., and Allen, Valerie S. Searching the Deep Web: Directed
Query Engine Applications at the Department of Energy. D-Lib Magazine. 2001;
7(1).
27. Wiseman, Ken . The invisible Web [Pgina Web]. Consultada 2002 Mayo
5. Disponible en: http://www3.dist214,k12.il.us/invisible/article/invisiblearticle.
html

Deep Web

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Deep Web

Cargado por

Copyright:

Formatos disponibles

Estrategias y mecanismos de bsqueda en la web invisible

Estrategias y mecanismos de bsqueda en la web invisible

file:///C|/Documents%20and%20Settings/edudist/Es...%20de%20bsqueda%20en%20la%20web%20invisible.htm (1 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

Recursos de bsqueda ordenados alfabticamente

Estrategias y mecanismos de bsqueda en la web invisible

convencionales en la web (Ellsworth, 1995). Tambin se la denomina web profunda (deep

Estrategias y mecanismos de bsqueda en la web invisible

ordenar as su presentacin. Algunos buscadores se basan en un anlisis estadstico de

Estrategias y mecanismos de bsqueda en la web invisible

de recursos potencialmente valiosos.

file:///C|/Documents%20and%20Settings/edudist/Es...%20de%20bsqueda%20en%20la%20web%20invisible.htm (5 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

Estrategias y mecanismos de bsqueda en la web invisible

Usar buscadores con opciones avanzadas de bsqueda.

Estrategias y mecanismos de bsqueda en la web invisible

file:///C|/Documents%20and%20Settings/edudist/Es...%20de%20bsqueda%20en%20la%20web%20invisible.htm (8 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

bsqueda en la web profunda.

Recursos de bsqueda en la web profunda

file:///C|/Documents%20and%20Settings/edudist/Es...%20de%20bsqueda%20en%20la%20web%20invisible.htm (9 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

The Big Hub

Deep Query Manager (sustituye a Lexibot) Motor avanzado

file:///C|/Documents%20and%20Settings/edudist/E...20de%20bsqueda%20en%20la%20web%20invisible.htm (10 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

Invisible Web Directory

Master Link List On the Internet

Resource Discovery Network

Directorio de bases de datos

file:///C|/Documents%20and%20Settings/edudist/E...20de%20bsqueda%20en%20la%20web%20invisible.htm (11 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

Recursos de bsqueda en la web profunda

por tipo de recurso

file:///C|/Documents%20and%20Settings/edudist/E...20de%20bsqueda%20en%20la%20web%20invisible.htm (12 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

file:///C|/Documents%20and%20Settings/edudist/E...20de%20bsqueda%20en%20la%20web%20invisible.htm (13 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

Directorios de bases de datos WebData.com

Deep Query Manager (sustituye a Lexibot)

file:///C|/Documents%20and%20Settings/edudist/E...20de%20bsqueda%20en%20la%20web%20invisible.htm (14 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

7. Qu tan invisible es hoy la web invisible?

Estrategias y mecanismos de bsqueda en la web invisible

informacin que contiene, ya que se trata, en general, de documentos excluidos

Estrategias y mecanismos de bsqueda en la web invisible

Estrategias y mecanismos de bsqueda en la web invisible

file:///C|/Documents%20and%20Settings/edudist/E...20de%20bsqueda%20en%20la%20web%20invisible.htm (18 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

1. A collection of special search engines [Pgina Web]. Consultada 2003 Abr.

file:///C|/Documents%20and%20Settings/edudist/E...20de%20bsqueda%20en%20la%20web%20invisible.htm (19 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

Sherman, Chris. The Invisible Web. Free Pint. 2000; (64).

---. Navigating the Invisible Web. SearchDay. 2001.

Estrategias y mecanismos de bsqueda en la web invisible

file:///C|/Documents%20and%20Settings/edudist/E...20de%20bsqueda%20en%20la%20web%20invisible.htm (21 de 21)04/12/2006 01:53:57 p.m.

También podría gustarte