Como hacer un buscador como Google...

Recientemente comenz un curso de programacin, totalmente gratis y desarrollado

por profesores de las Universidades de Virginia y Stanford. El nombre del
curso? Construyendo un Buscador Web (Building a Search Engine). Los instructores del
curso indican que no se necesitan conocimientos previos en programacin para
participar en el curso.
El curso forma parte de un proyecto mucho ms grande, llamadoUdacity. El objetivo es
ambicioso e interesante: proveeer educacin universitaria de alta calidad y a bajo
costo. Utilizando la economa del Internet, Udacity busca conectar a profesores de
universidades y programas reconocidos con cientos de miles de estudiantes alrededor
del mundo. A la fecha ofrecen dos cursos y en abril prximo comenzarn varios
ms: 'Web Application Enginnering', 'Programming Languages' y 'Applied
Cryptography'. Demasiado bueno para sonar cierto? He estado siguiendo el curso por
las primeras tres semanas y hasta el momento he estado impresionado con la calidad y
contenido del mismo.
Puede sonar demasiado ambicioso armar un buscador web sin tener ningn
conocimiento previo de programacin. Pero los autores del curso estn realizando un
excelente trabajo, introduciendo conocimientos bsicos necesarios de programacin y
computacin alrededor de la idea de armar un buscador web. Presentan pequeas
pruebas luego de tan slo mostrar un concepto nuevo. Evitan esperar a presentar toda
la teora de computacin y se concentrar en mostrar que se puede hacer con lo poco
que se haya presentado en un corto tiempo (minutos). Pero a la vez, el curso no olvida
el objetivo de construir el buscador por lo que cada concepto aprendido es un paso en
la direccin para lograr armar el buscador.
Para todos aquellos que trabajamos en computacin, el curso puede parecer
demasiado bsico. Sin embargo, los autores no evitan hablar de las dificultades que un
programador enfrenta al intentar construir un buscador y catalogar los sitios web en el
Internet. El curso ofrece informacin sobre estos problemas y como expertos en el
tema han trabajado para resolverlos. Gabriel Weinberg, creador del
buscador DuckDuckGo participa en unvideo de Udacity, hablando de su proyecto. Anna
Patterson, creadora del buscador Cuil y actual directora de investigacin de Google,
tambin participa compartiendo sus experiencias sobre las dificultades que existen
para escribir un buscador web. He aqu el video, Anna aparece a los 49 segundos:

Para aquellos que desean ms informacin sobre lo que habla Anna, ella escribi hace
varios aos un artculo para la revista Queue de ACM, titulado 'Porque escribir tu
propio buscador web es difcil'. El artculo describe consideraciones para optimizar el
buscador y evitar problemas como agotar recursos en las computadoras o en las redes.

El proyecto de Udacity es parte de una revolucin que est ocurriendo poco a poco y
que creo afectar la forma como enseamos y aprendemos computacin. Mltiples
universidades lideres en computacin como MIT, Stanford y Carnegie Mellon tienen
proyectos similares, en donde se ofrecen cursos de calidad y al menos hasta ahora, de
forma gratuita. Para todo aquel que se dedica a la enseanza, estas plataformas estn
empujando a cambiar los paradigmas bajo los cuales se ensea. Y para todo aquel que
es estudiante en computacin, las oportunidades para aprender y la calidad de los
cursos a su disposicion, han aumentado significativamente.
Un buscador interno dentro del propio sitio es una exigencia sentida por muchos webmster y,
sobre todo, por la mayor parte de los visitantes de un sitio.
En el mercado existen numerosos y complejos programas de bsqueda escritos en los ms
diversos lenguajes. Existen, sobre todo, CGI en Perl gratuitos (freeware en algunos casos) escritos
por programadores y puestos a disposicin de los usuarios Internet en sitios web especficos (valga
como ejemplo: http://www.cgi-resources.com ). Cuando se habla de CGI la cuestin se hace
complicada para quienes no tienen posibilidad de acceder al directorio CGI-bin del propio servidor.
En estos casos es necesario utilizar los servicios gratuitos que funcionan de modo remoto, es decir,
que no estn alojados necesariamente en tu servidor. Si en el pasado no era frecuente encontrar
servicios de este tipo, en la actualidad existe una amplia gama de estos recursos. Aqu hemos
decidido analizar un servicio de fcil suscripcin y con bsquedas puntuales: Free Find.
La suscripcin del servicio gratuito de Free Find es muy sencilla. Consta de los siguientes pasos:
Conctate al URL http://www.freefind.com/
En el recuadro amarillo denominado "Instant Sign-up!" que aparece a la derecha de la pantalla
introduce los siguientes datos:

Web site address: el URL de tu sitio (p. ej. http://www.htmlpoint.com)

Your e-mail address: tu direccin de correo electrnico, a la cual te enviarn el cdigo que
hay que insertar en el sitio web

Your site's category: elige una categora para tu sitio

Estimated number of pages on this site: nmero aproximado de pginas de que consta
el sitio

Pulsa el botn de confirmacin

Una vez rellenado el formulario, Freefind controla la existencia del URL indicado y, sucesivamente,
enva a la direccin de correo electrnico indicada los datos necesarios para insertar el spider en tu
sitio.
El mensaje, procedente de robot@freefind.com, contiene tus datos personales (Site URL, E-mail,
Password y Site ID), necesarios para la ulterior configuracin de tu cuenta. Conectndote al URL:
http://www.freefind.com/control.html
podrs personalizar tu buscador. Por ejemplo, puedes escoger una imagen o un color de fondo

anlazndola directamente desde tu sitio.

Para acabar, el mensaje indica el cdigo que debes introducir en tu sitio gracias al cual se efectan
las bsquedas. Aqu tienes el cdigo que hemos recibido nosotros en HTMLpoint:
<div align="center"><table border=0 cellpadding=2 cellspacing=0>
<tr><td bgcolor=red align=center>
<A HREF=
"http://search.freefind.com/find.html?id=1276270">
<font color=white><B>Cerca in HTMLpoint</B></FONT></a>
</td></tr><tr><td align=center bgcolor=silver>
<FORM ACTION="http://search.freefind.com/find.html"
METHOD="GET">
<INPUT TYPE="HIDDEN"
NAME="id" SIZE="-1" VALUE="1276270">
<INPUT TYPE="HIDDEN" NAME="pageid" SIZE="-1" VALUE="r">
<INPUT TYPE="HIDDEN" NAME="mode" SIZE="-1" VALUE="ALL">
<INPUT TYPE="TEXT" NAME="query" SIZE="19"><br>
<small><INPUT TYPE="SUBMIT" VALUE=" trova "></small>
<font size=1>servizio fornito da <A HREF="http://www.freefind.com">
FreeFind</A> </font></FORM></td></tr></table></div>

Entre otros servicios, Free Find incluye un mapa del sitio con todas las pginas presentes (para ver
un ejemplo, haz clic aqu), as como una pgina con las ltimas modificaciones (para ver un
ejemplo, haz clic aqu).
Peridicamente, segn la frecuencia preferida, semanal o diaria, Free Find supervisa tu sitio para
verificar la presencia de nuevas pginas.