Como realizar descargas recursivas con WGET utilizando archivos

batch
Los archivos batch son herramientas ideales para ejecutar ordenes en la lnea
comandos de Windows, sin tener conocimientos avanzados, ni tener que introducir
dichas ordenes manualmente en la consola de CMD.
Solo es necesario copiar pe!ar el c"di!o en un archivo de te#to que puede ser
hecho con el $loc de notas !uardar el archivo resultante con la e#tensi"n de archivo
.cmd en vez de la cl%sica .t#t
&l dar dos clics en el archivo creado, Windows abrir% la consola de CMD ejecutar%
las "rdenes o comandos contenidos en el archivo.
Si no has escrito nin!'n batch antes prueba con el primero.
Copia pe!a en el $loc de notas el te#to si!uiente haz lo que se indic"
anteriormente, !u%rdalo como prueba.cmd despu(s da dos clics en (l.
@ECHO OFF
DIR
PAUSE
Ejemplos practicos de archivos batch para usar WGET
)* +rimer ejemplo, archivo batch para realizar una descar!a recursiva.
@ECHO OFF
wget -r -c -k http://www.apache.org/
+ru(balo pero cuando compruebes que ,unciona detenlo, porque si no, prose!uir%
hasta descar!ar el servidor completo de &pache.or!.
-* Se!undo ejemplo, con este descar!as una p%!ina, en este caso es la p%!ina de
W!et en la Wi.ipedia, pero ase!urando de descar!ar todos sus elementos que
ten!a la e#tensi"n de archivo html.
@ECHO OFF
wget -p -E -nd http://e.w!k!ped!a.org/w!k!/"get
/* Descar!ar p%!ina web tambi(n todos los archivos a los que apunten los lin.s que
se encuentren en dicha p%!ina, pero solo con dos directorios de pro,undidad.
@ECHO OFF
wget -r -#$ -p -c http://%ht&#.co&/en/%ht&#/re'erence/!nde%.ht&#
0* 1jemplo de descar!a de archivo se!ura.
@ECHO OFF
wget -c -S -r http://down#oad.&o(!##a.org/)prod*ct+'!re'o%-
,.-.o+w!n.#ang+e-ES
Con este batch se descar!a el instalador de 2ire,o#, la versi"n 0, puedes interrumpir la
descar!a que cuando se ejecute el archivo batch de nuevo, prose!uir% en el mismo
punto donde se detuvo.
3* 1jemplo de la descar!a de un archivo la veri,icaci"n posteriormente de su time*
stampin!, es decir si e#iste otro con el mismo nombre, pero vare su ,echa de
creaci"n o de modi,icaci"n.
@ECHO OFF
wget -/ http://www.d.noaa.go0/goe/eat/car1/0!.2pg
1ste archivo batch descar!ar% una ,oto de sat(lite del servicio meteorol"!ico, pero
cada vez que vuelvas a ejecutarlo, veri,icar% en el servidor si ha al!una ima!en m%s
reciente de la que descar!aste, si no mantendr% la ori!inal intacta.
M%s ejemplos pr%cticos puedes encontrarlos en la si!uiente p%!ina, que es una
continuaci"n de este artculo4 C"di!os ejemplos pr%cticos para usar W516
Sintaxis y las principales opciones de WGET
1n la si!uiente tabla se listan los principales modi,icadores para usar W!et.
La aplicaci"n permite muchas otros, las que se pueden consultar en su p%!ina de
auda 7en in!l(s8, a la que se puede acceder usando el si!uiente
vnculo4www.!nu.or!9so,tware9w!et9manual9w!et.html
W!et admite dos ,ormas de usar las opciones, utilizando el nombre completo o uno
corto abreviado que es la manera m%s pr%ctica.
1n la tabla se muestran las dos opciones.
Nombre
corto
Nombre largo Descripcin
-o archivo --output-file=archivo
Guarda todo el informe de la operacin en un archivo de
texto, si se vuelve a realizar sobrescribe el archivo. Usando -a
se agrega informacin al archivo ya creado.
-S --server-response
uestra los encabezados o http headers enviados por la
aplicacin y las respuestas recibidas del servidor.
-d --debug odo desarrollador, muestra informacin m!s detallada.
-nv --no-verbose Se muestra solo informacin resumida.
-i archivo --input-file=archivo "ee las direcciones U#" de un archivo de texto externo.
-t numero --tries=numero
Se especifica el n$mero de reintentos a realizar. Usa % o inf
para infinitos reintentos. "a opcin predeterminada es &%.
-c --continue
'ontin$a descargando un archivo descargado parcialmente al
ocurrir un error en la conexin, o (ue esta se haya cancelado
deliberadamente.
-) --ad*ust-extension
+grega a las p!ginas ,eb (ue no la posean la extensin .html
para facilitar su e*ecucin offline.
-p --page-re(uisites
+l usar esta opcin -get descarga todos los archivos
necesarios para (ue una p!gina funcione offline, se
descargar!n im!genes, css, scripts, etc.
-r --recursive
'rea una descarga recursiva, es decir se descargan todos los
archivos a los (ue apunten los lin.s en la p!gina.
-m --mirror
'rea un espe*o o imagen de un sitio, similar a una descarga
recursiva pero sin ninguna restriccin, es lo mismo (ue
utilizar las opciones/ -r -l inf -0.
-l numero --level=numero
)specifica el nivel de profundidad en las descargas
recursivas, el predeterminado es 1.
-. --convert-lin.s
2espu3s de finalizar la descarga, -get re-escribe los lin.s
para (ue apunten directamente a los archivos descargados en
el e(uipo y de esa forma est3n funcionales las paginas
descargadas.
-nc --no-clobber
4mpide (ue se vuelvan a descargar archivos (ue est!n ya en el
e(uipo.
-nd --no-directories 0o crea directorios en las descargas recursivas.
-5 carpeta
--directory-
prefix=carpeta
5ermite establecer un directorio o carpeta determinado para
todas las descargas.
-+
archivos
--accept archivos
5ermite especificar (u3 tipo de archivos solo se desean
descargar, se relacionan separados por comas.
-#
archivos
--re*ect archivos
5ermite especificar (u3 tipo de archivos se desean rechazar,
se relacionan separados por comas.
-4
directorios
--include directorios
#estringir directorios de los (ue solo descargar archivos en el
modo recursivo, relacionarlos separados por comas.
-6
directorios
--exclude directorios 4nversa a la opcion anterior, restringir directorios.
-np --no-parent
)vita descargar los archivos de directorios superiores, aun(ue
los lin.s apunten a ellos en descargas recursivas.
-0 --timestamping
7erifica la la fecha de la $ltima modificacin del archivo
solicitado, si existe una copia en nuestro e(uipo y solo lo
descarga del servidor si existe una copia m!s reciente.
-8 nombre
--output-
document=nombre
5ermite renombrar un archivo.
--referer=url
5ermite incluir la direccin de la p!gina de referencia, para
poder descargar archivos (ue est3n protegidos contra el
hotlin.ing.
--spider
9ace (ue -get funcione como la ara:a de un buscador ,eb,
comprueba y muestra informacin sin descargar nada.
--limit-rate=cantidad
"imita la velocidad de descarga a una determinada cantidad
de bytes por segundos. 5ara expresarla en .ilobytes usa el
sufi*o ., o m para megabytes.
--no-cache
2eshabilita el cache, -get enviar! al servidor la directiva
5ragma/ no-cache para obtener los archivos directamente del
servidor remoto.
Infografa! "escargar un archivo de internet usando WGET