Skip to content

Instantly share code, notes, and snippets.

@fitorec
Created November 28, 2009 05:21
Show Gist options
  • Star 1 You must be signed in to star a gist
  • Fork 0 You must be signed in to fork a gist
  • Save fitorec/244402 to your computer and use it in GitHub Desktop.
Save fitorec/244402 to your computer and use it in GitHub Desktop.
descarga todas las revistas de dia siete (diasiete.com)
#!/bin/bash
# Copyright 2009 Fitorec Rey sol <chanerec@gmail.com>
#
# diaSiete.sh
# Creado : 27.11.2009 23:10:35 CST
# modificadodo: 27.11.2009 23:10:35 CST
#
# Este programa descarga todas las revistas de dia siete (diasiete.com) usando
# el comando wget con los siguientes parametros:
# Nota: este script fue probado y ejecutado sobre GNU/Linux usando bash y GNU/Wget 1.11.4
# y GNU/bash (GNU Bourne-Again SHell)
#
# Wget opciones:
# [-r -l1] recursivo en solo un nivel, solo buscará un nivel en cada subdirectorio que encuentre por sitio.
# [-H] si dentro del sitio encuentra un enlace externo, que lo siga, ya que posiblemente lleve a otro sitio de descarga de múscia.
# [-t1] -t es igual --tries, solo hará un intento de conexión, si no lo logra continua al siguiente sitio.
# [-nd] indica no crear subdirectorios para cada archivo descargado, es decir, todo nos lo deja en el mismo lugar.
# [-N] conserva la fecha y hora (timestamp) del archivo original que se descargue, de otro modo pondría la fecha y hora de nuestro sistema.
# [-np] no parent, no seguir enlaces a directorios superiores, solo del actual y uno hacía abajo, por -r -l1
# [-A.mp3] -A indica a wget el tipo de archivo a descargar solamente, en este caso solo "mp3".
# [-erobots=off] esto evita que wget ignore los archivos 'robots.txt' que pudiera haber, ya que puede ser que dentro de estos archivos haya indicaciones de que subdirectorios los buscadores no deben hurgar (incluyendo a wget). Con esto lo evitamos y buscamos en todo el nivel.
# [-i sitiosmp3.txt] el archivo con la lista (hecha a tu gusto, con unos cuantos o decenas de sitios de música) de los sitios desde donde buscar "mp3" y descargarlos.
wget -A.pdf -r -l5 -np -N http://xml.diasiete.com/pdf/
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment