script de téléchargement automatisé de la couche hydro de la BD Topo

bdtopo-hydro-download.sh

# script permettant d'automatiser le téléchargement de la couche hydro de la BD Topo (licence Ouverte)
# les liens sur le site web IGN ne sont pas simplement téléchargeables (protection sur referer ou autre), d'où ce script
# ce script est sous licence WTFPL

MILLESIME=2017-03  # millesime à télécharger (figure dans les URL des fichiers)

# récup de la liste des URL sur la page http://professionnels.ign.fr/bdtopo-hydrographie
FILES=$(curl http://professionnels.ign.fr/bdtopo-hydrographie -s | sed 's/"/\n"\n/g' | grep "telechargement/inspire.*$MILLESIME")

for url in $FILES; do
  # extraction du nom du fichier (fin d'URL)
  file=$(echo $url | sed 's!^.*/!!')

  # téléchargement avec curl et les paramètres pour ne pas avoid de 403
  curl $url -H 'DNT: 1' -H 'Accept-Encoding: gzip, deflate, sdch, br' -H 'Accept-Language: fr-FR,fr;q=0.8,en-US;q=0.6,en;q=0.4' -H 'Upgrade-Insecure-Requests: 1' -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/58.0.3029.110 Chrome/58.0.3029.110 Safari/537.36' -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8' -H 'Referer: http://professionnels.ign.fr/bdtopo-hydrographie' -H 'Connection: keep-alive' --compressed > $file

  # décompression du fichier .7z téléchargé
  7z x $file
done