Skip to content

Instantly share code, notes, and snippets.

@theStrangeAdventurer
Created August 31, 2018 09:44
Show Gist options
  • Save theStrangeAdventurer/d325241e0294cd5dd2d40fea72d45208 to your computer and use it in GitHub Desktop.
Save theStrangeAdventurer/d325241e0294cd5dd2d40fea72d45208 to your computer and use it in GitHub Desktop.
Download site bash script
#!/bin/bash
#-r — указывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы.
#-k — используется для того, чтобы wget преобразовал все ссылки в скаченных файлах таким образом, чтобы по ним можно было переходить на локальном компьютере (в автономном режиме).
#-p — указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.).
#-l — определяет максимальную глубину вложенности страниц, которые wget должен скачать (по умолчанию значение равно 5, в примере мы установили 7). В большинстве случаев сайты имеют страницы с большой степенью вложенности и wget может просто «закопаться», скачивая новые страницы. Чтобы этого не произошло можно использовать параметр -l.
#-E — добавлять к загруженным файлам расширение .html.
#-nc — при использовании данного параметра существующие файлы не будут перезаписаны. Это удобно, когда нужно продолжить загрузку сайта, прерванную в предыдущий раз
# Переменные цветов >>
RED='\033[0;31m'
NC='\033[0m' # No Color
# << Переменные цветов
if [ -n "$1" ]
# Если передан первый аргумент то выполняем скачивание сайта
then
wget -r -k -l 7 -p -E -nc http://$1/
else
echo -e "[${RED}YOU NEED PASS DOMAIN NAME${NC}]\nUsage: ./dwnld_site.sh need-site.com\n"
fi
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment