Skip to content

Instantly share code, notes, and snippets.

@naokazuterada
Last active June 27, 2019 13:01
Show Gist options
  • Save naokazuterada/4680720 to your computer and use it in GitHub Desktop.
Save naokazuterada/4680720 to your computer and use it in GitHub Desktop.
wgetで一括ダウンロード

サイトをwgetで一括ダウンロード

CMSなどで構築したウェブサイト( http://hoge.com/ )を静的なHTMLファイル形式で一括ダウンロード

注意点:jsなどで動的に参照されるリソースはリンクからはたどることが出来ず、ダウンロードされない。

wget http://hoge.com/ -P ~/Desktop/hoge.com -m -p -E -nH -k

オプション

-P ダウンロードするファイル、及びサブディレクトリを保存するディレクトリを指定する(つけなければ、カレントディレクトリに保存される)
-m ミラーリングに適した設定にする
-p 指定されたURLを表示するのに必要なファイルをダウンロードする
-E 拡張子が.htmlではないHTML形式のファイルを保存する際に、拡張子.htmlを付加する
-nH ホスト名形式(hoge.comなど)のディレクトリを作成しない
-k ローカルで参照できるようにリンクを変更する(絶対パスが相対パスに変更されるので注意)

BASIC認証がかかっている場合

wget http://hoge.com/ -P ~/Desktop/hoge.com -m -p -E -nH -k --http-user=username --http-password=mypassword
  
--http-user ユーザー名
--http-password パスワード
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment