Created
January 3, 2014 21:24
-
-
Save 0xBADDCAFE/8246872 to your computer and use it in GitHub Desktop.
curl でリファラ必要の画像サイトリストから一括で抜き出したい
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
curl でファイルを予測して引っ張ってくる。 | |
file -bi で mimetype image かを頑張ってチェックする。 | |
ミスなら拡張子など変えてリトライ。 | |
curl はバックグラウンドでモリモリ呼び出して並列にダウンロードする。 | |
全部の curl が終わったことを確認する仕組みがほしい。 |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment