Какво е WGet и как се работи с нея

gistfile1.txt

Какво е WGet ?

wget е съкращение от "web get". Това е command-line програма която се използва за сваляне на файлове от интернет.
Синтакс

wget [option]... [URL]...

Подробно описание

wget е безплатна програма за неинтерактивно сваляне на файлове от web. Тя поддържа HTTP, HTTPS и FTP протоколи.

wget е неинтерактивна програма което означава че може да работи в background режим докато потребителят не е влязъл. Това ви позволява да започенете извличане и да се изключите от системата, позволявайки на wget да си свърши работата. От друга страна повечето web браузари изискват постоянно взаимодействие с потребителя което прави прехвърлянето на много данни трудно.

wget може да отваря линкове в HTML и XHTML страници и да създава локални версии на web сайтове с пълно пресъздаване на стуктурата на директорията както в оригиналният сайт. Това се нарича "рекурсивно сваляне". Докато прави това wget зачита правилата на robots.txt файла. wget може да бъде инсруктирана да превръща линковете на свалените HTML файлове в локални, за offline преглеждане.

wget е създаден за стъбилност при по-слаби и нестъбилни връзки с мрежата; Ако свалянето се провали поради проблем с мрежата тя ще продължи да опитва докато целият файл не бъде изтеглен. Ако сървърът поддържа regetting, тя ще го инструктира за продължаване на свалянето от там до където е спряла.
Преглед

Най-лесният начин за използване на wget е просто да сложите локацията на файла през HTTP.  В примерът ще свалиме файлът от http://website.com/files/file.zip със следната команда:

wget http://website.com/files/file.zip

това ще свали файлът в работната директория.
Има много настройки с които може да използвате wget за различни цели. Те са посочени подолу в статията.
Инсталиране на wget

Ако вашата операционна система е Ubuntu, или другиа Debian базирана Linux дистрибуция която използва APT за менажиране на пакетите може да инсталирате wget с apt-get:

sudo apt-get install wget

За други операционни системи разгледайте документацията на вашият пакет мениджър, как да инсталирате wget пакета. Също така може да я инсталирате от сайтът на GNU: http://www.gnu.org/software/wget/.
Базови настройки
-V, --version	Показва версията на инсталираният wget
-h, --help	Показва всички команди
-b, --background	

Пуска програмата в background режим след стартиране. Ако няма посочен output файл с -o, output-а отива в wget-log.
-e command, --execute command	Командата ще бъде изпълнена след командите в .wgetrc
Примери

wget http://www.computerhope.com/

Ще свали default-ната страница (index.html) от computerhope.com. Файлът ще бъде записан в работната директория.

 

wget --limit-rate=200k http://www.example.org/files/archive.zip

Ще свали файлът archive.zip от example.org и bandwidth лимита на сваляне ще е 200k/s.

 

wget -c http://www.example.org/files/archive.zip

Ще свали файлът archive.zip и ако има частично свален файл в същата директория ще бъде продължено.

 

wget -b http://www.example.org/files/archive.zip

Ще свали файлът в background режим.

 

wget --spider http://www.example.org/files/archive.zip

Ползва "web spider" мод за проверка файла дали вече съществува. Output-а ще бъде следния:

Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 200 OK
Length: 1206 (1.2K) [application/zip]
Remote file exists.

 

wget --mirror -p --convert-links -P ./example-mirror http://www.example.org

Ще бъде изтеглена пълната версия на www.example.org  в папката ./example-mirror за локално разглеждане.

 

wget -Q5m http://www.example.org/files/archive.zip

Ще спре свалянето на archive.zip когато 5MB бъдат свалени. Свалянето може да бъде продължено с  -c.