Так, для сведения по wget (инфа взята из инета)примеры использования утилиты wget для скачивания файлов из сети.
wget ftp://user:password@host:port/directory
Докачка
wget -c http://3d.domain.com/file.txt
Список файлов для скачивания в longfile, результат сохраняем в директории mydir
wget -P mydir -i longfile
Рекурсивный запрос (зеркалирование), -t - сколько попыток при ошибке
wget -r -t1 http://www.softerra.ru/
Запрещаем загрузку .jpg
wget -R.jpg
Только грузим .jpg
wget -A.jpg
Ограничиваем пропускную способность
wget --limit-rate=10K
Примеры использования wget и curl для копирования web-контента
Копирум ftp.test.ru, за исключением директории /pub/mp3 и помещаем результат в /tmp/test
wget -m -P/tmp/test -nH ftp://ftp.test.ru/pub/ -X /pub/mp3
Скачиваем файл test.gif со скоростью 10 Кб/с и сохраняем его на локальном диске:
wget --quiet -O - --timeout=20 --limit-rate 10k http://test.ru/test.gif > /tmp/test.gif
curl http://test.ru/test.gif --max-time 20 -s -o test.gif
Рекурсивно скачиваем в директорию test_site:
wget -r --no-parent -P ./test_site http://test.ru/arc/
Доп. опции wget:
"-O N" - куда выводить результат, "-" - стандартный вывод;
"-l N" - уровень вложенности;
"-r" - рекурсивный запрос.
"--no-parent" - не выходить за пределы родительского каталога;
"--quota N" - сограничить общий объем выкачиваемого в байтах (можно m и k);
"--limit-rate N" - ограничить скорость в байт/сек. (10k - 10кб/сек);