После двух лет разработки доступна (http://ftp.gnu.org/gnu/wget/) новая версия программы для автоматизации загрузки контента с использованием протоколов HTTP и FTP - GNU Wget 1.13 (http://www.gnu.org/software/wget/). По сравнению с прошлой версией отмечено только одно существенное улучшение - реализация поддержки HTTP/1.1. Так же в новой версии: улучшена работа по разбору страниц, содержащих незакрытые тэги; диагностические сообщения теперь выводятся в stderr вместо stdout; при использовании "--no-parent" теперь несколько раз не загружаются одинаковые страницы, доступные как по HTTP, так и по HTTPS; для вывода всех определенных для заданного домена IP-адресов добавлена опция "show_all_dns_entries". Другие изменения в основном связаны с исправлением ошибок и улучшением переносимости кода.URL: http://ftp.gnu.org/gnu/wget
Новость: http://www.opennet.me/opennews/art.shtml?num=31486
>>реализация поддержки HTTP/1.1непонятно, а раньше разве не было? а partial content как тогда работал?
>partial content как тогда работал?Успешно и ненавязчиво... http://ru.wikipedia.org/wiki/HTTP#HTTP.2F1.1
Я думал, wget уже неизвестно сколько лет заброшен, ан нет - развивается. Кто-нибудь знает, почему это происходит настолько вяло? Умеет закачивать сайты и преобразовывать ссылки, но динамику не может (в моем случае не вышло) - почему?
Нету программистов, которым это было бы интересно.
> Я думал, wget уже неизвестно сколько лет заброшен, ан нет - развивается. Кто-нибудь знает, почему это происходит настолько вяло?А что там разрабатывать? Инструмент закончен и умеет всё что от него требуется, из изменений остаются в основном багфиксы.
> Умеет закачивать сайты и преобразовывать ссылки, но динамику не может (в моем случае не вышло) - почему?
Что вы подразумеваете под динамикой? JS? Тогда не может, никогда не сможет и никто не сможет, потому что динамика для качания не приспособлена абсолютно, и это только один из десятков причин не использовать её.
Под динамикой подразумеваю пхпшный сайт, вики - http://pcl.catap.ru/doku.php?id=pcl . Рекурсивное скачивание не пошло, выкачивает только первую страницу.
$ man wget
...
While doing that, Wget respects the Robot Exclusion Standard (/robots.txt).$ wget -qO - http://pcl.catap.ru/robots.txt
User-agent: *
Disallow: /Поясню: wget при рекурсивном обходе по умолчанию следует правилам robots.txt, а на указанном вами сайте robots.txt запрещает обход.
Используйте ключик "-e robots=off", все скачается.
Спасибо, Вы мне очень помогли, о тонкостях robots.txt я ничего не знал
Полазил по их FTP - даже не думал, что в рамках проекта GNU было написано СТОЛЬКО ВСЕГО!
ЗЫ. А в папке GNU/Windows оказался вcего лишь emacs ))
> Полазил по их FTP - даже не думал, что в рамках проекта
> GNU было написано СТОЛЬКО ВСЕГО!
> ЗЫ. А в папке GNU/Windows оказался вcего лишь emacs ))В рамках проекта GNU была написана бОльшая часть юзерленда linux.
В том числе, GCC.
> Полазил по их FTP...в данном случае единственно верный способ полазить по их ftp это выполнить:
wget -m -np http://ftp.gnu.org/gnu/
Интересно, а может ли он что-то, чего не может curl? Я думал его забросили именно из-за развития последнего.
У curl'а вроде бы немного другая ниша, он позволяет задавать более детальные взаимодействия с сервером и доступен как библиотека. Сайт скачать им не получится
> У curl'а вроде бы немного другая ниша, он позволяет задавать более детальные
> взаимодействия с сервером и доступен как библиотека. Сайт скачать им не
> получитсяТолько им, да. Там в поставке перловский скрипт был для мирроринга. Зато wget не умеет POST, что, бывает, очень сильно мешает в целях того же мирроринга.
>Зато wget не умеет POST, что, бывает, очень сильно мешает
--post-data=string
--post-file=file
Use POST as the method for all HTTP requests and send the specified data in the equest body.Угадай - откуда?!! Две... Нет, три! попытки.
>>Зато wget не умеет POST, что, бывает, очень сильно мешает
>--post-data=string
> --post-file=file
> Use POST as the method for all HTTP
> requests and send the specified data in the equest body.
> Угадай - откуда?!! Две... Нет, три! попытки.Последний раз проводил эксперименты лет 5 назад. Надо было на роутере через веб морду pppd перезапускать. На wget не получилось. На curl завелось сразу. Может с тех пор такое ощущение и сохранилось. Извиняюсь, значит заблуждался.
Мой клиент дефолтный клиент для скачивания, прелесть. Пользуюсь практически каждый день :)
Штука хорошая, но почему он не качает в несколько потоков?
Т.ч. в некоторых случаях Aria2!!!
Очень часто пользую wget в целях просто скачать тарбольчик с сырцами на сервак, или скачать http страничку, распарсить awk-ом и вытянуть всё нужное.
Но почитав комменты, не перестаю удивляться, что ещё умеет wget.ЗЫ да-да, знаю, в мане слишком много букаф ;) Да и не всегда все тонкости wget-а бывают нужны, а когда нужны - то тогда да, ман.. )
На GNU FTP новейшие исходники отыскал только 1.12. И где взять 1.13? Я вроде по всем зеркалам просмотрел. Не успели выложить или я с усталости пропустил?
Оценку снизил за бумажность анонса. Эти только сайт SamLab "славится", но так они на этом зарабатывают.:)
2VictorVG, all
Добрый день
15 августа исходники были, 16 августа выпустили 1.13.1. Сейчас (22 августа) их нет.
Согласно www.linux.org.ru/forum/talks/6642712 его убрали из-за глючности.
Осталась только копия на launchpad.net