forum.opennet.ru - "Релиз GNU Wget 1.13" (22)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Релиз GNU Wget 1.13"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Релиз GNU Wget 1.13"	+/–
Сообщение от opennews (??) on 15-Авг-11, 18:25
После двух лет разработки доступна (http://ftp.gnu.org/gnu/wget/) новая версия программы для автоматизации загрузки контента с использованием протоколов HTTP и FTP - GNU Wget 1.13 (http://www.gnu.org/software/wget/). По сравнению с прошлой версией отмечено только одно существенное улучшение - реализация поддержки HTTP/1.1. Так же в новой версии: улучшена работа по разбору страниц, содержащих незакрытые тэги; диагностические сообщения теперь выводятся в stderr вместо stdout; при использовании "--no-parent" теперь несколько раз не загружаются одинаковые страницы, доступные как по HTTP, так и по HTTPS; для вывода всех определенных для заданного домена IP-адресов добавлена опция "show_all_dns_entries". Другие изменения в основном связаны с исправлением ошибок и улучшением переносимости кода. URL: http://ftp.gnu.org/gnu/wget Новость: http://www.opennet.me/opennews/art.shtml?num=31486
Ответить \| Правка \| Cообщить модератору

Оглавление

Релиз GNU Wget 1.13, Аноним, 18:25 , 15-Авг-11, (1)

Релиз GNU Wget 1.13, Andrey Mitrofanov, 18:28 , 15-Авг-11, (2)

Релиз GNU Wget 1.13, Аноним, 18:46 , 15-Авг-11, (3)

Релиз GNU Wget 1.13, Аноним, 18:58 , 15-Авг-11, (4)
Релиз GNU Wget 1.13, Аноним, 20:41 , 15-Авг-11, (5)

Релиз GNU Wget 1.13, Аноним, 23:45 , 15-Авг-11, (7)

Релиз GNU Wget 1.13, stellgenossen.ru, 00:05 , 16-Авг-11, (9) +9

Релиз GNU Wget 1.13, Аноним, 08:03 , 16-Авг-11, (12)

Релиз GNU Wget 1.13, WhereWolf, 22:48 , 15-Авг-11, (6)

Релиз GNU Wget 1.13, XoRe, 23:46 , 15-Авг-11, (8)
Релиз GNU Wget 1.13, Цекака Паэсэс, 00:05 , 16-Авг-11, (10) +1

Релиз GNU Wget 1.13, ptr, 07:45 , 16-Авг-11, (11)

Релиз GNU Wget 1.13, Аноним, 08:05 , 16-Авг-11, (13)

Релиз GNU Wget 1.13, ptr, 09:56 , 16-Авг-11, (14)

Релиз GNU Wget 1.13, Andrey Mitrofanov, 10:50 , 16-Авг-11, (16)

Релиз GNU Wget 1.13, ptr, 11:05 , 16-Авг-11, (17)

Релиз GNU Wget 1.13, Аноним, 10:04 , 16-Авг-11, (15)

Релиз GNU Wget 1.13, Sergey722, 11:29 , 16-Авг-11, (18)

Релиз GNU Wget 1.13, EuPhobos, 17:14 , 16-Авг-11, (19) +1
Релиз GNU Wget 1.13, VictorVG, 02:31 , 22-Авг-11, (20)
Релиз GNU Wget 1.13, VictorVG, 02:34 , 22-Авг-11, (21)

Релиз GNU Wget 1.13, Alex_Piggy, 18:59 , 22-Авг-11, (22)

Сообщения по теме [Сортировка по времени | RSS]

1. "Релиз GNU Wget 1.13" +/–

Сообщение от Аноним (??) on 15-Авг-11, 18:25

>>реализация поддержки HTTP/1.1
непонятно, а раньше разве не было? а partial content как тогда работал?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Релиз GNU Wget 1.13" +/–

Сообщение от Andrey Mitrofanov on 15-Авг-11, 18:28

>partial content как тогда работал?
Успешно и ненавязчиво... http://ru.wikipedia.org/wiki/HTTP#HTTP.2F1.1

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Релиз GNU Wget 1.13" +/–

Сообщение от Аноним (??) on 15-Авг-11, 18:46

Я думал, wget уже неизвестно сколько лет заброшен, ан нет - развивается. Кто-нибудь знает, почему это происходит настолько вяло? Умеет закачивать сайты и преобразовывать ссылки, но динамику не может (в моем случае не вышло) - почему?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Релиз GNU Wget 1.13" +/–

Сообщение от Аноним (??) on 15-Авг-11, 18:58

Нету программистов, которым это было бы интересно.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Релиз GNU Wget 1.13" +/–

Сообщение от Аноним (??) on 15-Авг-11, 20:41

> Я думал, wget уже неизвестно сколько лет заброшен, ан нет - развивается. Кто-нибудь знает, почему это происходит настолько вяло?
А что там разрабатывать? Инструмент закончен и умеет всё что от него требуется, из изменений остаются в основном багфиксы.
> Умеет закачивать сайты и преобразовывать ссылки, но динамику не может (в моем случае не вышло) - почему?
Что вы подразумеваете под динамикой? JS? Тогда не может, никогда не сможет и никто не сможет, потому что динамика для качания не приспособлена абсолютно, и это только один из десятков причин не использовать её.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

7. "Релиз GNU Wget 1.13" +/–

Сообщение от Аноним (??) on 15-Авг-11, 23:45

Под динамикой подразумеваю пхпшный сайт, вики - http://pcl.catap.ru/doku.php?id=pcl . Рекурсивное скачивание не пошло, выкачивает только первую страницу.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

9. "Релиз GNU Wget 1.13" +9 +/–

Сообщение от stellgenossen.ru on 16-Авг-11, 00:05

$ man wget
...
While doing that, Wget respects the Robot Exclusion Standard (/robots.txt).
$ wget -qO - http://pcl.catap.ru/robots.txt
User-agent: *
Disallow: /
Поясню: wget при рекурсивном обходе по умолчанию следует правилам robots.txt, а на указанном вами сайте robots.txt запрещает обход.
Используйте ключик "-e robots=off", все скачается.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

12. "Релиз GNU Wget 1.13" +/–

Сообщение от Аноним (??) on 16-Авг-11, 08:03

Спасибо, Вы мне очень помогли, о тонкостях robots.txt я ничего не знал

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

6. "Релиз GNU Wget 1.13" +/–

Сообщение от WhereWolf on 15-Авг-11, 22:48

Полазил по их FTP - даже не думал, что в рамках проекта GNU было написано СТОЛЬКО ВСЕГО!
ЗЫ. А в папке GNU/Windows оказался вcего лишь emacs ))

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Релиз GNU Wget 1.13" +/–

Сообщение от XoRe (ok) on 15-Авг-11, 23:46

> Полазил по их FTP - даже не думал, что в рамках проекта
> GNU было написано СТОЛЬКО ВСЕГО!
> ЗЫ. А в папке GNU/Windows оказался вcего лишь emacs ))
В рамках проекта GNU была написана бОльшая часть юзерленда linux.
В том числе, GCC.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

10. "Релиз GNU Wget 1.13" +1 +/–

Сообщение от Цекака Паэсэс on 16-Авг-11, 00:05

> Полазил по их FTP...
в данном случае единственно верный способ полазить по их ftp это выполнить:
wget -m -np http://ftp.gnu.org/gnu/

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

11. "Релиз GNU Wget 1.13" +/–

Сообщение от ptr (??) on 16-Авг-11, 07:45

Интересно, а может ли он что-то, чего не может curl? Я думал его забросили именно из-за развития последнего.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "Релиз GNU Wget 1.13" +/–

Сообщение от Аноним (??) on 16-Авг-11, 08:05

У curl'а вроде бы немного другая ниша, он позволяет задавать более детальные взаимодействия с сервером и доступен как библиотека. Сайт скачать им не получится

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

14. "Релиз GNU Wget 1.13" +/–

Сообщение от ptr (??) on 16-Авг-11, 09:56

> У curl'а вроде бы немного другая ниша, он позволяет задавать более детальные
> взаимодействия с сервером и доступен как библиотека. Сайт скачать им не
> получится
Только им, да. Там в поставке перловский скрипт был для мирроринга. Зато wget не умеет POST, что, бывает, очень сильно мешает в целях того же мирроринга.

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

16. "Релиз GNU Wget 1.13" +/–

Сообщение от Andrey Mitrofanov on 16-Авг-11, 10:50

>Зато wget не умеет POST, что, бывает, очень сильно мешает
--post-data=string
--post-file=file
    Use POST as the method for all HTTP requests and send the specified data in the equest body.
Угадай - откуда?!! Две... Нет, три! попытки.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

17. "Релиз GNU Wget 1.13" +/–

Сообщение от ptr (??) on 16-Авг-11, 11:05

>>Зато wget не умеет POST, что, бывает, очень сильно мешает
>
--post-data=string
> --post-file=file
>     Use POST as the method for all HTTP
> requests and send the specified data in the equest body.

> Угадай - откуда?!! Две... Нет, три! попытки.
Последний раз проводил эксперименты лет 5 назад. Надо было на роутере через веб морду pppd перезапускать. На wget не получилось. На curl завелось сразу. Может с тех пор такое ощущение и сохранилось. Извиняюсь, значит заблуждался.

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

15. "Релиз GNU Wget 1.13" +/–

Сообщение от Аноним (??) on 16-Авг-11, 10:04

Мой клиент дефолтный клиент для скачивания, прелесть. Пользуюсь практически каждый день :)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "Релиз GNU Wget 1.13" +/–

Сообщение от Sergey722 (ok) on 16-Авг-11, 11:29

Штука хорошая, но почему он не качает в несколько потоков?
Т.ч. в некоторых случаях Aria2!!!

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

19. "Релиз GNU Wget 1.13" +1 +/–

Сообщение от EuPhobos (ok) on 16-Авг-11, 17:14

Очень часто пользую wget в целях просто скачать тарбольчик с сырцами на сервак, или скачать http страничку, распарсить awk-ом и вытянуть всё нужное.
Но почитав комменты, не перестаю удивляться, что ещё умеет wget.
ЗЫ да-да, знаю, в мане слишком много букаф ;) Да и не всегда все тонкости wget-а бывают нужны, а когда нужны - то тогда да, ман.. )

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

20. "Релиз GNU Wget 1.13" +/–

Сообщение от VictorVG (??) on 22-Авг-11, 02:31

На GNU FTP новейшие исходники отыскал только 1.12. И где взять 1.13? Я вроде по всем зеркалам просмотрел. Не успели выложить или я с усталости пропустил?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

21. "Релиз GNU Wget 1.13" +/–

Сообщение от VictorVG (??) on 22-Авг-11, 02:34

Оценку снизил за бумажность анонса. Эти только сайт SamLab "славится", но так они на этом зарабатывают.:)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

22. "Релиз GNU Wget 1.13" +/–

Сообщение от Alex_Piggy on 22-Авг-11, 18:59

2VictorVG, all
Добрый день
15 августа исходники были, 16 августа выпустили 1.13.1. Сейчас (22 августа) их нет.
Согласно www.linux.org.ru/forum/talks/6642712  его убрали из-за глючности.
Осталась только копия на launchpad.net

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Релиз GNU Wget 1.13"	+/–
Сообщение от Аноним (??) on 15-Авг-11, 18:25
>>реализация поддержки HTTP/1.1 непонятно, а раньше разве не было? а partial content как тогда работал?
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	2. "Релиз GNU Wget 1.13"	+/–
	Сообщение от Andrey Mitrofanov on 15-Авг-11, 18:28
	>partial content как тогда работал? Успешно и ненавязчиво... http://ru.wikipedia.org/wiki/HTTP#HTTP.2F1.1
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору

3. "Релиз GNU Wget 1.13"	+/–
Сообщение от Аноним (??) on 15-Авг-11, 18:46
Я думал, wget уже неизвестно сколько лет заброшен, ан нет - развивается. Кто-нибудь знает, почему это происходит настолько вяло? Умеет закачивать сайты и преобразовывать ссылки, но динамику не может (в моем случае не вышло) - почему?
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	4. "Релиз GNU Wget 1.13"	+/–
	Сообщение от Аноним (??) on 15-Авг-11, 18:58
	Нету программистов, которым это было бы интересно.
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	5. "Релиз GNU Wget 1.13"	+/–
	Сообщение от Аноним (??) on 15-Авг-11, 20:41
	> Я думал, wget уже неизвестно сколько лет заброшен, ан нет - развивается. Кто-нибудь знает, почему это происходит настолько вяло? А что там разрабатывать? Инструмент закончен и умеет всё что от него требуется, из изменений остаются в основном багфиксы. > Умеет закачивать сайты и преобразовывать ссылки, но динамику не может (в моем случае не вышло) - почему? Что вы подразумеваете под динамикой? JS? Тогда не может, никогда не сможет и никто не сможет, потому что динамика для качания не приспособлена абсолютно, и это только один из десятков причин не использовать её.
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	7. "Релиз GNU Wget 1.13"	+/–
	Сообщение от Аноним (??) on 15-Авг-11, 23:45
	Под динамикой подразумеваю пхпшный сайт, вики - http://pcl.catap.ru/doku.php?id=pcl . Рекурсивное скачивание не пошло, выкачивает только первую страницу.
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору


	9. "Релиз GNU Wget 1.13"	+9 +/–
	Сообщение от stellgenossen.ru on 16-Авг-11, 00:05
	$ man wget ... While doing that, Wget respects the Robot Exclusion Standard (/robots.txt). $ wget -qO - http://pcl.catap.ru/robots.txt User-agent: * Disallow: / Поясню: wget при рекурсивном обходе по умолчанию следует правилам robots.txt, а на указанном вами сайте robots.txt запрещает обход. Используйте ключик "-e robots=off", все скачается.
	Ответить \| Правка \| ^ к родителю #7 \| Наверх \| Cообщить модератору


	12. "Релиз GNU Wget 1.13"	+/–
	Сообщение от Аноним (??) on 16-Авг-11, 08:03
	Спасибо, Вы мне очень помогли, о тонкостях robots.txt я ничего не знал
	Ответить \| Правка \| ^ к родителю #9 \| Наверх \| Cообщить модератору

6. "Релиз GNU Wget 1.13"	+/–
Сообщение от WhereWolf on 15-Авг-11, 22:48
Полазил по их FTP - даже не думал, что в рамках проекта GNU было написано СТОЛЬКО ВСЕГО! ЗЫ. А в папке GNU/Windows оказался вcего лишь emacs ))
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	8. "Релиз GNU Wget 1.13"	+/–
	Сообщение от XoRe (ok) on 15-Авг-11, 23:46
	> Полазил по их FTP - даже не думал, что в рамках проекта > GNU было написано СТОЛЬКО ВСЕГО! > ЗЫ. А в папке GNU/Windows оказался вcего лишь emacs )) В рамках проекта GNU была написана бОльшая часть юзерленда linux. В том числе, GCC.
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору


	10. "Релиз GNU Wget 1.13"	+1 +/–
	Сообщение от Цекака Паэсэс on 16-Авг-11, 00:05
	> Полазил по их FTP... в данном случае единственно верный способ полазить по их ftp это выполнить: wget -m -np http://ftp.gnu.org/gnu/
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору

11. "Релиз GNU Wget 1.13"	+/–
Сообщение от ptr (??) on 16-Авг-11, 07:45
Интересно, а может ли он что-то, чего не может curl? Я думал его забросили именно из-за развития последнего.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	13. "Релиз GNU Wget 1.13"	+/–
	Сообщение от Аноним (??) on 16-Авг-11, 08:05
	У curl'а вроде бы немного другая ниша, он позволяет задавать более детальные взаимодействия с сервером и доступен как библиотека. Сайт скачать им не получится
	Ответить \| Правка \| ^ к родителю #11 \| Наверх \| Cообщить модератору


	14. "Релиз GNU Wget 1.13"	+/–
	Сообщение от ptr (??) on 16-Авг-11, 09:56
	> У curl'а вроде бы немного другая ниша, он позволяет задавать более детальные > взаимодействия с сервером и доступен как библиотека. Сайт скачать им не > получится Только им, да. Там в поставке перловский скрипт был для мирроринга. Зато wget не умеет POST, что, бывает, очень сильно мешает в целях того же мирроринга.
	Ответить \| Правка \| ^ к родителю #13 \| Наверх \| Cообщить модератору


	16. "Релиз GNU Wget 1.13"	+/–
	Сообщение от Andrey Mitrofanov on 16-Авг-11, 10:50
	>Зато wget не умеет POST, что, бывает, очень сильно мешает --post-data=string --post-file=file Use POST as the method for all HTTP requests and send the specified data in the equest body. Угадай - откуда?!! Две... Нет, три! попытки.
	Ответить \| Правка \| ^ к родителю #14 \| Наверх \| Cообщить модератору


	17. "Релиз GNU Wget 1.13"	+/–
	Сообщение от ptr (??) on 16-Авг-11, 11:05
	>>Зато wget не умеет POST, что, бывает, очень сильно мешает > --post-data=string > --post-file=file > Use POST as the method for all HTTP > requests and send the specified data in the equest body. > Угадай - откуда?!! Две... Нет, три! попытки. Последний раз проводил эксперименты лет 5 назад. Надо было на роутере через веб морду pppd перезапускать. На wget не получилось. На curl завелось сразу. Может с тех пор такое ощущение и сохранилось. Извиняюсь, значит заблуждался.
	Ответить \| Правка \| ^ к родителю #16 \| Наверх \| Cообщить модератору

15. "Релиз GNU Wget 1.13"	+/–
Сообщение от Аноним (??) on 16-Авг-11, 10:04
Мой клиент дефолтный клиент для скачивания, прелесть. Пользуюсь практически каждый день :)
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	18. "Релиз GNU Wget 1.13"	+/–
	Сообщение от Sergey722 (ok) on 16-Авг-11, 11:29
	Штука хорошая, но почему он не качает в несколько потоков? Т.ч. в некоторых случаях Aria2!!!
	Ответить \| Правка \| ^ к родителю #15 \| Наверх \| Cообщить модератору

19. "Релиз GNU Wget 1.13"	+1 +/–
Сообщение от EuPhobos (ok) on 16-Авг-11, 17:14
Очень часто пользую wget в целях просто скачать тарбольчик с сырцами на сервак, или скачать http страничку, распарсить awk-ом и вытянуть всё нужное. Но почитав комменты, не перестаю удивляться, что ещё умеет wget. ЗЫ да-да, знаю, в мане слишком много букаф ;) Да и не всегда все тонкости wget-а бывают нужны, а когда нужны - то тогда да, ман.. )
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору

20. "Релиз GNU Wget 1.13"	+/–
Сообщение от VictorVG (??) on 22-Авг-11, 02:31
На GNU FTP новейшие исходники отыскал только 1.12. И где взять 1.13? Я вроде по всем зеркалам просмотрел. Не успели выложить или я с усталости пропустил?
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору

21. "Релиз GNU Wget 1.13"	+/–
Сообщение от VictorVG (??) on 22-Авг-11, 02:34
Оценку снизил за бумажность анонса. Эти только сайт SamLab "славится", но так они на этом зарабатывают.:)
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	22. "Релиз GNU Wget 1.13"	+/–
	Сообщение от Alex_Piggy on 22-Авг-11, 18:59
	2VictorVG, all Добрый день 15 августа исходники были, 16 августа выпустили 1.13.1. Сейчас (22 августа) их нет. Согласно www.linux.org.ru/forum/talks/6642712 его убрали из-за глючности. Осталась только копия на launchpad.net
	Ответить \| Правка \| ^ к родителю #21 \| Наверх \| Cообщить модератору