URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 93621
[ Назад ]

Исходное сообщение
"Выпуск GNU Wget 1.15"

Отправлено opennews , 20-Янв-14 14:49 
После полутора лет разработки доступна (http://ftp.gnu.org/gnu/wget/) новая версия программы для автоматизации загрузки контента с использованием протоколов HTTP и FTP - GNU Wget 1.15 (http://www.gnu.org/software/wget/).


Ключевые улучшения (https://github.com/mirror/wget/blob/master/NEWS):


-  Поддержка опции "--https-only", разрешающей только обращения по защищённому соединению для текущего сеанса (при рекурсивной загрузке игнорируются все не HTTPS-ссылки);
-  Добавлена поддержка опции "--method" через которую можно указать используемый для запроса HTTP-метод без переопределения HTTP-заголовка через опцию "--header";

-  Поддержка алгоритма аутентификации MD5-SESS (http://www.ietf.org/rfc/rfc2617.txt);
-  Обеспечена возможность использования имён файлов, длиннее, чем значение MAX_FILE;
-  Возможность указания сокращённых URL во входном файле с адресами (--input-file);
-  Поддержка FTP-серверов, возвращающих пустой список при указании команды "LIST -a". Поддержка вывода списка файлов при обращении к FTP-серверу из состава Windows Server 2008 R2;
-  Налажена работа опции продолжения загрузки (-с) при обращении к северам, не передающим данные о размере контента (заголовок content-length);

-  В опции "--secure-protocol" теперь поддерживается протокол PFS (Perfect Forward Secrecy (http://ru.wikipedia.org/wiki/Perfect_forward_secrecy)).
        

URL: http://ftp.gnu.org/gnu/wget/
Новость: http://www.opennet.me/opennews/art.shtml?num=38888


Содержание

Сообщения в этом обсуждении
"Выпуск GNU Wget 1.15"
Отправлено Аноним , 20-Янв-14 15:21 
"Налажена работа опции продолжения загрузки (-с) при обращении к северам, не передающим данные о размере контента (заголовок content-length)"
И 16-ти лет не прошло!

"Выпуск GNU Wget 1.15"
Отправлено хрюкотающий зелюк , 21-Янв-14 00:58 
Ага, джацать лет ждал! (серьезно)

"Выпуск GNU Wget 1.15"
Отправлено Аноним , 21-Янв-14 03:02 
Проекту 15 лет.

"Выпуск GNU Wget 1.15"
Отправлено Аноним , 21-Янв-14 13:19 
Интересно, а теперь чтоб качать файлы с нормальными с ex.ua именами нужно добавлять опцию --content-disposition или оно автотоматически научилось это делать?

"Выпуск GNU Wget 1.15"
Отправлено имя , 21-Янв-14 19:05 
$ cat .wgetrc
content-disposition = on

"Выпуск GNU Wget 1.15"
Отправлено Аноним , 20-Янв-14 15:23 
Всё же, aria лучше будет wgetа.
А curl глючный.
Что за axel не помню.

"Выпуск GNU Wget 1.15"
Отправлено Аноним , 20-Янв-14 16:41 
aria такой же глючный как и axel. wget - лошадь, на которой можно пахать и пахать, хотя конечно нет модных скачиваний в несколько потоков.

"Выпуск GNU Wget 1.15"
Отправлено linux must _RIP__ , 20-Янв-14 18:39 
пахать? wget нормально не умеет имя с образом шапки вытянуть из http ответа. curl с этим справляется, как и axel..

"Выпуск GNU Wget 1.15"
Отправлено userd , 20-Янв-14 19:22 
Это про --content-disposition ?

"Выпуск GNU Wget 1.15"
Отправлено Andrey Mitrofanov , 20-Янв-14 19:27 
> пахать? wget нормально не умеет имя с образом шапки вытянуть из http
> ответа. curl с этим справляется, как и axel..

Доброволец?! Марш тестить http://www.gnu.org/software/wget/manual/wget.html#index-Cont... экспериментальные фичи.


"Выпуск GNU Wget 1.15"
Отправлено Michael Shigorin , 20-Янв-14 23:13 
> пахать? wget нормально не умеет имя с образом шапки вытянуть из http ответа

Для новичков подсказка: --trust-server-names и CVE-2010-2252.

PS: разводить в каждой ~десятой теме вой про libdwg ни к чему, лучше один раз качественно зафиксировать разбор полётов на wiki.opennet.ru, сообща его доработать до полезного вида и ссылаться туда.


"Выпуск GNU Wget 1.15"
Отправлено Аноним , 21-Янв-14 03:04 
Вот именно, в wget до сих пор нет многопоточности. Поэтому я пользую aria.
И после разрыва с продолжением докачки, файлы скаченные арией открываются на ура, а в wget всегда были проблемы со склейкой файлов.

"Выпуск GNU Wget 1.15"
Отправлено Аноним , 20-Янв-14 20:18 
>  Всё же, aria лучше будет wgetа.

Сравнили, блин, цессну с трансокеанским лайнером...

> А curl глючный.

ORLY?

> Что за axel не помню.

А зря. Мизерная прога на 30 кило. Единственная программа которая когда приперло утянула файл с сервака обрывавшего связь каждые 5...20 кб за _разумное_ время. И файл не побился. Все остальные в такой ситуации или файл били или время скачки "осталось 2 недели и еще полдня сверху, please wait".


"Выпуск GNU Wget 1.15"
Отправлено Аноним , 21-Янв-14 03:14 
Качай с нормальных файлообменников.

"Выпуск GNU Wget 1.15"
Отправлено Аноним , 21-Янв-14 22:44 
> Качай с нормальных файлообменников.

Да вот блин, было как-то дело - файл нашелся на 1 серваке на всю планету. И тот глюкавый донельзя, рвет соединение постоянно. Файл был нужен позарез (техническая документация, которую в нормальном виде под NDA выдают). Вот и пришлось изгаляться. И единственный кто это смог утянуть - axel. Остальные все обосpaлись. И curl и wget, и aria2, и кого я там не пробовал. Или файл битый или нет многопоточной скачки и из-за таймаутов при затыке время скачки в две недели обещают.


"Выпуск GNU Wget 1.15"
Отправлено guest , 21-Янв-14 23:03 
>> Качай с нормальных файлообменников.
> Да вот блин, было как-то дело - файл нашелся на 1 серваке
> на всю планету. И тот глюкавый донельзя, рвет соединение постоянно. Файл
> был нужен позарез (техническая документация, которую в нормальном виде под NDA
> выдают). Вот и пришлось изгаляться. И единственный кто это смог утянуть
> - axel. Остальные все обосpaлись. И curl и wget, и aria2,
> и кого я там не пробовал. Или файл битый или нет
> многопоточной скачки и из-за таймаутов при затыке время скачки в две
> недели обещают.

На будущее, можно изгальнуться как-то так:
echo "GET /file /HTTP1.1
host: host
Accept-Ranges: bytes
Range: 1-1000" | nc host 80
В цикле, с сохранением кусочков.
Хотя wget с запросом диапазона тоже справился бы маленькими кусочками.


"Выпуск GNU Wget 1.15"
Отправлено arisu , 21-Янв-14 15:58 
> А зря. Мизерная прога на 30 кило.

и почти ничего не умеет. даже качать толком, если честно. я её когда-то начинал чинить, а потом задолбался.


"Выпуск GNU Wget 1.15"
Отправлено Аноним , 21-Янв-14 22:45 
> и почти ничего не умеет. даже качать толком, если честно. я её
> когда-то начинал чинить, а потом задолбался.

Вот как раз качать он умеет. Это единственное что он умеет, но он сделал на глючном серваке всех остальных с отрывом. И я бы рад использовать другой сервак, но меня временами интересуют файлы которые не так уж просто найти, всякие техдоки под NDA, etc.


"Выпуск GNU Wget 1.15"
Отправлено Аноним , 20-Янв-14 15:25 
Жаль только все GUI к wget бросили развивать и некоторые даже исходники умудрились прос-ь.

"Выпуск GNU Wget 1.15"
Отправлено бедный буратино , 20-Янв-14 15:26 
> Жаль только все GUI к wget бросили развивать и некоторые даже исходники
> умудрились прос-ь.

xterm уже много лет лидирует в категории gui для wget :)


"Выпуск GNU Wget 1.15"
Отправлено Аноним , 20-Янв-14 15:54 
А чё, в urxvt не запускается?

"Выпуск GNU Wget 1.15"
Отправлено Аноним , 20-Янв-14 17:08 
GUI? Для wget? НО ЗАЧЕМ?

"Выпуск GNU Wget 1.15"
Отправлено asavah , 20-Янв-14 17:12 
> GUI? Для wget? НО ЗАЧЕМ?

дык вантузятники недобитые кнопочек захотели


"Выпуск GNU Wget 1.15"
Отправлено бедный буратино , 20-Янв-14 18:07 
>> GUI? Для wget? НО ЗАЧЕМ?
> дык вантузятники недобитые кнопочек захотели

добить. и кнопочки отобрать.


"Выпуск GNU Wget 1.15"
Отправлено Аноним , 20-Янв-14 20:13 
> дык вантузятники недобитые кнопочек захотели

Пусть идут на свою убунту, и просят у Марка гуй на пистоне с QML, не?


"Выпуск GNU Wget 1.15"
Отправлено Аноним , 21-Янв-14 03:21 
Затем, хотя бы, что в некоторых из них есть многопоточность, коей в wget нет и не предвидется.

"Выпуск GNU Wget 1.15"
Отправлено Led , 21-Янв-14 03:24 
> Затем, хотя бы, что в некоторых из них есть многопоточность, коей в
> wget нет и не предвидется.

Вендузоид, шёл бы ты... в свою песочницу.


"Выпуск GNU Wget 1.15"
Отправлено Аноним , 21-Янв-14 11:59 
Причём здесь виндовс?

"Выпуск GNU Wget 1.15"
Отправлено arisu , 21-Янв-14 16:00 
> Причём здесь виндовс?

при отсутствии мозга респондента. ну, и при характерных запросах, которые *странны*.


"Выпуск GNU Wget 1.15"
Отправлено Аноним , 22-Янв-14 00:12 
>> Причём здесь виндовс?
> при отсутствии мозга респондента. ну, и при характерных запросах, которые *странны*.

А почему ты считаешь странным многопоточную скачку, которая, например, есть в FDM? Который вполне себе под GPL и free? Ты никогда архив на 4 Гб не качал, не?


"Выпуск GNU Wget 1.15"
Отправлено Michael Shigorin , 22-Янв-14 02:29 
> А почему ты считаешь странным многопоточную скачку, которая, например, есть в FDM?

Потому что если тащить с одного сервера не через gprs в подвале, то многопоточная загрузка является пережитком времён, когда одни пытались хоть как-то регулировать потребление своих 64kbps на отдачу и лимитировали скорость отгрузки, а другие пытались их (и всех остальных юзеров) нажухать несколькими потоками.

> Ты никогда архив на 4 Гб не качал, не?

Однажды какое-то чудо качало примерно такой архив с ftp.linux.kiev.ua в не помню сколько сотен потоков, а я был добрый и помимо тогда ещё ста мегабит без ограничения на поток держал лимит на кол-во потоков с одного адреса довольно высоким.

Так вот подобные идиоты _не_ ускоряют свою закачку (если ускоряют -- им надо протереть глаза и сменить провайдера), а вот существенно повысить нагрузку на дисковую систему небольшого одиночного сервера кучей запросов по сорок килобайт, которые не ложатся вменяемым образом на то, что может себе представить и им сделать readahead, и соответствующим кратным ростом количества синхронных (тогда ещё) записей в лог -- могут.

Одно такое чудо пришлось просто зарубить на файрволе, потому что несколько часов LA~30 -- это всё-таки небольшой DoS и проблемы нормальным пользователям.

С тех пор ближайшее, что порождало подобный эффект -- это зеркало archlinux там же в сочетании с милой привычкой арчеводов подсовывать http-транспорт торренту и опять же бомбардировать запросами на мелкие кусочки.  Пообщались с ними тогда, но деталей уже не помню.


"Выпуск GNU Wget 1.15"
Отправлено arisu , 22-Янв-14 03:48 
> Ты никогда архив на 4 Гб не качал, не?

нет, всё больше исохи всякие. отлично качается. в один поток.


"Выпуск GNU Wget 1.15"
Отправлено asavah , 20-Янв-14 17:12 
GUI для wget?
да сколько угодно...
браузером звать.

"Выпуск GNU Wget 1.15"
Отправлено Andrey Mitrofanov , 20-Янв-14 19:29 
> GUI для wget?
> да сколько угодно...
> браузером звать.

Ты, эта!, нас не путай. Бровзер - гуй для нетката.


"Выпуск GNU Wget 1.15"
Отправлено хрюкотающий зелюк , 21-Янв-14 00:59 
> Ты, эта!, нас не путай. Бровзер - гуй для нетката.

5 баллов =)))


"Выпуск GNU Wget 1.15"
Отправлено Аноним , 21-Янв-14 03:20 
Зачем нужна эта сетевая кошка?

"Выпуск GNU Wget 1.15"
Отправлено Led , 21-Янв-14 03:22 
> Зачем нужна эта сетевая кошка?

Уроки не пропускай - там расскажут.


"Выпуск GNU Wget 1.15"
Отправлено Michael Shigorin , 21-Янв-14 03:32 
> Уроки не пропускай - там расскажут.

Эт где?! :)


"Выпуск GNU Wget 1.15"
Отправлено Andrey Mitrofanov , 21-Янв-14 12:36 
>> Уроки не пропускай - там расскажут.
> Эт где?! :)

Там, где про старину Мюллера рассказывают:

cat
   _II [kæt] _n. (_сокр. от caterpillar tractor) _ам. _разг.
         1) гусеничный трактор


"Выпуск GNU Wget 1.15"
Отправлено Аноним , 20-Янв-14 20:02 
Мсье, а гуйня к echo и cat Вам не нужна? Гуйцов хотите? Так есть тот же kget.

"Выпуск GNU Wget 1.15"
Отправлено Аноним , 21-Янв-14 03:19 
Он за собой половину KDE и весь QT тянет.

"Выпуск GNU Wget 1.15"
Отправлено Led , 21-Янв-14 03:21 
> Он за собой половину KDE и весь QT тянет.

pytty.exe за собой всю венду тянет. Но это ведь не останавливает "истинных юниксоидов".


"Выпуск GNU Wget 1.15"
Отправлено Аноним , 21-Янв-14 11:58 
И они ставят винду в виртуалбоксе?

"Выпуск GNU Wget 1.15"
Отправлено Аноним , 22-Янв-14 00:13 
> И они ставят винду в виртуалбоксе?

Прям! Это не труЪ! На баре метал, на баре метал!


"Выпуск GNU Wget 1.15"
Отправлено arisu , 21-Янв-14 16:01 
> Он за собой половину KDE и весь QT тянет.

проверил. ложь. QuickTime не требуется.