После полутора лет разработки доступна (http://ftp.gnu.org/gnu/wget/) новая версия программы для автоматизации загрузки контента с использованием протоколов HTTP и FTP - GNU Wget 1.15 (http://www.gnu.org/software/wget/).
Ключевые улучшения (https://github.com/mirror/wget/blob/master/NEWS):
- Поддержка опции "--https-only", разрешающей только обращения по защищённому соединению для текущего сеанса (при рекурсивной загрузке игнорируются все не HTTPS-ссылки);
- Добавлена поддержка опции "--method" через которую можно указать используемый для запроса HTTP-метод без переопределения HTTP-заголовка через опцию "--header";- Поддержка алгоритма аутентификации MD5-SESS (http://www.ietf.org/rfc/rfc2617.txt);
- Обеспечена возможность использования имён файлов, длиннее, чем значение MAX_FILE;
- Возможность указания сокращённых URL во входном файле с адресами (--input-file);
- Поддержка FTP-серверов, возвращающих пустой список при указании команды "LIST -a". Поддержка вывода списка файлов при обращении к FTP-серверу из состава Windows Server 2008 R2;
- Налажена работа опции продолжения загрузки (-с) при обращении к северам, не передающим данные о размере контента (заголовок content-length);- В опции "--secure-protocol" теперь поддерживается протокол PFS (Perfect Forward Secrecy (http://ru.wikipedia.org/wiki/Perfect_forward_secrecy)).
URL: http://ftp.gnu.org/gnu/wget/
Новость: http://www.opennet.me/opennews/art.shtml?num=38888
"Налажена работа опции продолжения загрузки (-с) при обращении к северам, не передающим данные о размере контента (заголовок content-length)"
И 16-ти лет не прошло!
Ага, джацать лет ждал! (серьезно)
Проекту 15 лет.
Интересно, а теперь чтоб качать файлы с нормальными с ex.ua именами нужно добавлять опцию --content-disposition или оно автотоматически научилось это делать?
$ cat .wgetrc
content-disposition = on
Всё же, aria лучше будет wgetа.
А curl глючный.
Что за axel не помню.
aria такой же глючный как и axel. wget - лошадь, на которой можно пахать и пахать, хотя конечно нет модных скачиваний в несколько потоков.
пахать? wget нормально не умеет имя с образом шапки вытянуть из http ответа. curl с этим справляется, как и axel..
Это про --content-disposition ?
> пахать? wget нормально не умеет имя с образом шапки вытянуть из http
> ответа. curl с этим справляется, как и axel..Доброволец?! Марш тестить http://www.gnu.org/software/wget/manual/wget.html#index-Cont... экспериментальные фичи.
> пахать? wget нормально не умеет имя с образом шапки вытянуть из http ответаДля новичков подсказка: --trust-server-names и CVE-2010-2252.
PS: разводить в каждой ~десятой теме вой про libdwg ни к чему, лучше один раз качественно зафиксировать разбор полётов на wiki.opennet.ru, сообща его доработать до полезного вида и ссылаться туда.
Вот именно, в wget до сих пор нет многопоточности. Поэтому я пользую aria.
И после разрыва с продолжением докачки, файлы скаченные арией открываются на ура, а в wget всегда были проблемы со склейкой файлов.
> Всё же, aria лучше будет wgetа.Сравнили, блин, цессну с трансокеанским лайнером...
> А curl глючный.
ORLY?
> Что за axel не помню.
А зря. Мизерная прога на 30 кило. Единственная программа которая когда приперло утянула файл с сервака обрывавшего связь каждые 5...20 кб за _разумное_ время. И файл не побился. Все остальные в такой ситуации или файл били или время скачки "осталось 2 недели и еще полдня сверху, please wait".
Качай с нормальных файлообменников.
> Качай с нормальных файлообменников.Да вот блин, было как-то дело - файл нашелся на 1 серваке на всю планету. И тот глюкавый донельзя, рвет соединение постоянно. Файл был нужен позарез (техническая документация, которую в нормальном виде под NDA выдают). Вот и пришлось изгаляться. И единственный кто это смог утянуть - axel. Остальные все обосpaлись. И curl и wget, и aria2, и кого я там не пробовал. Или файл битый или нет многопоточной скачки и из-за таймаутов при затыке время скачки в две недели обещают.
>> Качай с нормальных файлообменников.
> Да вот блин, было как-то дело - файл нашелся на 1 серваке
> на всю планету. И тот глюкавый донельзя, рвет соединение постоянно. Файл
> был нужен позарез (техническая документация, которую в нормальном виде под NDA
> выдают). Вот и пришлось изгаляться. И единственный кто это смог утянуть
> - axel. Остальные все обосpaлись. И curl и wget, и aria2,
> и кого я там не пробовал. Или файл битый или нет
> многопоточной скачки и из-за таймаутов при затыке время скачки в две
> недели обещают.На будущее, можно изгальнуться как-то так:
echo "GET /file /HTTP1.1
host: host
Accept-Ranges: bytes
Range: 1-1000" | nc host 80
В цикле, с сохранением кусочков.
Хотя wget с запросом диапазона тоже справился бы маленькими кусочками.
> А зря. Мизерная прога на 30 кило.и почти ничего не умеет. даже качать толком, если честно. я её когда-то начинал чинить, а потом задолбался.
> и почти ничего не умеет. даже качать толком, если честно. я её
> когда-то начинал чинить, а потом задолбался.Вот как раз качать он умеет. Это единственное что он умеет, но он сделал на глючном серваке всех остальных с отрывом. И я бы рад использовать другой сервак, но меня временами интересуют файлы которые не так уж просто найти, всякие техдоки под NDA, etc.
Жаль только все GUI к wget бросили развивать и некоторые даже исходники умудрились прос-ь.
> Жаль только все GUI к wget бросили развивать и некоторые даже исходники
> умудрились прос-ь.xterm уже много лет лидирует в категории gui для wget :)
А чё, в urxvt не запускается?
GUI? Для wget? НО ЗАЧЕМ?
> GUI? Для wget? НО ЗАЧЕМ?дык вантузятники недобитые кнопочек захотели
>> GUI? Для wget? НО ЗАЧЕМ?
> дык вантузятники недобитые кнопочек захотелидобить. и кнопочки отобрать.
> дык вантузятники недобитые кнопочек захотелиПусть идут на свою убунту, и просят у Марка гуй на пистоне с QML, не?
Затем, хотя бы, что в некоторых из них есть многопоточность, коей в wget нет и не предвидется.
> Затем, хотя бы, что в некоторых из них есть многопоточность, коей в
> wget нет и не предвидется.Вендузоид, шёл бы ты... в свою песочницу.
Причём здесь виндовс?
> Причём здесь виндовс?при отсутствии мозга респондента. ну, и при характерных запросах, которые *странны*.
>> Причём здесь виндовс?
> при отсутствии мозга респондента. ну, и при характерных запросах, которые *странны*.А почему ты считаешь странным многопоточную скачку, которая, например, есть в FDM? Который вполне себе под GPL и free? Ты никогда архив на 4 Гб не качал, не?
> А почему ты считаешь странным многопоточную скачку, которая, например, есть в FDM?Потому что если тащить с одного сервера не через gprs в подвале, то многопоточная загрузка является пережитком времён, когда одни пытались хоть как-то регулировать потребление своих 64kbps на отдачу и лимитировали скорость отгрузки, а другие пытались их (и всех остальных юзеров) нажухать несколькими потоками.
> Ты никогда архив на 4 Гб не качал, не?
Однажды какое-то чудо качало примерно такой архив с ftp.linux.kiev.ua в не помню сколько сотен потоков, а я был добрый и помимо тогда ещё ста мегабит без ограничения на поток держал лимит на кол-во потоков с одного адреса довольно высоким.
Так вот подобные идиоты _не_ ускоряют свою закачку (если ускоряют -- им надо протереть глаза и сменить провайдера), а вот существенно повысить нагрузку на дисковую систему небольшого одиночного сервера кучей запросов по сорок килобайт, которые не ложатся вменяемым образом на то, что может себе представить и им сделать readahead, и соответствующим кратным ростом количества синхронных (тогда ещё) записей в лог -- могут.
Одно такое чудо пришлось просто зарубить на файрволе, потому что несколько часов LA~30 -- это всё-таки небольшой DoS и проблемы нормальным пользователям.
С тех пор ближайшее, что порождало подобный эффект -- это зеркало archlinux там же в сочетании с милой привычкой арчеводов подсовывать http-транспорт торренту и опять же бомбардировать запросами на мелкие кусочки. Пообщались с ними тогда, но деталей уже не помню.
> Ты никогда архив на 4 Гб не качал, не?нет, всё больше исохи всякие. отлично качается. в один поток.
GUI для wget?
да сколько угодно...
браузером звать.
> GUI для wget?
> да сколько угодно...
> браузером звать.Ты, эта!, нас не путай. Бровзер - гуй для нетката.
> Ты, эта!, нас не путай. Бровзер - гуй для нетката.5 баллов =)))
Зачем нужна эта сетевая кошка?
> Зачем нужна эта сетевая кошка?Уроки не пропускай - там расскажут.
> Уроки не пропускай - там расскажут.Эт где?! :)
>> Уроки не пропускай - там расскажут.
> Эт где?! :)Там, где про старину Мюллера рассказывают:
cat
_II [kæt] _n. (_сокр. от caterpillar tractor) _ам. _разг.
1) гусеничный трактор
Мсье, а гуйня к echo и cat Вам не нужна? Гуйцов хотите? Так есть тот же kget.
Он за собой половину KDE и весь QT тянет.
> Он за собой половину KDE и весь QT тянет.pytty.exe за собой всю венду тянет. Но это ведь не останавливает "истинных юниксоидов".
И они ставят винду в виртуалбоксе?
> И они ставят винду в виртуалбоксе?Прям! Это не труЪ! На баре метал, на баре метал!
> Он за собой половину KDE и весь QT тянет.проверил. ложь. QuickTime не требуется.