URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 125366
[ Назад ]
Исходное сообщение
"Первый стабильный релиз утилиты для загрузки web-контента GNU Wget2"
Отправлено opennews , 27-Сен-21 08:42 
После трёх с половиной лет разработки представлен первый стабильный релиз проекта GNU Wget2, развивающего полностью переработанный вариант программы для автоматизации рекурсивной загрузки контента GNU Wget. GNU Wget2 спроектирован и переписан с нуля и примечателен выносом базовой функциональности web-клиента в библиотеку libwget, которая может обособленно применяться в приложениях. Утилита поставляется под лицензией GPLv3+, а библиотека под LGPLv3+...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=55873

Содержание
Сообщения в этом обсуждении
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Имя , 27-Сен-21 08:42 
> Переход на многопоточную архитектуру.
> Возможность параллельной установки нескольких соединений и загрузки в несколько потоков. В том числе возможно распараллеливание загрузки одного файла с разбивкой на блоки при помощи опции "--chunk-size".

Охренеть, aria2 можно выкидывать?

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 08:52 
Зачем? Она Metalink умеет давно и ширше, в т.ч. скачивать по p2p
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Имя , 27-Сен-21 08:57 
Я имею ввиду когда один и тот же файл с одного сервера скачивается в несколько потоков. Иногда на дерьмовых и/или ограниченных соединениях позволяет сильно увеличить скорость скачивания.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено kissmyass , 27-Сен-21 13:31 
aria позволяет делать это для SSH, что прям киллер фича, а еще торрент скачать можно
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено lockywolf , 28-Сен-21 06:25 
Но только с паролем, а не по ключу.

Может, запилишь, а?

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено kissmyass , 30-Сен-21 02:15 
> Но только с паролем, а не по ключу.
> Может, запилишь, а?

лучше так, чем никак, рано или поздно будут и ключи

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Spoofing , 27-Сен-21 08:46 
> За исключением прекращения поддержки протокола FTP

Была удобная утилита для тестирования работоспособности серверов в т.ч. и FTP, теперь её не стало. Молодцы, чо.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено iPony129412 , 27-Сен-21 08:50 
Опять луддиты возмущаются удалению устаревших технологий 🤨
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 09:25 
опять поня пишет херню
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено bugmenot , 27-Сен-21 10:29 
Ну так-то FTP никуда не делся как протокол и успешно юзается
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено asdasdasd , 27-Сен-21 12:06 
Репы в дистрах итак и md5 и gpg имеют, нафига там что-то больше чем ftp?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено kissmyass , 28-Сен-21 02:03 
может чтобы провайдер не мог знать какие именно ты пакеты тащишь?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 11:53 
FTP поддерживает шифрование, во вторых какие именно пакеты я тащу — видит сервер с которого я их тащу, почему при этом я должен стеснятся своего провайдера? Я пользуюсь GNU/Linux и не стесняюсь этого :-)
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено kissmyass , 30-Сен-21 02:07 
> FTP поддерживает шифрование, во вторых какие именно пакеты я тащу — видит
> сервер с которого я их тащу, почему при этом я должен
> стеснятся своего провайдера? Я пользуюсь GNU/Linux и не стесняюсь этого :-)

FTP не поддерживает, ты хотел сказать FTPS, ну так нах нам нужен еще один велосапед

есть HTTPS и через него можно тащить

и да кстати, вменяемый сервер ты можешь выбрать (да хоть свой развернуть), а вменяемого провайдера, пожалуй нет, чебурнет на дворе

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Тот_Самый_Анонимус , 27-Сен-21 12:09 
>В 2k21-ом бы за FTP топить...

И это пишет нам «авторитет», использующий оборот 2кxx в 2021-м году? Давно пора перестать тащиться от шутки двадцатилетней давности.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 13:49 
А вот, кстати, ради без systemd, стоит вернуться назад.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 14:03 
> Эй, ребята, какой ещё x86_64? Какой ещё systemd? Не смешно уже, это старая шутка,
> верните Pentium 4 и баш-портяночки! Прогресс - это не смешно, это страшно!

Да-да, вам с вантуза виднее, что лучше и правильнее.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Тот_Самый_Анонимус , 27-Сен-21 16:49 
Есть такой принцип: дёшево и сердито. ФТП относится к достаточно простым нересурсоёмким технологиям. Но для вас прогресс — не средство, а цель.

Человечество пользуется круглым колесом тысячелетиями, и никому не приходит в голову что форма устарела просто потому, что при Юлии Цезаре такая была.

Да что там говорить: вы пользуетесь азбукой, которой более тысячи лет. Современной её версии около сотни. И не припекает же.

Удачные технологические решения могут существовать долго, до тех пор, пока востребованы. А отказ от фтп, потому что «не модно и не молодёжно» — бред, как и отказ от флеша

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Zulu , 27-Сен-21 21:09 
FTP is notoriously different to implement properly. Все ftp-серверы пособирали два вагона граблей за свою жизнь.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Zulu , 27-Сен-21 21:10 
difficult фак мой мозг.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Тот_Самый_Анонимус , 28-Сен-21 06:05 
> FTP is notoriously different to implement properly. Все ftp-серверы пособирали два вагона граблей за свою жизнь.

И? В чём проблема исправлять эти грабли, а не закрывать протокол? Никто же не отказывается от http/https, потому что там граблей хватало.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 22:34 
А я никуда и не уходил с BSD Init. Это у лап4тых постоянно перестановка кроватей, стильных, модных, молодежных.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Тинус Лорвальдс , 28-Сен-21 02:45 
А, ну теперь-то понятно откуда столько негатива в сторону фтп. Огрызки сказали, что фтп фу и пора выкинуть - леминги согласны, огрызки сказали, что пптп _нибизапасный_ и выкинули поддержку - леминги снова слились в экстазе одобрения. Последнее предложение лишь подтверждает отсутствие своих мозгов у секты свидетелей огрызка.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Тинус Лорвальдс , 28-Сен-21 11:08 
>Правда, в MacOS есть полная поддержка FTP

https://developer.apple.com/forums/thread/97469

>фтп фу и пора выкинуть
>никто её никуда не выкидывал

Ох уж эта секта...

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Тинус Лорвальдс , 28-Сен-21 11:25 
лемминги снова слились в экстазе одобрения - это же прахрес, эпл лучше знает, что нам надо!
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Тинус Лорвальдс , 28-Сен-21 14:56 
>Apple делает божественный интерфейс

Нет. Но я разве могу доказать это свидетелю секты имени огрызка?(это риторический вопрос)
>GNOME тут же его копирует

Вообще ни разу, причем гном 3 такая же хрень как интерфейс мака, только другая хрень.
>Apple вводит launchd - линуксоиды тут же лепят systemd

Идея - да. Только если выступить в роли адвоката дьявола, то стоит сказать, что твой этот launchd - кусок недоделаного говна по сравнению с systemd на сегодня.
>Apple делает "Системные настройки" - KDE-линуксоиды тут же слизывают оформление 1-в-1

Я уже запутался кто там что копирует - кеды или гном? Или и те и те? Или кеды у винды? Или наоборот? _Памагите разабраца!_
>И кто тут лемминги?

Ответ очевиден - ты уже несколько раз это доказал.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено _kp , 27-Сен-21 20:46 
Зато, ftp всегда работает. И может как основной способ передачи и устарел, но бывает надо внезапно связь организовать с чем есть, или загрузчики быаают извратные.
Вынесли бы в плагины, и полный порядок, вроде и избавились, но и не похоронили.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено asdfkj , 28-Сен-21 10:41 
для загрузчиков есть tftp. Для "быстро поднять здесь и сейчас" - netcat. для передачи по сети с авторизацией и со всем вот этим - scp, rsync и иже с ними. Для мелких устройств есть busybox, в котором реализован примитивный, но достаточный httpd. сейчас ftp устарел к тому же может быть небезопасен, хотя сейчас уже найти реализацию без песочницы наверно проблематично.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 12:21 
За что ты не любишь самый лучший протокол для передачи почты?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 13:47 
Для него почта в облаках.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 13:54 
>В 2k21-ом бы за FTP топить...

Не знаю, как у вас там на Мелмаке в 2k21, но у нас тут в 2021-м всё ещё нужен.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 19:23 
> 2k21-ом

021.М201?
Требуется срочное вмешательство Ордо Хронос.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено n00by , 27-Сен-21 19:39 
У меня бумажная книга. Получается, ты меня оклеветал. Твои предложения?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено n00by , 27-Сен-21 19:48 
Хорошо, начнём. Почему ты называешь себя "никто"? Остальные балаболы предпочитают "все".
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Тинус Лорвальдс , 28-Сен-21 11:14 
>Во всём мире "2k" значит "2 000"

Во всём мире год принято писать цифрами, лишь только некоторые неумные персонажи с эмодзями вместо мозгов пишут с буквами.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Тот_Самый_Анонимус , 29-Сен-21 05:39 
>Во всём мире "2k" значит "2 000".

На самом деле луддит — ты. В России использовать буквы в числах перестали к концу 18-го века, а ты всё держишься за этот атавизм. Старовер, видимо.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено rvs2016 , 27-Сен-21 13:09 
> И плевать, что FTP давным-давно умер
> и из коробки был костыльным изобретением

Ну так тогда по той же причине выкиньте на ту же свалку истории и точно так же мёртворождённый SMTP. Ну в смысле во времена рождения он мёртвым-то, конечно, не был. Это только потом в эпоху спамерства и всяких прочих неудобств стало известно, что рождён он мертвым.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено aname , 27-Сен-21 18:23 
Спешите видеть: очередной эксперд в треде рассказывает про умершие протоколы, пока не принял таблетки.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 19:15 
В каком, нахран, БРОЙЗЕРЕ?! Новость про wget2.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 12:11 
Ну да, нет эмодзей - технология устаревшая.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено нах.. , 27-Сен-21 18:36 
Ну так а че тут делаеш, топай в свой мякаосе, там все новое свежее, все довольны что дали с лопаты.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Ю.Т. , 27-Сен-21 08:55 
Так никуда не делся и 1-й wget.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 12:14 
>утилита для тестирования работоспособности серверов в т.ч. и FTP

Wget пока никуда не делся.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Я , 27-Сен-21 17:29 
Фтп на сервере который в 2021 мэйнтейнится, а не заброшен в 2012м?
Там где заброшено давно всё оттестировано, там где сервер обслуживается нафига фтп он года 4 уже депрекейтед?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено lockywolf , 28-Сен-21 06:30 
> Фтп на сервере который в 2021 мэйнтейнится, а не заброшен в 2012м?
> Там где заброшено давно всё оттестировано, там где сервер обслуживается нафига фтп
> он года 4 уже депрекейтед?

Кем депрекейтед? FTP Inc, зарегистрированной на Британских Виргинских Островах специально, чтобы задепрекейтить?

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено asdfkj , 28-Сен-21 10:30 
А чем, собственно, либо wget, lftp или непосредственно ftp не устраивает? они как были, так и остались.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 08:51 
Wget is dead, long live Wget?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 11:04 
Их просто стало два
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноим , 27-Сен-21 18:31 
Список холиваров:
    Windows vs. Linux
    Vi vs. Emacs
+++ wget vs. wget2
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено n00by , 27-Сен-21 19:43 
> +++ wget vs. wget2

2 wget or not 2 wget

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Атон , 27-Сен-21 20:32 
тонко!
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 14:49 
2wget != wget2
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено n00by , 28-Сен-21 15:01 
The header <iso646.h> defines the following eleven macros (on the left) that expand to the corresponding tokens (on the right):

and      && 
and_eq   &= 
bitand   & 
bitor    |
compl    ~ 
not      ! 
not_eq   != 
or       || 
or_eq    |= 
xor      ^
xor_eq   ^=

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 08:58 
Забавно. Старых технологий типа FTP уже нет, а новых типа HTTP/3 ещё нет. Это во многом так. Хоть с железом - поддержку старого выкинули, поддержку нового не завезли. Остаётся выбирать золотую середину, которая будет ~ работать пару лет.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 09:07 
HTTP/3 это не технология, а гугловская хотелка дня.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено гугель , 27-Сен-21 12:30 
Будешь жрать!
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 14:50 
Только если жрать Google, а остальные будут решать по аудитории. Если аудитории на HTTP3 не будет, то на кой оно нужно поддерживать - лишний геморой.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 12:43 
Гугл был первым, а вам остается только обезьянничать.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено One More Аноним , 27-Сен-21 22:44 
Когда МС всех нагибает, ибо может - у пингвинят визг стоит. Когда Гугле - они радостно раздвигают ножки.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено z , 28-Сен-21 13:03 
любофф..
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Прохожий , 29-Сен-21 00:52 
и гоглуби
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 16:42 
Там же кроме использования QUICK ничего не поменялось особо?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Zulu , 27-Сен-21 20:54 
Если смотреть с высоты HTTP-запроса, то нет. А ниже уровнем да, так как там (1) весь транспорт в юзерленде (2) TLS перемешан в один фарш со всем остальным. По сравнению с этим HTTPS гораздо чище: вот тебе ось пакетики гоняет, вот тебе secure sockets layer всю секуриту делает, а ты знай себе plaintext запросы отправляй да plaintext ответы парсь.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено lockywolf , 28-Сен-21 06:32 
> Если смотреть с высоты HTTP-запроса, то нет. А ниже уровнем да, так
> как там (1) весь транспорт в юзерленде (2) TLS перемешан в
> один фарш со всем остальным. По сравнению с этим HTTPS гораздо
> чище: вот тебе ось пакетики гоняет, вот тебе secure sockets layer
> всю секуриту делает, а ты знай себе plaintext запросы отправляй да
> plaintext ответы парсь.

Пока packet loss 0%, всё "чисто".

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 11:57 
Для защиты от packet loss есть TCP и ОС с гарантированной доставкой.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено lockywolf , 28-Сен-21 13:59 
> Для защиты от packet loss есть TCP и ОС с гарантированной доставкой.

График зависимости скорости TCP от лосса сам поищешь, или тебе прожевать и в рот положить?

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Онаним , 27-Сен-21 09:09 
Годно.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 09:16 
Чем FTP плох?
Почему от него отказываются?
Есть же SFTP где всё шифруется и безопасно
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено chipp , 27-Сен-21 09:22 
FTP и SITE   это ра-азные протоколы.
А FTP ну уж ОЧЕНЬ стар. Почти  как UUCP.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 09:24 
> А FTP ну уж ОЧЕНЬ стар

вы тоже, и что?

почему вы не как iCat пишите?

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено iCat , 27-Сен-21 09:39 
>почему вы не как iCat пишите?

С телефончика отвечал... Лень было авторизоваться...

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено iCat , 27-Сен-21 09:40 
>> А FTP ну уж ОЧЕНЬ стар
>вы тоже, и что?

Ты про протокол UUCP что-нибудь знаешь? А ведь он некогда был вообще одним из основных...

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено n00by , 27-Сен-21 17:22 
> А FTP ну уж ОЧЕНЬ стар.

Суперстар. https://youtu.be/o-VO_OCH8A8

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 09:23 
просто заинтересованным лицам необходимо обосновывать размеры своих заработных плат
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Wladmis , 27-Сен-21 09:42 
> Чем FTP плох?
> Почему от него отказываются?

Неуклюжий протокол, требуюший дополнительного порта. Чтобы это работало в современных (где-то с 90-х годов) интернетах, специально были добавлены хаки для поддержки именно этого протокола в роутеры и сетевые фильтры. При этом сейчас (уже лет 20) никто не использует его для того, для чего он был разработан, только файлики "анонимно" (т.е., без аутентификации) по нему качают.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 10:11 
И утилита, предназначенная для скачивания файликов, делать это не умеет. Прелестно.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Ты Вася а я господь Бог , 27-Сен-21 11:36 
Не ври. Утилита никуда не делась, первый вгет как качал так и качает, а вгет2 для фтп не предназначен(тут ты тоже тупо соврал).
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 12:15 
Ну так-то и reget никуда не делся, но мы тут wget2 обсуждаем — который как утилита для скачивания, очевидно, неполноценен.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Ты Вася а я господь Бог , 27-Сен-21 16:08 
> Ну так-то и reget никуда не делся, но мы тут wget2 обсуждаем — который
> как утилита для скачивания, очевидно, неполноценен.

Неполноценны те кому для работы с фтп нужен вгет/вгет2. Для фтп есть отдельные фтп-клиенты.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено aname , 27-Сен-21 18:28 
Т.е. wget2 как бы и не нужен, в общем- то.

Linux way

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 15:17 
Ну да, для ftp есть отдельные клиенты, его выкинем, а вот поддержку RSS и потокового вещания запихнём.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Я , 27-Сен-21 17:35 
Утилита для скачивания вебфайликов. Фтп больше не является частью вебпространства
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Kusb , 27-Сен-21 10:11 
А мне кажется даже логичным. Один поток для управления - другой для скачивания/закачивания. Можно просто лить все данные не заморачиваться (как?). И по моему он быстрее http.
Также ftp немного незаменим как простой файлообменный протокол при своей распространённости.
Ps: да, похоже UUCP тоже интересный.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Big Robert TheTables , 27-Сен-21 14:09 
в DPI сложнее, сессии могут улететь на разные инстанцы.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Kusb , 27-Сен-21 15:59 
> в DPI сложнее, сессии могут улететь на разные инстанцы.

Да, dpi похоже интересная штука... А почему это тогда в каком-нибудь http с множеством соединений не становится проблемой?
Что-то с состояниями, маркировкой соединений, как чувствую.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Big Robert TheTables , 27-Сен-21 18:21 
>> в DPI сложнее, сессии могут улететь на разные инстанцы.
> Да, dpi похоже интересная штука... А почему это тогда в каком-нибудь http
> с множеством соединений не становится проблемой?
> Что-то с состояниями, маркировкой соединений, как чувствую.

по http все-таки сессия одна. По ftp две, и вот если вторая улетела при балансировке "не туда", то "там", где её не ждут, нет понятия, что это фтп.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Zulu , 27-Сен-21 21:05 
В http/1 есть Connection: keep-alive, так что можно держать одно соединение (правда блокирующее). В http/2 есть отдельные стримы, так что можно держать неблокирующее соединение. Тем не менее описанная проблема существует, и решается или какой-нибудь печенькой, или таблицей ассоциаций по IP-адресам отправителя на лоад балансере.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено bugmenot , 27-Сен-21 10:32 
> только файлики "анонимно" (т.е., без аутентификации) по нему качают

Так а что в этом плохого? как-то же надо файлики качать

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 11:15 
>> Неуклюжий протокол, требуюший дополнительного порта.

Фатальный недостаток, однозначно.
80 и 443 заняты, на ftp не хватило.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено lockywolf , 28-Сен-21 06:34 
>>> Неуклюжий протокол, требуюший дополнительного порта.
> Фатальный недостаток, однозначно.
> 80 и 443 заняты, на ftp не хватило.

Фатальный, потому что остальные порты заблокированы.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 12:00 
Может вам провайдера поменять? Ваш похоже не обеспечивает доступ в интернет и сетевую связность.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено lockywolf , 28-Сен-21 13:51 
> Может вам провайдера поменять? Ваш похоже не обеспечивает доступ в интернет и
> сетевую связность.

Не обеспечивает, но его конкуренты тоже не обеспечивают.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено YetAnotherOnanym , 27-Сен-21 11:28 
Вся его "неуклюжесть" давным-давно завёрнута в написанные до нас библиотеки. Никаких танцев с бубном с динамическим открыванием портов для встречного соединения давно уже не нужно, для этого придумали пассивный режим. Для файлопомойки лучше ftp нет ничего (замечу, что из этого не следует, что нельзя тот же каталог экспортировать также самбой, простым http, вебдавом, nfs и всем чем угодно).
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 12:19 
Его модифицмровали. Уж лет 20, как не нужно клиенту держать открытый порт на приём входящих - Passive FTP.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 01:41 
Лол, зато на сервере это неизвестный номер порта, что создаёт проблемы с настройками фаирволов.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 12:03 
О боже мой, кто-то из интернета подключается на порты сервера для этого предназначенные! Вот же проблема то, катастрофа прямо. ICMP ещё не забудь запретить.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено lockywolf , 28-Сен-21 13:52 
> О боже мой, кто-то из интернета подключается на порты сервера для этого
> предназначенные! Вот же проблема то, катастрофа прямо. ICMP ещё не забудь
> запретить.

Они на провайдере заблокированы.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено mikhailnov , 27-Сен-21 17:43 
Разве вордпрессы на виртуальные хостинги уже не заканчивают по ftp?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 21:22 
А для скайпов, торентов, торов и иже с ними, в роутерах костылей, значится, нет, ага.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 11:13 
>> Чем FTP плох?

Высокие затраты на монетизацию трафика, рекламка не вставляется
Решили его похоронить и сосредоточиться на http/https

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено _hide_ , 27-Сен-21 12:06 
>>> Высокие затраты на монетизацию трафика, рекламка не вставляется
>>> Решили его похоронить и сосредоточиться на http/https

Это Вы загнули, какой-там http? Только HTTPS!

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 14:05 
HTTPS/3, только по QUICK!
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 14:09 
>> Это Вы загнули, какой-там http? Только HTTPS!

В каком месте? ftp начали закапывать сильно раньше http

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено _hide_ , 27-Сен-21 15:58 
>>> Это Вы загнули, какой-там http? Только HTTPS!
> В каком месте? ftp начали закапывать сильно раньше http

Пруфы.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 01:42 
На FTP как раз вставляется. И не просто рекламка, а трояны прямо в .exe шники. Это одна из причин по которой он должен быть закопан.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 12:05 
Используй FTPS.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 01-Окт-21 00:21 
После получения файла необходимо проверить контрольную сумму (какой-нибудь sha1, md5 и т.д) или подпись.
Неважно был ли скачан файл или на компакте, флешке, hdd его получил.

Протокол передачи предназначен для *передачи*. Если это осмыслите, то и проблем не будет.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено anonymous , 27-Сен-21 17:50 
> Чем FTP плох?

Ладно, можно ещё припомнить чем плох FTP. Допустим. Но что использовать вместо него? Отрицая - предлагай. Я серьёзно не против заменить ftp на более новый протокол, который решает те же самые задачи, но учитывает наработанный опыт. Но так ведь никто такой новый протокол не предлагает. А http заменой ftp не может быть. Он не для того заточен и передавать через него файлы хоть и можно, но костыль это знатный. И через ssh можно, но он тормозит по сравнению с ftp.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 09:17 
> спроектирован и переписан с нуля

на расте?

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено anonymous , 27-Сен-21 10:14 
GNU -- вряд ли
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 12:21 
Слава Ктулху, на православной Сишке.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 09:41 
libcurl круче.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 09:44 
Вот пока не доделают FTP на котором многие сайты с линуксом работают так и будут их игнорировать с новоделом. TFTP есть в роутерах и пока эти роутеры живы с поддержкой загрузки по TFTP как можно объявлять протокол устаревшим? HTTP что-то не закапывают стандартизаторы долбаные. Я хочу держать FTP сервак, а не целую самбу поднимать. Хорошо хоть всякие Filezilla на детородном органе вертели этих модных и няшных писак несовместимого хлама.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено qwe , 27-Сен-21 10:15 
Если не брать фанатиков кричащих вечно о новом и вообще о модном бездумно, многие _разумные_ люди понимают, что FTP заменить не удаётся от слова никак. При условии, что нужно написать 6 строк конфига и запустить один бинарник и ты можешь организовать папочку Uploads в приличных масштабах не запариваясь особо.

Эти деграданты хотят мучений с дыркой samba, а некоторые особо оплезные идиоты предлагают париться с еще более монструозными оверхедами. Ценности сместились, мода теперь их диктует, а не логика и задачи. Не удивляйтесь, им всё не почём.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено кокпок , 27-Сен-21 10:28 
В nginx для организации парочки как в ftp строчек в конфиг нужно не больше.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено qwe , 27-Сен-21 10:36 
Я не утверждал что нельзя веб сервером решать иные задачи. Они сейчас благо что тостер не заменят.
Но вот с фтп как раз на тостере можно было поднять файлообменник. У Slackware стоял файло-сервер 15 лет и хоть бы хны - устоявшийся простой и понятный протокол, который выполнял свои задачи хоть с тухлого роутера.
На роутере поднимать и настраивать вебсервер, это и правда логичная и оправданная замена и он не будет кушать больше ресурсов?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено kusb , 27-Сен-21 11:47 
А http не может быть проще, если не nginx/apache? Сам http не выглядит очень сложным и будет ли он жрать больше ресурсов? Про WebDAV не знаю особенно ничего, насколько он соответствует ftp в этом качестве. И можно ли его подмножество реализованное травиальным способом без выкрутасов.
ftp всё-таки не выглядит совершенно простым, там разные сложности. Просто он популярный среди простых, по идее.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 13:43 
К сожалению вебморды с вебсерверами бывают легкими. Вон даже netis старые с 4мб флеш памяти запихнули туда вебсервер. Пусть простенький, но он есть. Но никто не запрещает расшарить папку по ftp. Это действительно проще. С другой стороны CIFS уже в ядре и в теории доступ куда-то организовать легче, но проблема в том, что роутер, даже такой жирный с 512 мегабайтами памяти потратит кучу ресурсов в никуда. Почему бы память не занять NSD с компилированной и содержащейся в памяти таблицей соответствия имен и адресов? Да мало ли чего можно накрутить? Тратить больше 100 мегабайт на то, что может весить килобайты не совсем разумно. Но веб чем дальше тем жирнее и дырявее, если нет всякой мути с https 3, tls 1.3. Просто такой протокол как telnet не является частью каких-то монструозных проектов и потому живет себе и используется для входа на те же роутеры и игры по сети, а также для удаленного входа вместо SSH. Если связь ужасна по определению, то нужно использовать протокол, который борется за каждый бит передаваемой информации по модему. Они предлагают во встраиваемые системы тащить жирный веб? Ладно сервер легкий, а открывать его чем? FTP откроет любой консольный браузер. Так что по большому счету пофиг на брыкания этих упоротых наркоманов с новоделами. Пусть месяц посидят на мобильном интернете, тогда может прочувствует что такое "назад в будущее". У тебя вроде скорость, но она менее или около 10 мегабит или 1 мегабайт в секунду. А потом эти наркоманы пусть начинают взвешенно нести чушь.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено йуц , 27-Сен-21 10:41 
Хотим Uploads срочно на тухлом девайсе, скажем сотике, пусть это будет андроид.
Вы со своими nginx ами и остальным дерьмом попивая смузи чем займётесь???

А ведь такая ситуация была как-то в глуши, там на програмистском форуме людям срочно потребовалось раздать массово. И именно так и решили - смартфон+фтп.

Людишки сегодня как педики из фильма Разрушитель. Он архаично, но целеустремленно решает задачи - любые. А они прикоснуться к чему-то бояться - грязно, старо, сложно, непонятно, не модно.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Gefest , 27-Сен-21 10:56 
SSH же. Для получения пароля - звонить с 14 по 14:15 третий четверг каждого месяца ....
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено йцу , 27-Сен-21 10:58 
Звонить на роутер, если не отвечают - на тостер
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 11:20 
Если и там не отвечают - применять паяльник по назначению.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено anonymous , 27-Сен-21 10:17 
> Я хочу держать FTP сервак, а не целую самбу поднимать

А что не так с HTTP?

> модных и няшных писак несовместимого хлама.

Лихо вы о GNU

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено rvs2016 , 27-Сен-21 13:17 
> А что не так с HTTP?

HTTP - это не для получения файлов, а для скачивания.
Вот надо мне файлы с тачки на тачку в нужный каталог передать. По ФТП я их взял да передал. А по ХТТП мне (кроме установки веб-сервера) что - ещё и ваять скрипт укладки принимаемых файлов в нужные каталоги? Была халва так страдать! :-)))

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Zulu , 27-Сен-21 21:07 
HTTP PUT, WebDav.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 22:53 
Тот самый вебдав, под который нет ни одного вменяемого клиента. Отличная замена.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 01:46 
Враль такой враль. Как будто FTP сервер не нужно устанавливать.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено rvs2016 , 30-Сен-21 23:26 
> Враль такой враль. Как будто FTP сервер не нужно устанавливать.

Враль такой враль. Делает вид, будто на ФТП-сервере надо ещё страдать ваятельством скриптов для раскладки по нужным каталогам приходящих на ФТП-сервер файлов. Да ФТП-сервер файлы в нужные каталоги положит сам. Без скрипто-ваятельства. Но ведь не тут-то ж было: Враль да враль кругом. Путь далёк лежит. Там в степи глухой замерзал ямщик. Ямщик, не гони! (лошадей)

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено anonymous , 28-Сен-21 10:34 
> Вот надо мне файлы с тачки на тачку в нужный каталог передать

OK, а чем SFTP не устраивает?

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Ананомизец , 29-Сен-21 17:51 
Так вы про FTP или про TFTP?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено flexagoon , 27-Сен-21 09:46 
А чем он лучше чем curl? (Ответ "чем curl" не принимается)
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено iCat , 27-Сен-21 09:50 
>А чем он лучше чем curl?

Это немножечко разные инструменты, предназначены для немножечко разных задач...

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 10:08 
Вот и надо было сосредотачиваться на "немножко" - зекркалировании вебсайтов, а загрузку по http переложить на libcurl.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено flexagoon , 27-Сен-21 10:30 
Ну тут вот написано, что это "утилита для загрузки web-контента". Курл такую функцию тоже выполняет
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено iCat , 27-Сен-21 10:38 
> Ну тут вот написано, что это "утилита для загрузки web-контента". Курл такую
> функцию тоже выполняет

Лопатой тоже можно и дрова рубить, и борщь хлебать... Но зачем?

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено aa , 27-Сен-21 10:40 
curl не умеет (намеренно) грузить рекурсивно. За счет чего наверное чуть полегче.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено flexagoon , 27-Сен-21 16:32 
Есть флаг в нем для рекурсивной загрузки
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено aa , 28-Сен-21 06:42 
на сайте курла https://curl.se/docs/faq.html#Can_I_do_recursive_fetches_with пишут:

3.15 Can I do recursive fetches with curl?

No. curl itself has no code that performs recursive operations, such as those performed by wget and similar tools.

There exists wrapper scripts with that functionality (for example the curlmirror perl script), and you can write programs based on libcurl to do it, but the command line tool curl itself cannot.

кому верить?

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено flexagoon , 30-Сен-21 08:58 
А, да, я неправ. юзал просто curl -L для сокращенных ссылок, думал что там что-то рекурсивное, а -L оказываестся просто учитывает 3XX Page Moved
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено пох. , 27-Сен-21 11:54 
ну и зря "не принимается".

Он именно "чем curl" - тот ведь с неправильной-неправильной нешва6одкиной лицензией.

Ну и еще раньше он был лучше тем что представлял собой в общих чертах законченную программу (curl по сути клей которым кое-как склеен мильен с тыщами 3d-party библиотек для поддержки всего мильена как-то поддерживаемых протоколов, что иногда все же может выйти боком). Но с чудо-версией 2 эта проблема, кажется, решена!

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 21:08 
В отличии от curl, wget *по умолчанию*:

* Сохраняет контент в файл, а не в stdout.
* Берёт имя файла в зависимости от ситуации либо из URL, либо из Content-Disposition filename, а при редиректах - из последнего URL или filename. Сurl из перенаправленного URL имя не возьмёт. Если файл уже существует - wget не будет его перезаписывать, а добавит суффикс .1, ну или там .42. Curl молча перезапишет.
* Обрабатывает редиректы.
* Возвращает ненулевой код ошибки, если получен HTTP Error и не сохраняет HTML-страничку с текстом ошибки вместо желаемого контента.
* Выдаёт более удобочитаемый вывод.

Curl можно научить многому из этого, хоть и не всему, добавляя ключи с неочевидными именами, ну и конечно надо не забывать это делать, и не забывать имена тех ключей, а они неочевидны, и всё равно останется неуверенность, а не забыл ли чего. Поэтому Wget банально удобнее. Для скачки файлов, даже без рекурсии. А Curl удобнее для дёрганья REST API.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 03:25 
> добавляя ключи с неочевидными именами, ну и конечно надо не забывать это делать, и не забывать имена тех ключей, а они неочевидны, и всё равно останется неуверенность, а не забыл ли чего

Вот это как раз не аргумент. Ибо `alias wget="curl KEY1 KEY2"`

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено PnD , 28-Сен-21 12:09 
Нет, однострочник для имитации простого "wget <url>" будет лют и страшен.
Придётся оборачивать (баша достаточно). Но зачем, пока жив "нормальный" wget?

wget2 полез в нишу curl? Ну ок, посмотрим что из этого выйдет…

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 17:28 
> Нет, однострочник для имитации простого "wget <url>" будет лют и страшен.

Я спорил только с тем, что надо запоминать тонну ключей. Нет, не надо, потому что достаточно один раз разобраться и сделать алиас или обёртку. Даже если она будет лютая и страшная :)

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 23:53 
И потом этот алиас таскать по всем машинам, которыми пользуешься. И давать людям, которых консультируешь. И вставлять в скрипты, которые пишешь для других людей. И в документацию тоже.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 10:11 
> было решено переделать всё с нуля

На чистом Ц, а не на этом вашем ржавом расте!

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 10:37 
static void __attribute__ ((constructor)) http_init(void) ...
static void __attribute__ ((destructor)) http_exit(void) ...

Прям чистейший Ц, 999-й пробы 😆

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 11:17 
Можнобыло бы и на чистом. C17 поддерживает аттримуты в стиле C++ [[gnu::constructor]] [[gnu::destructor]]
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Sergey , 27-Сен-21 10:21 
> --limit-rate

А что за место нее ?

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено test , 27-Сен-21 10:30 
trickle. Правда могут тогда забыть про многопоточность, но вам шашешчки или ехать.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 11:12 
Драсте народ, не подскажите каким образом, можно сохранять сегодня веб странички на комп (если кто-то это ещё делает вообще)? Нужно чтобы можно было очистить от лишнего и сохранить в pdf или html или в другой широко распространённый формат. Пользуюсь таким решением: https://www.printfriendly.com/, но он не всегда срабатывает, к тому же меняет оформление страницы.
Есть ещё куча других способов, может существует что-то более современное и быстрое?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 11:51 
Что мешает использовать браузер , отредактировав страницу расширением ? Например в фоксе пользуюсь https://addons.mozilla.org/en-US/firefox/addon/print-edit-we
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено npc , 27-Сен-21 19:00 
Не, не мешает, конкретно этот не смотрел, но напрягает все эти разрешения, или если код закрыт. Может есть какие-то проверенные временем способы ароде веб-архивов, а то эти расширения сегодня работают, завтра на них забъют, как к примеру mhtml
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 01:43 
Все расширения-редакторы просто применяют к странице скрывающие css , а сохраняется без скрытого . Результат от расширения уже не зависит - открываться будет в любом браузере или просмотрщике .
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 13:07 
Делаешь в фаерфоксе «Вид для чтения» Ctrl+Alt+R, если отработало правильно что происходит не всегда. Настраиваешь шрифты как хочешь и печатаешь в pdf. В pdf сохраняется все ссылки.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено npc , 27-Сен-21 18:54 
Так делал, но не на всех сайтах срабатывает, на некоторых же части картинок не отображается, а так хорошее решение, если коректно работало
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 13:55 
https://github.com/Y2Z/monolith например
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено npc , 27-Сен-21 19:03 
Благодарю, нужно будет протестировать 👍
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 20:11 
В деталях вот тут: https://github.com/iipc/awesome-web-archiving
Монолит я взял оттуда потому, что это один бинарник, который на выходе выдаёт один html и всё. Но там есть решения и для знающих толк во всяком.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено npc , 28-Сен-21 02:48 
Ох тыж ёшкин кот... Мне тут копать и копать 😁
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Gefest , 27-Сен-21 17:38 
Adobe Acrobat -  реккурсивно сохранит сцайт в pdf
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено npc , 28-Сен-21 02:52 
Не, я по части халявы
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено YetAnotherOnanym , 27-Сен-21 11:32 
> Переход
> Возможность
> Поддержка

Всё это, конечно, очень интересно, а что насчёт сайтов, состоящих из js-кода, загружающего контент по мере надобности?

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 11:46 
Старайтесь их избегать.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено kusb , 27-Сен-21 11:53 
Ох, получается придётся его исполнять, так? Да ещё и таким способом, наверное, как обычный браузер.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 11:54 
Только вот не надо в wget браузер вставлять, ок?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено пох. , 27-Сен-21 12:00 
Так я что-то не пойму, тебе контент нужен или не нужен?

Нет, можешь не вставлять и пойти путем youtube-dl - САМ напиши парсер js (сююююрпрайз - в нем такой есть). Но когда ты помрешь, как его автор, последователям все равно придется выкинуть и "вставлять браузер", поскольку задача неподъемная даже в контексте трех поддерживаемых сайтов, а не то что универсального данлоадера.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено kusb , 27-Сен-21 12:05 
Можно не вставлять, но всё равно что-то браузероподобное должно командовать wgetом. "Скачай это, а теперь это".
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 12:51 
Обычно скидываешь все нужные ссылки которые тебе выдаст js в файлик. И скармливаешь этот файлик со списком урлов wget'у и все работает. Можно даже куков докинуть если нужны.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено пох. , 27-Сен-21 14:09 
> Обычно скидываешь все нужные ссылки которые тебе выдаст js в файлик.

ну, предположим даже, это будут - ссылки ("допустим, внучек, в засаде") - немодный попался сайт с устаревшими надо-выбросить.

И вот что у тебя "все работает" вот с таким вот интересным кодом:
https://pastebin.com/GYkurV83

ась?


(прошу прощения у жабомакак за такой немодный код. Он еще и в оригинале non-js friendly, но эту мерзость я вырезал.)

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено пох. , 27-Сен-21 11:56 
Ну так phantomjs вам не только написали для этого уже десять лет назад, но успели и закрыть проект.

Пользуйтесь хромоногом, и не выпендривайтесь.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 12:57 
А когда гугл решит что эта функция не нужна, можно будет возвращаться к истокам.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 11:53 
wget единственная нормальный утилита для загрузки web-контента. И от нормальной организации, а этот ваш васянский curl не нужен.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено пох. , 27-Сен-21 11:58 
Точна! Вот аноним правильно понимает линию партии!

Правда, из него выбросили warc, но архивировать веб вам тоже нинужна. Он нишва6одный и вообще, кто не владеет прошлым, тот обойдется и без будущего.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 12:56 
Из оригинального wget ничего не выбросили. А в этот позже добавят, надеюсь.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено пох. , 27-Сен-21 14:11 
позже выбросят шибко-оригинальный вгет. Он поддерживает немодные устаревшие форматы и протоколы, немедленно прекратить!

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено OpenEcho , 27-Сен-21 19:42 
Выбросили очень важную опцию: --header
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено fuggy , 30-Сен-21 03:37 
wget для загрузки контента, а curl для выполнения запросов. Разная область применения и нечего тут сравнивать.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноньимъ , 27-Сен-21 12:55 
>прекращения поддержки протокола FTP

Не понимаю только, почему не на расте?

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 13:01 
_GNU_ Wget2
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 13:04 
У меня простой вопрос, совершенно не для холливара, не подумайте. А зачем на расте?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено пох. , 27-Сен-21 14:01 
"а за что велосипедистов-то?!"

Прекрасно, товарищи, так и запишем в протокол - по первому пункту повестки дня возражений не было.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноньимъ , 27-Сен-21 17:53 
> У меня простой вопрос, совершенно не для холливара, не подумайте. А зачем
> на расте?

Нет, вопрос в другом.
Именно на расте и только на расте нужно было отказываться от FTP протокола.
И почему они это не сделали именно на расте - вот главный вопрос!

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Алешка , 27-Сен-21 14:46 
Извините, все свободные PR-rust'ы уже третью неделю как заняты - начался новый учебный год.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 27-Сен-21 14:07 
> Вынос функциональности в библиотеку libwget

Спасибо за то, что хотя бы кто-то пишет грамотно "функциональность". Повсеместное использование "функционал" всегда вызывало у меня ассоциацию с математическим термином.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Ordu , 28-Сен-21 11:33 
Чо, с троллингом настолько туго, что приходится докапываться к грамматике грамотного предложения?

Мой тебе совет, начни доказывать, что не правильно писать "функциональность", что "функционал" правильнее. Корма тут же набежит столько, сколько ты прожевать не сможешь.

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Ann None , 27-Сен-21 14:33 
новый gnu wget. не поддерживает ftp. брать как всегда на ftp.gnu.org.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено пох. , 27-Сен-21 15:30 
Это безобразие надо срочно исправить!

Полагаю, работы уже начаты - скоро ftp.gnu.org тоже будет поддерживать только http. Причем только http/3, остальные немодны и небезопасны, вам могут подсунуть неправильную gpl!

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено kusb , 27-Сен-21 21:32 
app://gnu.pages.appstore.google.zog.org.il
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 01:48 
Только вот давно уже ftp.gnu.org:21 -> cannot connect, ftp.gnu.org:80 -> connected to ftp.gnu.org.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Михрютка , 28-Сен-21 09:24 
да вроде нет.

>netstat -n | grep 21

TCP    xx.xx.xx.xx:64585      209.51.188.20:21       ESTABLISHED

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено PnD , 28-Сен-21 12:19 
Так он браузером пытался. Открыть http на 21-м порту. (Возможно, даже с ssl, но это не точно.)
* Ну, в моём-то "ftp://ftp.gnu.org/" (пока?) работает.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 12:18 
$ lftp ftp.gnu.org
lftp ftp.gnu.org:~> ls                                                            
lrwxrwxrwx    1 0        0               8 Aug 20  2004 CRYPTO.README -> .message
-rw-r--r--    1 0        0           17864 Oct 23  2003 MISSING-FILES
-rw-r--r--    1 0        0            4178 Aug 13  2003 MISSING-FILES.README
-rw-r--r--    1 0        0            2991 Oct 03  2019 README
...

Похоже твой провайдер тебя кинул на деньги, обещал доступ в интернет и обманул :-)

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Moomintroll , 28-Сен-21 15:00 
> брать как всегда на ftp.gnu.org

https://ftp.gnu.org

"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено rm2 , 27-Сен-21 21:09 
Это называется second system effect, а также починка несломанного.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 11:59 
Жаль что ftp зарезали. Только вчера файлы по ftp скачивала
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 14:51 
А зачем FTP когда есть sftp или даже WebDav смонтированные как диск?
FTP это исключительно в качестве истории уже.
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено anonimus , 04-Окт-21 23:15 
стандарты придуманы для унификации доступа с любых систем, а не для пижонства
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 28-Сен-21 14:52 
Биндинги к языкам уже есть Python, php, Java, Ruby?
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Vladimir Romanov , 28-Сен-21 17:40 
Я думал что все ReGet-оподобое уже вымерло. Надо было RBC доделать ReGet под Linux
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено x3who , 28-Сен-21 22:55 
что примечательно, только один человек подметил: "Выбросили очень важную опцию: --header "
"Первый стабильный релиз утилиты для загрузки web-контента GN..."
Отправлено Аноним , 29-Сен-21 00:05 
Не, я тоже подметил, только не написал ничего. И молча понадеялся, что они этому ключу предоставили какую-то замену. Может просто переименовали в какой-нибудь --add-request-header. Всё-таки --header - это довольно общее понятие, много чего может означать. Например, вывести только хидеры от сервера, а контент не сохранять. Или сохранить хидеры вместе с контентом. Ещё под хидером иногда понимают один хидер, одну строчку, а иногда весь блок хидеров, все строчки.