forum.opennet.ru

"Первый стабильный релиз утилиты для загрузки web-контента GNU Wget2"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

. "Первый стабильный релиз утилиты для загрузки web-контента GN..."	+/–
Сообщение от YetAnotherOnanym (ok), 27-Сен-21, 11:28
Вся его "неуклюжесть" давным-давно завёрнута в написанные до нас библиотеки. Никаких танцев с бубном с динамическим открыванием портов для встречного соединения давно уже не нужно, для этого придумали пассивный режим. Для файлопомойки лучше ftp нет ничего (замечу, что из этого не следует, что нельзя тот же каталог экспортировать также самбой, простым http, вебдавом, nfs и всем чем угодно).
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Первый стабильный релиз утилиты для загрузки web-контента GNU Wget2, opennews, 27-Сен-21, 08:42 [смотреть все]

Охренеть, aria2 можно выкидывать , Имя, 27-Сен-21, 08:42 (1) //
- Зачем Она Metalink умеет давно и ширше, в т ч скачивать по p2p, Аноним, 27-Сен-21, 08:52 (5) //
  - Я имею ввиду когда один и тот же файл с одного сервера скачивается в несколько п, Имя, 27-Сен-21, 08:57 (7) //
    - aria позволяет делать это для SSH, что прям киллер фича, а еще торрент скачать м, kissmyass, 27-Сен-21, 13:31 (94)
      - Но только с паролем, а не по ключу Может, запилишь, а , lockywolf, 28-Сен-21, 06:25 (176)
        
        лучше так, чем никак, рано или поздно будут и ключи, kissmyass, 30-Сен-21, 02:15 (224)
Была удобная утилита для тестирования работоспособности серверов в т ч и FTP, т, Spoofing, 27-Сен-21, 08:46 (2) //
- Опять луддиты возмущаются удалению устаревших технологий 129320 , iPony129412, 27-Сен-21, 08:50 (3) //
  - опять поня пишет херню, Аноним, 27-Сен-21, 09:25 (17)
    - Ну так тогда по той же причине выкиньте на ту же свалку истории и точно так же м, rvs2016, 27-Сен-21, 13:09 (92)
    - Спешите видеть очередной эксперд в треде рассказывает про умершие протоколы, по, aname, 27-Сен-21, 18:23 (130)
    - В каком, нахран, БРОЙЗЕРЕ Новость про wget2 , Аноним, 27-Сен-21, 19:15 (139)
  - Ну да, нет эмодзей - технология устаревшая , Аноним, 27-Сен-21, 12:11 (75)
  - Ну так а че тут делаеш, топай в свой мякаосе, там все новое свежее, все довольны, нах.., 27-Сен-21, 18:36 (134)
- Так никуда не делся и 1-й wget , Ю.Т., 27-Сен-21, 08:55 (6)
- Wget пока никуда не делся , Аноним, 27-Сен-21, 12:14 (76)
- Фтп на сервере который в 2021 мэйнтейнится, а не заброшен в 2012м Там где заброш, Я, 27-Сен-21, 17:29 (120) //
  - Кем депрекейтед FTP Inc, зарегистрированной на Британских Виргинских Островах с, lockywolf, 28-Сен-21, 06:30 (177)
- А чем, собственно, либо wget, lftp или непосредственно ftp не устраивает они ка, asdfkj, 28-Сен-21, 10:30 (183)
Wget is dead, long live Wget , Аноним, 27-Сен-21, 08:51 (4) //
- Их просто стало два, Аноним, 27-Сен-21, 11:04 (48) //
  - Список холиваров Windows vs Linux Vi vs Emacs wget vs wget2, Аноим, 27-Сен-21, 18:31 (133) //
    - 2 wget or not 2 wget, n00by, 27-Сен-21, 19:43 (146)
      - тонко , Атон, 27-Сен-21, 20:32 (149)
      - 2wget wget2, Аноним, 28-Сен-21, 14:49 (206)
        
        The header iso646 h defines the following eleven macros on the left that exp, n00by, 28-Сен-21, 15:01 (212)
Забавно Старых технологий типа FTP уже нет, а новых типа HTTP 3 ещё нет Это во, Аноним, 27-Сен-21, 08:58 (8) //
- HTTP 3 это не технология, а гугловская хотелка дня , Аноним, 27-Сен-21, 09:07 (9) //
  - Будешь жрать , гугель, 27-Сен-21, 12:30 (81) //
    - Только если жрать Google, а остальные будут решать по аудитории Если аудитории , Аноним, 28-Сен-21, 14:50 (207)
  - Гугл был первым, а вам остается только обезьянничать , Аноним, 27-Сен-21, 12:43 (82) //
    - Когда МС всех нагибает, ибо может - у пингвинят визг стоит Когда Гугле - они ра, One More Аноним, 27-Сен-21, 22:44 (163)
      - любофф , z, 28-Сен-21, 13:03 (200)
        
        и гоглуби, Прохожий, 29-Сен-21, 00:52 (220)
- Там же кроме использования QUICK ничего не поменялось особо , Аноним, 27-Сен-21, 16:42 (117) //
  - Если смотреть с высоты HTTP-запроса, то нет А ниже уровнем да, так как там 1 , Zulu, 27-Сен-21, 20:54 (152) //
    - Пока packet loss 0 , всё чисто , lockywolf, 28-Сен-21, 06:32 (178)
      - Для защиты от packet loss есть TCP и ОС с гарантированной доставкой , Аноним, 28-Сен-21, 11:57 (192)
        
        График зависимости скорости TCP от лосса сам поищешь, или тебе прожевать и в рот, lockywolf, 28-Сен-21, 13:59 (203)
Годно , Онаним, 27-Сен-21, 09:09 (10)
Чем FTP плох Почему от него отказываются Есть же SFTP где всё шифруется и безопа, Аноним, 27-Сен-21, 09:16 (11) //
- FTP и SITE это ра-азные протоколы А FTP ну уж ОЧЕНЬ стар Почти как UUCP , chipp, 27-Сен-21, 09:22 (13) //
  - вы тоже, и что почему вы не как iCat пишите , Аноним, 27-Сен-21, 09:24 (16) //
    - С телефончика отвечал Лень было авторизоваться , iCat, 27-Сен-21, 09:39 (18)
    - Ты про протокол UUCP что-нибудь знаешь А ведь он некогда был вообще одним из ос, iCat, 27-Сен-21, 09:40 (19)
  - Суперстар https youtu be o-VO_OCH8A8, n00by, 27-Сен-21, 17:22 (119)
- просто заинтересованным лицам необходимо обосновывать размеры своих заработных п, Аноним, 27-Сен-21, 09:23 (15)
- Неуклюжий протокол, требуюший дополнительного порта Чтобы это работало в соврем, Wladmis, 27-Сен-21, 09:42 (21) //
  - И утилита, предназначенная для скачивания файликов, делать это не умеет Прелест, Аноним, 27-Сен-21, 10:11 (28) //
    - Не ври Утилита никуда не делась, первый вгет как качал так и качает, а вгет2 дл, Ты Вася а я господь Бог, 27-Сен-21, 11:36 (58)
      - Ну так-то и reget никуда не делся, но мы тут wget2 обсуждаем 8212 который как, Аноним, 27-Сен-21, 12:15 (77)
        
        Неполноценны те кому для работы с фтп нужен вгет вгет2 Для фтп есть отдельные ф, Ты Вася а я господь Бог, 27-Сен-21, 16:08 (113)
        
        Т е wget2 как бы и не нужен, в общем- то Linux way, aname, 27-Сен-21, 18:28 (132)
        Ну да, для ftp есть отдельные клиенты, его выкинем, а вот поддержку RSS и потоко, Аноним, 28-Сен-21, 15:17 (213)
    - Утилита для скачивания вебфайликов Фтп больше не является частью вебпространств, Я, 27-Сен-21, 17:35 (121)
  - А мне кажется даже логичным Один поток для управления - другой для скачивания з, Kusb, 27-Сен-21, 10:11 (29) //
    - в DPI сложнее, сессии могут улететь на разные инстанцы , Big Robert TheTables, 27-Сен-21, 14:09 (105)
      - Да, dpi похоже интересная штука А почему это тогда в каком-нибудь http с множ, Kusb, 27-Сен-21, 15:59 (112)
        
        по http все-таки сессия одна По ftp две, и вот если вторая улетела при балансир, Big Robert TheTables, 27-Сен-21, 18:21 (129)
        В http 1 есть Connection keep-alive, так что можно держать одно соединение пра, Zulu, 27-Сен-21, 21:05 (153)
  - Так а что в этом плохого как-то же надо файлики качать, bugmenot, 27-Сен-21, 10:32 (40)
  - Фатальный недостаток, однозначно 80 и 443 заняты, на ftp не хватило , Аноним, 27-Сен-21, 11:15 (51) //
    - Фатальный, потому что остальные порты заблокированы , lockywolf, 28-Сен-21, 06:34 (179)
      - Может вам провайдера поменять Ваш похоже не обеспечивает доступ в интернет и се, Аноним, 28-Сен-21, 12:00 (194)
        
        Не обеспечивает, но его конкуренты тоже не обеспечивают , lockywolf, 28-Сен-21, 13:51 (201)
  - Вся его неуклюжесть давным-давно завёрнута в написанные до нас библиотеки Ник , YetAnotherOnanym, 27-Сен-21, 11:28 (54)
  - Его модифицмровали Уж лет 20, как не нужно клиенту держать открытый порт на при, Аноним, 27-Сен-21, 12:19 (78) //
    - Лол, зато на сервере это неизвестный номер порта, что создаёт проблемы с настрой, Аноним, 28-Сен-21, 01:41 (165)
      - О боже мой, кто-то из интернета подключается на порты сервера для этого предназн, Аноним, 28-Сен-21, 12:03 (195)
        
        Они на провайдере заблокированы , lockywolf, 28-Сен-21, 13:52 (202)
  - Разве вордпрессы на виртуальные хостинги уже не заканчивают по ftp , mikhailnov, 27-Сен-21, 17:43 (123)
  - А для скайпов, торентов, торов и иже с ними, в роутерах костылей, значится, нет,, Аноним, 27-Сен-21, 21:22 (159)
- Высокие затраты на монетизацию трафика, рекламка не вставляетсяРешили его похоро, Аноним, 27-Сен-21, 11:13 (50) //
  - Это Вы загнули, какой-там http Только HTTPS , _hide_, 27-Сен-21, 12:06 (72) //
    - HTTPS 3, только по QUICK , Аноним, 27-Сен-21, 14:05 (102)
    - В каком месте ftp начали закапывать сильно раньше http, Аноним, 27-Сен-21, 14:09 (104)
      - Пруфы , _hide_, 27-Сен-21, 15:58 (111)
  - На FTP как раз вставляется И не просто рекламка, а трояны прямо в exe шники Э, Аноним, 28-Сен-21, 01:42 (166) //
    - Используй FTPS , Аноним, 28-Сен-21, 12:05 (196)
      - После получения файла необходимо проверить контрольную сумму какой-нибудь sha1,, Аноним, 01-Окт-21, 00:21 (229)
- Ладно, можно ещё припомнить чем плох FTP Допустим Но что использовать вместо н, anonymous, 27-Сен-21, 17:50 (124)
на расте , Аноним, 27-Сен-21, 09:17 (12) //
- GNU -- вряд ли, anonymous, 27-Сен-21, 10:14 (31)
- Слава Ктулху, на православной Сишке , Аноним, 27-Сен-21, 12:21 (79)
libcurl круче , Аноним, 27-Сен-21, 09:41 (20)
Вот пока не доделают FTP на котором многие сайты с линуксом работают так и будут, Аноним, 27-Сен-21, 09:44 (22) //
- Если не брать фанатиков кричащих вечно о новом и вообще о модном бездумно, многи, qwe, 27-Сен-21, 10:15 (32) //
  - В nginx для организации парочки как в ftp строчек в конфиг нужно не больше , кокпок, 27-Сен-21, 10:28 (36) //
    - Я не утверждал что нельзя веб сервером решать иные задачи Они сейчас благо что , qwe, 27-Сен-21, 10:36 (41)
      - А http не может быть проще, если не nginx apache Сам http не выглядит очень сло, kusb, 27-Сен-21, 11:47 (61)
      - К сожалению вебморды с вебсерверами бывают легкими Вон даже netis старые с 4мб , Аноним, 27-Сен-21, 13:43 (95)
    - Хотим Uploads срочно на тухлом девайсе, скажем сотике, пусть это будет андроид В, йуц, 27-Сен-21, 10:41 (45)
      - SSH же Для получения пароля - звонить с 14 по 14 15 третий четверг каждого меся, Gefest, 27-Сен-21, 10:56 (46)
        
        Звонить на роутер, если не отвечают - на тостер, йцу, 27-Сен-21, 10:58 (47)
        
        Если и там не отвечают - применять паяльник по назначению , Аноним, 27-Сен-21, 11:20 (53)
- А что не так с HTTP Лихо вы о GNU, anonymous, 27-Сен-21, 10:17 (33) //
  - HTTP - это не для получения файлов, а для скачивания Вот надо мне файлы с тачки , rvs2016, 27-Сен-21, 13:17 (93) //
    - HTTP PUT, WebDav , Zulu, 27-Сен-21, 21:07 (154)
      - Тот самый вебдав, под который нет ни одного вменяемого клиента Отличная замена , Аноним, 27-Сен-21, 22:53 (164)
    - Враль такой враль Как будто FTP сервер не нужно устанавливать , Аноним, 28-Сен-21, 01:46 (168)
      - Враль такой враль Делает вид, будто на ФТП-сервере надо ещё страдать ваятельств, rvs2016, 30-Сен-21, 23:26 (228)
    - OK, а чем SFTP не устраивает , anonymous, 28-Сен-21, 10:34 (184)
- Так вы про FTP или про TFTP , Ананомизец, 29-Сен-21, 17:51 (222)
А чем он лучше чем curl Ответ чем curl не принимается , flexagoon, 27-Сен-21, 09:46 (23) //
- Это немножечко разные инструменты, предназначены для немножечко разных задач , iCat, 27-Сен-21, 09:50 (24) //
  - Вот и надо было сосредотачиваться на немножко - зекркалировании вебсайтов, а з, Аноним, 27-Сен-21, 10:08 (27)
  - Ну тут вот написано, что это утилита для загрузки web-контента Курл такую фун, flexagoon, 27-Сен-21, 10:30 (39) //
    - Лопатой тоже можно и дрова рубить, и борщь хлебать Но зачем , iCat, 27-Сен-21, 10:38 (43)
    - curl не умеет намеренно грузить рекурсивно За счет чего наверное чуть полегче, aa, 27-Сен-21, 10:40 (44)
      - Есть флаг в нем для рекурсивной загрузки, flexagoon, 27-Сен-21, 16:32 (116)
        
        на сайте курла https curl se docs faq html Can_I_do_recursive_fetches_with пиш, aa, 28-Сен-21, 06:42 (180)
        
        А, да, я неправ юзал просто curl -L для сокращенных ссылок, думал что там что-т, flexagoon, 30-Сен-21, 08:58 (226)
- ну и зря не принимается Он именно чем curl - тот ведь с неправильной-неправи, пох., 27-Сен-21, 11:54 (65)
- В отличии от curl, wget по умолчанию Сохраняет контент в файл, а не в stdout, Аноним, 27-Сен-21, 21:08 (155) //
  - Вот это как раз не аргумент Ибо alias wget curl KEY1 KEY2 , Аноним, 28-Сен-21, 03:25 (174) //
    - Нет, однострочник для имитации простого wget url будет лют и страшен Придётс, PnD, 28-Сен-21, 12:09 (197)
      - Я спорил только с тем, что надо запоминать тонну ключей Нет, не надо, потому чт, Аноним, 28-Сен-21, 17:28 (215)
        
        И потом этот алиас таскать по всем машинам, которыми пользуешься И давать людям, Аноним, 28-Сен-21, 23:53 (218)
На чистом Ц, а не на этом вашем ржавом расте , Аноним, 27-Сен-21, 10:11 (30) //
- static void __attribute__ constructor http_init void static void __attri, Аноним, 27-Сен-21, 10:37 (42) //
  - Можнобыло бы и на чистом C17 поддерживает аттримуты в стиле C gnu construc, Аноним, 27-Сен-21, 11:17 (52)
А что за место нее , Sergey, 27-Сен-21, 10:21 (35) //
- trickle Правда могут тогда забыть про многопоточность, но вам шашешчки или ехат, test, 27-Сен-21, 10:30 (38)
Драсте народ, не подскажите каким образом, можно сохранять сегодня веб странички, Аноним, 27-Сен-21, 11:12 (49) //
- Что мешает использовать браузер , отредактировав страницу расширением Например, Аноним, 27-Сен-21, 11:51 (62) //
  - Не, не мешает, конкретно этот не смотрел, но напрягает все эти разрешения, или е, npc, 27-Сен-21, 19:00 (137) //
    - Все расширения-редакторы просто применяют к странице скрывающие css , а сохраняе, Аноним, 28-Сен-21, 01:43 (167)
- Делаешь в фаерфоксе 171 Вид для чтения 187 Ctrl Alt R, если отработало прави, Аноним, 27-Сен-21, 13:07 (91) //
  - Так делал, но не на всех сайтах срабатывает, на некоторых же части картинок не о, npc, 27-Сен-21, 18:54 (136)
- https github com Y2Z monolith например, Аноним, 27-Сен-21, 13:55 (99) //
  - Благодарю, нужно будет протестировать 128077 , npc, 27-Сен-21, 19:03 (138) //
    - В деталях вот тут https github com iipc awesome-web-archivingМонолит я взял о, Аноним, 27-Сен-21, 20:11 (148)
      - Ох тыж ёшкин кот Мне тут копать и копать 128513 , npc, 28-Сен-21, 02:48 (172)
- Adobe Acrobat - реккурсивно сохранит сцайт в pdf, Gefest, 27-Сен-21, 17:38 (122) //
  - Не, я по части халявы, npc, 28-Сен-21, 02:52 (173)
Всё это, конечно, очень интересно, а что насчёт сайтов, состоящих из js-кода, за, YetAnotherOnanym, 27-Сен-21, 11:32 (56) //
- Старайтесь их избегать , Аноним, 27-Сен-21, 11:46 (60)
- Ох, получается придётся его исполнять, так Да ещё и таким способом, наверное, к, kusb, 27-Сен-21, 11:53 (63) //
  - Только вот не надо в wget браузер вставлять, ок , Аноним, 27-Сен-21, 11:54 (66) //
    - Так я что-то не пойму, тебе контент нужен или не нужен Нет, можешь не вставлять , пох., 27-Сен-21, 12:00 (69)
      - Можно не вставлять, но всё равно что-то браузероподобное должно командовать wget, kusb, 27-Сен-21, 12:05 (70)
        
        Обычно скидываешь все нужные ссылки которые тебе выдаст js в файлик И скармлива, Аноним, 27-Сен-21, 12:51 (83)
        
        ну, предположим даже, это будут - ссылки допустим, внучек, в засаде - немодн, пох., 27-Сен-21, 14:09 (106)
  - Ну так phantomjs вам не только написали для этого уже десять лет назад, но успел, пох., 27-Сен-21, 11:56 (67) //
    - А когда гугл решит что эта функция не нужна, можно будет возвращаться к истокам , Аноним, 27-Сен-21, 12:57 (86)
wget единственная нормальный утилита для загрузки web-контента И от нормальной , Аноним, 27-Сен-21, 11:53 (64) //
- Точна Вот аноним правильно понимает линию партии Правда, из него выбросили warc, пох., 27-Сен-21, 11:58 (68) //
  - Из оригинального wget ничего не выбросили А в этот позже добавят, надеюсь , Аноним, 27-Сен-21, 12:56 (85) //
    - позже выбросят шибко-оригинальный вгет Он поддерживает немодные устаревшие форм, пох., 27-Сен-21, 14:11 (107)
    - Выбросили очень важную опцию --header, OpenEcho, 27-Сен-21, 19:42 (144)
- wget для загрузки контента, а curl для выполнения запросов Разная область приме, fuggy, 30-Сен-21, 03:37 (225)
Не понимаю только, почему не на расте , Аноньимъ, 27-Сен-21, 12:55 (84) //
- _GNU_ Wget2, Аноним, 27-Сен-21, 13:01 (87)
- У меня простой вопрос, совершенно не для холливара, не подумайте А зачем на рас, Аноним, 27-Сен-21, 13:04 (89) //
  - а за что велосипедистов-то Прекрасно, товарищи, так и запишем в протокол - по, пох., 27-Сен-21, 14:01 (100)
  - Нет, вопрос в другом Именно на расте и только на расте нужно было отказываться о, Аноньимъ, 27-Сен-21, 17:53 (125)
- Извините, все свободные PR-rust ы уже третью неделю как заняты - начался новый у, Алешка, 27-Сен-21, 14:46 (109)
Спасибо за то, что хотя бы кто-то пишет грамотно функциональность Повсеместно, Аноним, 27-Сен-21, 14:07 (103) //
- Чо, с троллингом настолько туго, что приходится докапываться к грамматике грамот, Ordu, 28-Сен-21, 11:33 (190)
новый gnu wget не поддерживает ftp брать как всегда на ftp gnu org , Ann None, 27-Сен-21, 14:33 (108) //
- Это безобразие надо срочно исправить Полагаю, работы уже начаты - скоро ftp gnu , пох., 27-Сен-21, 15:30 (110) //
  - app gnu pages appstore google zog org il, kusb, 27-Сен-21, 21:32 (160)
- Только вот давно уже ftp gnu org 21 - cannot connect, ftp gnu org 80 - connect, Аноним, 28-Сен-21, 01:48 (169) //
  - да вроде нет TCP xx xx xx xx 64585 209 51 188 20 21 ESTABLISHED, Михрютка, 28-Сен-21, 09:24 (181) //
    - Так он браузером пытался Открыть http на 21-м порту Возможно, даже с ssl, но , PnD, 28-Сен-21, 12:19 (199)
  - lftp ftp gnu orglftp ftp gnu org ls , Аноним, 28-Сен-21, 12:18 (198)
- https ftp gnu org, Moomintroll, 28-Сен-21, 15:00 (211)
Это называется second system effect, а также починка несломанного , rm2, 27-Сен-21, 21:09 (157)
Жаль что ftp зарезали Только вчера файлы по ftp скачивала, Аноним, 28-Сен-21, 11:59 (193) //
- А зачем FTP когда есть sftp или даже WebDav смонтированные как диск FTP это искл, Аноним, 28-Сен-21, 14:51 (208) //
  - стандарты придуманы для унификации доступа с любых систем, а не для пижонства, anonimus, 04-Окт-21, 23:15 (230)
Биндинги к языкам уже есть Python, php, Java, Ruby , Аноним, 28-Сен-21, 14:52 (209)
Я думал что все ReGet-оподобое уже вымерло Надо было RBC доделать ReGet под Lin, Vladimir Romanov, 28-Сен-21, 17:40 (216)
что примечательно, только один человек подметил Выбросили очень важную опцию , x3who, 28-Сен-21, 22:55 (217) //
- Не, я тоже подметил, только не написал ничего И молча понадеялся, что они этому, Аноним, 29-Сен-21, 00:05 (219)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру