https://opennet.me/openforum/vsluhforumID3/118391.html Доступен тестовый выпуск GNU Wget 2, полностью переработанного варианта программы для автоматизации рекурсивной загрузки контента GNU Wget. GNU Wget 2 спроектирован и переписан с нуля и примечателен выносом базовой функциональности web-клиента в библиотеку libwget, которая может обособленно применяться в приложениях. Утилита поставляется под лицензией GPLv3+, а библиотека под LGPLv3+...<br><br>Подробнее: https://www.opennet.ru/opennews/art.shtml?num=51437<br> https://opennet.me/openforum/vsluhforumID3/118391.html#99 Tue, 10 Sep 2019 16:30:56 GMT Гугл не выкачивает сайты, а индексирует. Никаким хромиумом выкачать такой сайт ты не сможешь<br> https://opennet.me/openforum/vsluhforumID3/118391.html#98 Mon, 09 Sep 2019 13:11:39 GMT &gt; Ты сказал, что wget не является полноценным пауком. Я же сказал, что <br>&gt; то, чего ты хочешь, не может сделать вообще ни один паук <br>&gt; по определению, так что аргумент про неполноценность wget не канает.<br><br>Расскажите эту страшилку гуглу, который давно умеет crawl-ать сайты на чистом JS используя headless chromium (https://web.dev/javascript-and-google-search-io-2019/)<br><br><br>&gt;&gt; На headless server притащить "помойку зависимостей" ???<br>&gt; И где это интересно так "делают в большинстве(!!!) случаев" <br>&gt; Да, взять и притащить. У тебя что, на сервере пол-гига места не <br>&gt; найдётся? Делают так везде, где надо работать. Плюются, но делают, потому <br>&gt; что такой объём дискового пространства нынче стоит копейки, о которых и <br>&gt; говорить смешно, а лежащие мёртвым грузом зависимости работу не тормозят.<br><br>Может и не тормозят, но чем больше всякого умнa, тем выше вектор компроментирования.<br><br><br><br><br>&gt;&gt; Ты вообще пробовал компилить хотя бы лису статически ?<br>&gt; Нет, я берегу своё психическое здоровье, так что уже лет 7&#8211;8 н https://opennet.me/openforum/vsluhforumID3/118391.html#97 Mon, 09 Sep 2019 07:34:40 GMT О да, то ли дело нагрузочное тестирование wget-ом!<br> https://opennet.me/openforum/vsluhforumID3/118391.html#96 Mon, 09 Sep 2019 07:32:16 GMT &gt; я уже 3 раза(!!!) именно об этом и сказал (в чем вообще-то и был смысл поста, - о современном вебе и wget)<br><br>Ты сказал, что wget не является полноценным пауком. Я же сказал, что то, чего ты хочешь, не может сделать вообще ни один паук по определению, так что аргумент про неполноценность wget не канает.<br><br>&gt; На headless server притащить "помойку зависимостей" ??? <br><br>И где это интересно так "делают в большинстве(!!!) случаев"<br>Да, взять и притащить. У тебя что, на сервере пол-гига места не найдётся? Делают так везде, где надо работать. Плюются, но делают, потому что такой объём дискового пространства нынче стоит копейки, о которых и говорить смешно, а лежащие мёртвым грузом зависимости работу не тормозят.<br><br>&gt; Ты вообще пробовал компилить хотя бы лису статически ?<br><br>Нет, я берегу своё психическое здоровье, так что уже лет 7&#8211;8 не компилял её ни в каком виде. Что никоим образом не означает, что такое в принципе невозможно.<br> https://opennet.me/openforum/vsluhforumID3/118391.html#95 Mon, 09 Sep 2019 07:30:26 GMT &gt; GRUB 1 и 2 делаются одними людьми<br><br>не "делаются", а "на от...сь поддерживался" первый, чтобы всех силком загнать на невменяемый второй.<br><br>_Делался_ grub1 одним-единственным человеком (которого достало что гнутый хурд даже загрузить нормально нечем, остальные детали там были потому что надо ж было и работать, а не только с хурдом играть на той системе). К сожалению, он, кажется, сделался вечноживой.<br><br>Полагаю, с wget1 будет ровно то же самое - через пару лет окончательно доломают.<br><br>ну и хрен в общем-то с ними, все уже давно свалили на curl.<br><br> https://opennet.me/openforum/vsluhforumID3/118391.html#94 Mon, 09 Sep 2019 06:35:44 GMT Это все детский сад, а не инструменты.<br> https://opennet.me/openforum/vsluhforumID3/118391.html#93 Mon, 09 Sep 2019 05:00:16 GMT очередная путаница вида gpg\gpg2<br> https://opennet.me/openforum/vsluhforumID3/118391.html#92 Sun, 08 Sep 2019 21:18:07 GMT &gt;&gt; Ну попробуйте скачать "весь" https://vulners.com/ сайт wget-том и раскажите здесь потом о результатах <br>&gt; SPA, дёргающие изощрённые серверные API, по определению не выкачиваются пауками.<br><br>я уже 3 раза(!!!) именно об этом и сказал (в чем вообще-то и был смысл поста, - о современном вебе и wget)<br><br><br>&gt;&gt; Ни лиса и не хромой не взлетят на headless server так как привязаны зависимостями к десктопной среде в отличии от phantomjs который скомпилирован статически.<br>&gt; Б-же, какая же у тебя каша в голове&#8230; А если phantomjs собрать <br>&gt; не статически, а с шареными либами, он что, не взлетит?<br><br>А ну да, забыл, здесь же все как минимум Торвальдосы, Руссиновичи или Рутковски... И без каши в голове<br><br>&gt; А если FF или хромого слинковать статикой? В конце концов, если поставить <br>&gt; их из репов со всей помойкой зависимостей, как и делают в <br>&gt; большинстве случаев, они что, всё равно не запустятся в headless? Или <br>&gt; при установке libx* сервер сразу перестаёт быть headless?<br><br>На headless server притащить "помойку зависи https://opennet.me/openforum/vsluhforumID3/118391.html#91 Sun, 08 Sep 2019 18:16:19 GMT Да стреляй сколько угодно.<br>