forum.opennet.ru - "Использование zip-бомбы для борьбы с вредоносными web-ботами" (186)

"Использование zip-бомбы для борьбы с вредоносными web-ботами"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Использование zip-бомбы для борьбы с вредоносными web-ботами"	+/–
Сообщение от opennews (??), 30-Апр-25, 08:17
Последнее время значительно возросла активность web-ботов, индексирующих трафик. Помимо корректно работающих ботов распространение получили "неистовые" боты, игнорирующие правила индексирования robots.txt, лезущие с десятков тысяч разных IP, притворяющиеся легитимными пользователями и не придерживающиеся разумной политики интенсивности отправки запросов. Данные боты создают огромную паразитную нагрузку на серверы, нарушают нормальную работоспособность систем и отнимают время администраторов. Активность подобных ботов воспринимается многими как вредоносные действия... Подробнее: https://www.opennet.me/opennews/art.shtml?num=63163
Ответить \| Правка \| Cообщить модератору

Оглавление

D , Аноним (1), 08:17 , 30-Апр-25, (1) +49

Имелось ввиду, что если накосячишь с настройкой ловушки и она по ошибке сработае, Аноним (3), 08:28 , 30-Апр-25, (3) +6

У бота гугла до сих пор нет лимитов на размер загружаемого содержимого П - профе, Tron is Whistling (?), 08:29 , 30-Апр-25, (6) +12

так это будет в лимита загрузки, но вне лимита распаковки , Вася (??), 08:35 , 30-Апр-25, (7) +5

Распаковка по-хорошему производится по мере загрузки Никогда не удивляло, что gz, Tron is Whistling (?), 09:07 , 30-Апр-25, (27) +3

В том-то и дело, что есть, и не только на размер И если любая защита срабатывае, Аноним (118), 17:33 , 30-Апр-25, (118) +1

Если такая защита срабатывает на х ю, которую обычный пользователь не закачает, Tron is Whistling (?), 00:54 , 01-Май-25, (151)

Ты наверное не очень хорошо представляешь с каким скамом приходится иметь дело п, Аноним (118), 21:17 , 01-Май-25, (177) –1

Проще использовать другие методы рекламы , Tron is Whistling (?), 00:55 , 01-Май-25, (152) –2

Если вашего бизнеса нет в выдаче самого популярного поисковика в мире, значит ва, Аноним (118), 15:31 , 01-Май-25, (167)

Хреновый у вас бизнес , Tron is Whistling (?), 19:22 , 01-Май-25, (174) –1

Я не жалуюсь, на сытую жизнь в недешёвой стране хватает и ещё остаётся Но раз т, Аноним (118), 21:21 , 01-Май-25, (179)

Да, займись, всё какое-то занятие , Tron is Whistling (?), 22:20 , 01-Май-25, (182)

Посмотрел сколько на деле платят сеньорам в FAANG куда меня даже джуном вряд ли, Аноним (118), 23:19 , 01-Май-25, (183)

Пункт 1 на Диком Западе Шериф всегда прав , Аноним (29), 09:16 , 30-Апр-25, (29) +4

Не, на диком западе не так Там кто первый выстрелил и не промазал - тот и прав , Аноним (-), 07:19 , 01-Май-25, (157) +2

Добавят в ботов лимит на размер содержимого, и всё , Tron is Whistling (?), 08:29 , 30-Апр-25, (4)

Так и лимит на количество запросов могли бы добавить, но чего-то не хватило , n00by (ok), 08:39 , 30-Апр-25, (10) +15

Новомодные боты лезут с разных IP, не большой 10-20 запросов с одного Лезут из , Аноним (3), 08:45 , 30-Апр-25, (14) +1

IP разные, а запросы одинаковые, потому и получается фильтровать 100 тысяч IP, , n00by (ok), 10:42 , 30-Апр-25, (46) –9

Я не особенно активный аноним, но мне очень интересно, как сгенерить 100 000 ipv, Аноним (50), 10:54 , 30-Апр-25, (50) +16

Сейчас будет танец ви таки меня не так поняли , _ (??), 15:38 , 30-Апр-25, (96) +8
Он просто путает соединения и IP Он просто неграмотный , Admino (ok), 21:11 , 02-Май-25, (202)

Запросы все разные, с разных реалистичных User Agent Боты индексируют разные , Аноним (3), 11:27 , 30-Апр-25, (56)

Почему боты аля-curl не грузят всякие css, как триггер геморно, но можно с сел, 678 (?), 12:02 , 30-Апр-25, (69) –2

Нормальный юзер тоже не станет, т к эти банеры у этого юзера скрыты юблоком и ю, Аноним (75), 12:32 , 30-Апр-25, (75) +4
Чего вдруг Мои и закрывают, и на куки соглашаются, и как только людьми не прики, Аноним (118), 17:36 , 30-Апр-25, (119) +1

Аха попался , OpenEcho (?), 17:32 , 01-Май-25, (172) +1

Я и не прятался Занимаюсь скрапингом давно и не думаю бросать Сабж и прочие жа, Аноним (118), 21:37 , 01-Май-25, (180)

Да шучу просто , OpenEcho (?), 16:39 , 02-Май-25, (194)

А ты майнер запусти Если закрыли страницу - значит человеки Не закрыли Зашиьи, Аноним (200), 19:41 , 02-Май-25, (200)

Новые крипто тапалки появились Чел ставит себе на комп нечто на електроне И о, Аноньимъ (ok), 21:27 , 30-Апр-25, (145) –1

на смартфон моднейший фонарик, в которое встроен интересный API программсты фона, 0xdeadbee (-), 08:41 , 03-Май-25, (203)

Полный размер становится известен только после распаковки Отдаётся вполне себе , Аноним (3), 08:41 , 30-Апр-25, (11) –1

Не после , а во время Плюс распаковка потоковая, весь контент читать не обяз, Tron is Whistling (?), 08:55 , 30-Апр-25, (20)
Хотя в принципе могу понять, считать целиком, потом загнать в распаковку - стара, Tron is Whistling (?), 08:57 , 30-Апр-25, (21) +2

эмм а что это за содержимое такое на 100 тб типа набор рандомных случайных данн, нитгитлистер (?), 08:29 , 30-Апр-25, (5) –11

dev zero, написано же, Аноним (8), 08:35 , 30-Апр-25, (8) +12
Рандомные данные плохо сжимаются, хороши сжимаются повторяющиеся данные - в данн, Аноним (23), 08:58 , 30-Апр-25, (23) +7

о как, понял благодарю, нитгитлистер (?), 09:03 , 30-Апр-25, (26) +2
Вот только в реальности архиватор потатил 80 метров диска на хранение 100ТБ ну, Аноним (143), 21:08 , 30-Апр-25, (143)

Понимаешь в чем нюанс Хранить 80 мегов нулей по современным меркам - почти бесп, Аноним (-), 07:24 , 01-Май-25, (158) –3

Речь о том, что для представления 100ТБ однородных байт в виде 01 количество , Аноним (197), 19:24 , 02-Май-25, (197)

да хоть карта с местонахождением ванписа главное чтоб жалось хорошо , Я (??), 16:14 , 30-Апр-25, (101)

Когда я лет 7 назад такого бота делал, оно качало только текст и видео аудио с , qqq (??), 08:37 , 30-Апр-25, (9) –14

Когда ты запрашиваешь html сервер отдаёт его тебе сжатым, если браузер выставл, Аноним (3), 08:49 , 30-Апр-25, (17) +9

Зачем подсказываете Пусть бы дальше собирал данные для обучения моделей , Аноним (126), 17:56 , 30-Апр-25, (126) +3

В некоторых странах шариата таким умникам руку могут отрубить, так-что будь осто, Ося Бендер (?), 12:33 , 30-Апр-25, (76) +8

И что ты ему сделаешь Разве что поцелуешь в уста не говорящие на фламандском , _ (??), 17:50 , 30-Апр-25, (122)

И в чем смысл Показать какой администратор умный Не стоило новости , Аноним (13), 08:44 , 30-Апр-25, (13) –2

Скорее наоборот Ибо предполагает, что авторы ботов настолько дураки, что не дод, Аноним (37), 10:03 , 30-Апр-25, (37) –2

Ты и не представляешь насколько , Аноним (38), 10:11 , 30-Апр-25, (38) +7

Ну он и не догадался, что после DOCTYPE html можно отправлять пробелы , n00by (ok), 10:34 , 30-Апр-25, (43) +1

Ну да, ведь остановиться на размере 10-30 мегабайт при потоковой распаковке у ре, Аноним (37), 10:44 , 30-Апр-25, (47)

С вероятностью 99 99 там нет никакой потоковой обработки, зовётся метод на пето, Аноним (78), 12:38 , 30-Апр-25, (78) +5

С такой же вероятностью этот скрипт запускается гипервизором с лимитом памяти на, GG (ok), 10:25 , 01-Май-25, (160)

И будет выкачивать этот файл падатьвыкачивать файл падать короче непонятно в чем, Аноним (165), 14:53 , 01-Май-25, (165)

Только у особо жопоруких У нормальных пару раз упадёт и больше туда ходить не бу, GG (ok), 15:28 , 01-Май-25, (166)

Mission Accomplished Бота же отвадили, грузить серваки не будет, что вам еще , Аноним (-), 09:27 , 03-Май-25, (204)

Наивные методы таки работают, хоть и не всегда Простой пример защиты от спам-бо, qwe (??), 10:32 , 30-Апр-25, (41)

Шел 2025 год, а люди так и не поняли почему нельзя парсить html регулярками , Аноним (215), 03:13 , 09-Май-25, (215)

Ну забью нулями посередине документа,или другим паттерном легитимного html , Аноним (42), 10:33 , 30-Апр-25, (42)

А остановить распаковку на пятом десятке легитимного HTML ну никак нельзя, да , Аноним (37), 10:49 , 30-Апр-25, (49)

Как эта проверка может выглядеть Первый байт контента нулевой Или надо провери, Аноним (-), 10:36 , 30-Апр-25, (45) –1

Элементарно проверяются первые несколько байт на наличие заголовка Это элемент, Аноним (37), 10:47 , 30-Апр-25, (48)

В классических краулерах и AI-индексаторах для загрузки и разбора используются р, Аноним (3), 11:36 , 30-Апр-25, (59)
Следующий шаг - делать архив не из нулей, а из повторяющегося триллионы раз леги, Аноним (83), 12:51 , 30-Апр-25, (83) +1

Проверять отношение сжатого к несжатому перед распаковкой ещё во времена фидо пр, Аноним (118), 17:42 , 30-Апр-25, (120)

Я не знаю сообщают ли http заголовке о размере распакованного body, но даже если, Аноним (-), 18:47 , 30-Апр-25, (129)

Это не сервер передаёт, это в заголовке компрессии указывается , Аноним (118), 15:35 , 01-Май-25, (168)

Речь о Accept-Encoding deflate Это rfc1951, ты можешь открыть его и поискать т, Аноним (-), 18:15 , 02-Май-25, (196)

Распаковывается nate html , а в нем 100 млн раз повторен большой морской загиб П, Grand (?), 17:43 , 30-Апр-25, (121)

Народ так еще и не понял, что дешевле отдать контент, чем городить все эти защи, Аноним (15), 08:46 , 30-Апр-25, (15) –13

У вас сайт просто приляжет, если безграничное кол-во скриптов будет его выкачива, bergentroll (ok), 08:52 , 30-Апр-25, (18) +5

Ну если сайт кладёт кнопку скачать за пейвол, то не удивительно, что посетител, anonymous (??), 09:19 , 30-Апр-25, (30) –4

Вообще не об этом статья За пей-волом рандомный робот не скачает , bergentroll (ok), 09:23 , 30-Апр-25, (33) +3

читать даёт постранично, скачать целиком - нет Очевидно возникает желание всё р, anonymous (??), 10:35 , 30-Апр-25, (44) –1

щас бы нейрокравлеров посетителями называть , Я (??), 16:18 , 30-Апр-25, (102)

Если стоит задача получить МУСОРНЫЙ дамп, то мусорные данные ни кого не остано, ddd123 (-), 09:09 , 30-Апр-25, (28) +1

Только их защита не только от ботов но и от пользователей работает к сожалению , Аноним (31), 09:20 , 30-Апр-25, (31) +13

Ага Если случайно попал, пройдя по ссылке - тут же закрыть, не глядя , Аноним (39), 10:25 , 30-Апр-25, (39) –2
Это вообще не проблема, потому что количество пользователей с подозрительными п, Аноним (37), 12:35 , 30-Апр-25, (77)

Ну вот вы сами восстанавливаете пользователей против себя Веб мастера плачутся, , anonymous (??), 17:05 , 30-Апр-25, (115)

Пользователи с подключением к интернету не плачутся Плачутся только те, кому вм, Аноним (118), 17:50 , 30-Апр-25, (123)
Написано же, что процент таких пользователей - статистическая погрешность И проб, Аноним (137), 20:08 , 30-Апр-25, (137)

то есть если меня не устраивает хром или лиса и пользуюсь соответственно ungoggl, anonymous (??), 13:28 , 05-Май-25, (210)

Она и от людей защищает Я заколебался доказывать что не бот при каждом переходе, anonymous (??), 09:20 , 30-Апр-25, (32) +11

Меня кстати клаудфларь меньше всех достает Зачастую нужно просто галочку постав, Аноним9000 (?), 12:27 , 01-Май-25, (163)

А вы попробуйте заблокировать доступ к канвасу, чтобы фингрепринтинг не ходил , anonymous (??), 13:23 , 05-Май-25, (209)

У меня они один-два раза галочку показывают и пропускают А вот, если гугловская, Аноним (175), 19:40 , 01-Май-25, (175)

Если еще проблемы нет с багами в Cloudflare, как это было недавно, когда они нап, Аноним (79), 12:40 , 30-Апр-25, (79) –1

Я всё отдал бы, у меня зеркало Слаквари, но боты весь месячный трафик за пару дн, Аноним (50), 10:57 , 30-Апр-25, (51) +1

Что за зеркало такое лажовое что ему боты траф высаживают А пользователи с него, Аноним (-), 12:04 , 30-Апр-25, (71)

ну сейчас по сути любое среднее зеркало которое хотя как-то индексируется в инте, Я (??), 16:24 , 30-Апр-25, (104)
Бот легко может твой сайтик выкачивать каждые шесть часов И таких ботов может б, Аноним (-), 21:29 , 30-Апр-25, (146)

Наиболее наглых, с диким RPS, может иметь затро тт лить по критерию с этой подс, Аноним (-), 07:36 , 01-Май-25, (159)

О, ты из тех, кто надеется изменить общественное мнение Так они тоже надеются, , Аноним (-), 19:57 , 30-Апр-25, (134)

Как говорится, добрым словом и питолетом W зипбомбой можно достичь большего чем , Аноним (-), 09:29 , 03-Май-25, (205)

Так дешевле соблюдать robots txt и рейт-лимит Но что-то умные боты до этого н, fuggy (ok), 01:14 , 01-Май-25, (154)

99 ботов не умеет в сжатие контента, Fbekwbshru (?), 08:48 , 30-Апр-25, (16) –1

Есть подозрение, что написаны оные на нодежсах с пыхтонами, которые просто вызов, Tron is Whistling (?), 09:03 , 30-Апр-25, (25) +5
С чего ты взял , Аноним (37), 12:00 , 30-Апр-25, (68) +1

Делал эту бомбу много лет назад, периодически смотрю логи , Fbekwbshru (?), 15:30 , 30-Апр-25, (94) –1

Звездишь Ибо сам факт остутствия Accept-Encoding сам по себе говорило бы, что э, Аноним (113), 16:55 , 30-Апр-25, (113) +3

Их можно было бы влет отсеять по критерию не умеет сжатие - пшелнафиг , Аноним (-), 12:05 , 30-Апр-25, (72) +5
Тем, кто не прислал вменяемый Accept-Encoding, можно сразу 400 отдавать Это точ, Аноним (87), 13:24 , 30-Апр-25, (87)

глупость какая, если бот распаковывает архив, то он может в заголовке архива пос, Аноним (23), 08:55 , 30-Апр-25, (19)

Там нет архива и нет размера содержимого Другое дело, что распаковывать-то н, Tron is Whistling (?), 08:58 , 30-Апр-25, (22) +4
Вы только заголовок прочитали , tty2 (?), 09:01 , 30-Апр-25, (24) +1
в распаковку еще надо внести код учитывающий зип-бомбы обычно такого нет ибо , pfg21 (ok), 11:00 , 30-Апр-25, (52)

Это вообще не проблема, ибо данные распаковываются потоково Если после распоковк, Аноним (37), 12:03 , 30-Апр-25, (70) –1

Если после первого же такого документа бот отвалится от сайта - задача выполнена, YetAnotherOnanym (ok), 14:36 , 30-Апр-25, (89) +2

в обход nofollow тогда ясно кто, Соль земли (?), 09:36 , 30-Апр-25, (34) +2
Новые Дон Кихоты и Санчо Пансы на борьбу с ботами вышли В наш век, нейронки выка, Аноним (35), 09:48 , 30-Апр-25, (35) +2

Ну, мой ответ прост - внешний сайт перевести тупо на статику, оставив только при, Аноним (62), 11:47 , 30-Апр-25, (62)

да тут какбы можно и клаудфлейровскую защиту купить если у тебя высоконагруженны, Я (??), 16:33 , 30-Апр-25, (107)

А сколько 171 всего этого 187 надо оплачивать У меня в точности как ты опис, Аноним (118), 17:20 , 30-Апр-25, (117)

Держишь сайт для себя - так заблоч их всех нафиг Здесь друзья-девопсы кучу реце, Олег (??), 17:52 , 30-Апр-25, (124)

Держу сайт для всех, но не 171 компания, фирма 187 Мелкий частный бизнес в , Аноним (118), 15:39 , 01-Май-25, (169)

тогда зачем ты его держишь если не ради прибыли, значит ради хобби,а за хобби, и, Аноним (62), 20:04 , 30-Апр-25, (135)

Этот наш век продлится ровно до краха очередного IT-пузыря Когда основателей , YetAnotherOnanym (ok), 14:49 , 30-Апр-25, (90)

ААА, все пропало, гипс снимают, клиент уезжает Все эти плохие парни со своим, Олег (??), 16:00 , 30-Апр-25, (98)

А шо, его таки изобрели уже , Аноним (153), 01:07 , 01-Май-25, (153) +1

Это всё AI-скрейперы, корпорации тренируют модели нового поколения Ставьте себе, Аноним (36), 09:49 , 30-Апр-25, (36) +3

Еще не хватало этот квази-майнер ставить, беся пользователей Осталось еще блин , Аноним (-), 11:43 , 30-Апр-25, (61)

Альтернатива Критиковать-то мы все горазды Я лично знаю только три 1 опять ч, Аноним (36), 16:40 , 30-Апр-25, (109)

Я лично просто вкатил request rate limits на проблемные AS Благо их не особо , Аноним (-), 05:52 , 02-Май-25, (184)
Аутентификация парой ключей, секретный выдаётся по паспорту , Аноним (197), 19:31 , 02-Май-25, (198)

Anubis - это гадость, не пускает на сайт Гнома Откройте https gitlab gnome org, MinimumProfit (?), 15:18 , 30-Апр-25, (93)

Включи жабоскрипт, Котэ (?), 15:48 , 30-Апр-25, (97) +1

Да, наверняка нет жабоскрипта и куки напрочь отключены Хардкор, короче , Аноним (36), 16:45 , 30-Апр-25, (111)

Всё включено Просто виснет, Ан Оним (?), 20:55 , 30-Апр-25, (141)

пустило же, аноним43481234 (?), 16:29 , 30-Апр-25, (105) +1
Какой браузер У меня даже на древнем планшете с Android 5 открывается в Fennec,, Аноним (36), 16:42 , 30-Апр-25, (110)

Яндекс Бр Из Андроида открывает, а из Linux - нет, Ан Оним (?), 20:53 , 30-Апр-25, (140) –1

С васянофорками всегда только проблемы Не надо ими пользоваться , Аноним (118), 15:42 , 01-Май-25, (170)

Открывается из IOs, Safari И из iPhone, Safari , Аноним (144), 21:19 , 30-Апр-25, (144)
Какая кавайная капча _ , Аноним (148), 22:23 , 30-Апр-25, (148)
Вот отлично гнумно решило самозабанить гиков с своего сайта Пусть умрут жестоко, Аноним (-), 05:53 , 02-Май-25, (185)

Банишь все ASN с type Hosting и наслаждаешься тишиной на сайте , Аноним (53), 11:05 , 30-Апр-25, (53)

не все боты живут на бесплатных фермах гугл лабс и амазон некоторые уже построен, Аноним (62), 11:50 , 30-Апр-25, (63) +3

Вы таких от обычных пользователей только по поведению самого юзер-агента можете , Аноним (42), 12:07 , 01-Май-25, (162)

Поинтересуйся сколько стоит residential proxy Их на вес продают Поэтому что-то, Аноним (118), 15:45 , 01-Май-25, (171)

Иди с такими предложениями, ты так пользователей с впн отрежешь, а им почти все , Аноним (175), 21:04 , 01-Май-25, (176)

Так это ж вообще не баг а фича Банит с сервера не только ботов - но и иди0тов с, Аноним (60), 11:38 , 30-Апр-25, (60) –4
Я так понимаю речь идёт о конторе Netcup которая долбит тысячами запросов в секу, Аноним (64), 11:51 , 30-Апр-25, (64)
Вопрос, кто тут еще самый умный буратина админы домашнего локалхоста, которые за, Аноним (62), 11:54 , 30-Апр-25, (66)

Ты из каких будешь Или продавец платных защит от хостера Во время золотой лихо, fuggy (ok), 01:26 , 01-Май-25, (155)

и что ну умрет один fork у бота, ядрое его пристрелит дальше то все по прежне, Tester (??), 12:47 , 30-Апр-25, (82)
а почему бы не переключать их на dev random , Аноним (84), 12:59 , 30-Апр-25, (84)

Читать дев рандом и отдавать клиенту - проигрышно по ресурсам, по сравнению с за, Аноним (88), 13:24 , 30-Апр-25, (88)
Зазипуй выдачу из dev random на сколько терпения хватит и сравни размер зипа , YetAnotherOnanym (ok), 14:54 , 30-Апр-25, (91) +1
Чтобы создать dev random, нужно куда больше процессорных мощностей чтобы создат, Аноним (144), 20:33 , 30-Апр-25, (139)

Каждое поколение обречено придумывать зип бомбы вновь и вновь Не кэширование отв, Аноним (88), 13:22 , 30-Апр-25, (86) +1

Тогда можно денег зарабатывать в 100-1000 раз больше, а значит можно больше плат, Аноним (-), 20:06 , 30-Апр-25, (136)

Порадовали рассуждения ботовладельцев о детектировании зип-бомб А кто сказал, чт, YetAnotherOnanym (ok), 15:32 , 30-Апр-25, (95) +1

Какая-то чушь, если честно У воркера вполне ограниченные ресурсы на работу и он, Аноним (99), 16:05 , 30-Апр-25, (99)

А ведь корпы могут позволить себе перераспределить немного ресурсов, чтобы долби, Аноним (99), 16:08 , 30-Апр-25, (100)
Товарищи санитары, тут скрипткидди возомнил себя Гуглом , YetAnotherOnanym (ok), 16:59 , 30-Апр-25, (114)

То-то и оно, детишкам подгадить сможешь чуть которые и не могли быть проблемой , Аноним (99), 17:20 , 30-Апр-25, (116)

Что ты можешь знать о ботовладельцах, создающщих серверы на неттопах c Avito , Аноним (144), 17:53 , 30-Апр-25, (125)
Можно стстистические справочники отдавать,в селичинами подкорректированными проц, Grand (-), 17:58 , 30-Апр-25, (127) +1

Ну нейронка пока что не очень умная Из диалога с GPT, понял что она выдает мне о, Аноним (144), 18:18 , 30-Апр-25, (128) –1

О нет, вы догадались о страшнейшей защите от ботов, перед которым дрогнет любой , Аноним (148), 22:34 , 30-Апр-25, (150)

Есть и другие способы Делаем TLS сертификат с RSA на 16384 бита, форсим connecti, Ivan_83 (ok), 16:20 , 30-Апр-25, (103) +1

И наслаждаемся CPU в полку у сервака Самоуничтожение цели конечно валидный вари, Аноним (-), 09:34 , 03-Май-25, (206)

Просто несимметричную задачу на 5 секунд Типа запрос на человека появляется тол, Аноним (106), 16:30 , 30-Апр-25, (106) +1
Бот Просто организует исключение на размер ответа , Аноним (106), 16:34 , 30-Апр-25, (108)

Ну можно зашифровать, zip бомбу, под нечто стандартное А если исключить шифовани, Аноним (144), 19:12 , 30-Апр-25, (132)

Кстати , тут промелькнула здравая идея - вместо зип-бомб отдавать про то, что А, Grey Croco (?), 18:53 , 30-Апр-25, (130) +1

было уже иначе почему нейронки генереруют тебе глупые ответы, а не правильные , Аноним (62), 19:52 , 30-Апр-25, (133)
Нейросети не тренируются на этой гадости, они берут информацию из источников кот, Аноним (144), 20:29 , 30-Апр-25, (138) –1
Легче просто отдавать им идеалы коммунизма Может чему и научаться , Аноним (31), 22:06 , 30-Апр-25, (147)

Бесплатная газировка, все дела , Аноним (144), 10:54 , 01-Май-25, (161) +1

А за трафик вы будете платить Тогда любой каприз за ваши деньги Этот ваш спиди, Аноним (-), 09:41 , 03-Май-25, (207)

Следующим этапом, в новостях , Аноним (156), 05:13 , 01-Май-25, (156)
Что только не придумают, лиж бы не учится -A INPUT -p tcp --dport 80 -m li, OpenEcho (?), 17:37 , 01-Май-25, (173)

Так только себя можно заблочить , Аноним (178), 21:19 , 01-Май-25, (178)

Это пример Dont try at home А себя надо всегда ставить чуть-чуть выше в прав, OpenEcho (?), 16:34 , 02-Май-25, (193)

Мой бот прямо сейчас качает сайт какой-то местечковой продуктовой сети, вместе с, Аноним (118), 21:57 , 01-Май-25, (181)

А зачем это качать , Аноним (186), 12:51 , 02-Май-25, (186)

Ему наверное интересно - сможет он одним ботом задолбать целый клаудфларь А так, Аноним (-), 19:46 , 02-Май-25, (201)

Клаудфларь задолбать так же просто, как её не задалбывать Это совершенно не инт, Аноним (118), 19:12 , 05-Май-25, (212)

Конкурирующая сеть заплатила за слив каталога и апдейт инфы в течение полугода , Аноним (118), 19:11 , 05-Май-25, (211)

Да проблема не скрeйперах, если они не чокнуто-агрессивные, а по большей части , OpenEcho (?), 16:43 , 02-Май-25, (195)

А если бот не распаковывает А если бот достаточно умный, чтоб проверить степень, Аноним (214), 13:15 , 07-Май-25, (214)

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 30-Апр-25, 08:17 +49 +/–

> так как при случайной индексации подобной ловушки ботом Google
> случайной
> Google
:D)))))))))))))))))))))))))))))))))))))))))))))))))))))))))))

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #3, #29

3. Сообщение от Аноним (3), 30-Апр-25, 08:28 +6 +/–

Имелось ввиду, что если накосячишь с настройкой ловушки и она по ошибке сработает для Google Bot, то мало не покажется.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #6

4. Сообщение от Tron is Whistling (?), 30-Апр-25, 08:29 +/–

Добавят в ботов лимит на размер содержимого, и всё.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #10, #11

5. Сообщение от нитгитлистер (?), 30-Апр-25, 08:29 –11 +/–

эмм а что это за содержимое такое на 100 тб? типа набор рандомных случайных данных? или все серии ванписа?))

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #8, #23, #101

6. Сообщение от Tron is Whistling (?), 30-Апр-25, 08:29 +12 +/–

У бота гугла до сих пор нет лимитов на размер загружаемого содержимого?
П - профессионализм.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #7, #118

7. Сообщение от Вася (??), 30-Апр-25, 08:35 +5 +/–

так это будет в лимита загрузки, но вне лимита распаковки

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #27

8. Сообщение от Аноним (8), 30-Апр-25, 08:35 +12 +/–

/dev/zero, написано же

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

9. Сообщение от qqq (??), 30-Апр-25, 08:37 –14 +/–

Когда я лет 7  назад такого бота делал, оно качало только текст и видео/аудио с новостных сайтов. Соответственно всякие zip, gz и тп оно не качало. На некоторых добрых сайтах даже особо разбирать html не нужно было, просто можно было понять как у них систематизированы видео-текст и просто перебирать .../1.html .../1.mp4 или как-то так.
И да, robots.txt оно игнорировало, надо же как-то данные для тренировки моделей собирать.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #17, #76

10. Сообщение от n00by (ok), 30-Апр-25, 08:39 +15 +/–

Так и лимит на количество запросов могли бы добавить, но чего-то не хватило.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #14

11. Сообщение от Аноним (3), 30-Апр-25, 08:41 –1 +/–

Полный размер становится известен только после распаковки. Отдаётся вполне себе небольшой файл, укладывающийся в лимиты. Степень сжатия в таком файле может быть как 1:10 так и 1:1000000.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #20, #21

13. Сообщение от Аноним (13), 30-Апр-25, 08:44 –2 +/–

> На практике предложенный метод применять не рекомендуется, так как сайт может быть занесён Google в чёрный список и начнёт помечаться вредоносным в браузере Chrome с включённым режимом "Safe Browsing".
И в чем смысл? Показать какой администратор умный? Не стоило новости.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #37

14. Сообщение от Аноним (3), 30-Апр-25, 08:45 +1 +/–

Новомодные боты лезут с разных IP, не большой 10-20 запросов с одного. Лезут из Китая, Вьетнама, Бразилии. На днях фильтровал AI-ботов и только список /24 подсетей составил около 5000 строк за день. Всего под сотню тысяч разных IP было, непонятно где они их берут, на ботнет не походит.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #46, #145

15. Сообщение от Аноним (15), 30-Апр-25, 08:46 –13 +/–

Народ так еще и не понял, что дешевле отдать контент, чем городить все эти "защиты".
Все, к чему это приводит, это то, что приходится скрабить такой ресурс еще раз.
Особенно забавно с популярными. Если стоит задача получить дамп, они думают что "мусорные" данные кого-то остановят?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #18, #28, #51, #134, #154

16. Сообщение от Fbekwbshru (?), 30-Апр-25, 08:48 –1 +/–

99% ботов не умеет в сжатие контента

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #25, #68, #72, #87

17. Сообщение от Аноним (3), 30-Апр-25, 08:49 +9 +/–

Когда ты запрашиваешь .html сервер  отдаёт его тебе сжатым, если браузер выставляет заголовок "Accept-Encoding: deflate, gzip, brotli...", а сервер поддерживает сжатие.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9 Ответы: #126

18. Сообщение от bergentroll (ok), 30-Апр-25, 08:52 +5 +/–

У вас сайт просто приляжет, если безграничное кол-во скриптов будет его выкачивать целиком. Можно будет контент себе с локалхоста на локалхост щедро отдавать.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #30

19. Сообщение от Аноним (23), 30-Апр-25, 08:55 +/–

глупость какая, если бот распаковывает архив, то он может в заголовке архива посмотреть оригинальный размер содержимого и не распаковывать его

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #22, #24, #52

20. Сообщение от Tron is Whistling (?), 30-Апр-25, 08:55 +/–

Не "после", а "во время". Плюс распаковка потоковая, весь контент читать не обязательно. Но это слишком сложно, я понимаю.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11

21. Сообщение от Tron is Whistling (?), 30-Апр-25, 08:57 +2 +/–

Хотя в принципе могу понять, считать целиком, потом загнать в распаковку - старая добрая привычка скриптеров, вообще не понимающих, что делают. Им и положено страдать от таких zip-"бомб", пусть страдают :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11

22. Сообщение от Tron is Whistling (?), 30-Апр-25, 08:58 +4 +/–

Там нет "архива" и нет "размера содержимого".
Другое дело, что распаковывать-то надо потоком при закачке, а не всё целиком. Ну или хотя бы лимит распаковщику отдавать.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

23. Сообщение от Аноним (23), 30-Апр-25, 08:58 +7 +/–

Рандомные данные плохо сжимаются, хороши сжимаются повторяющиеся данные - в данном случае нули. Архиватор представит 0000....000 виде "0:количество"

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #26, #143

24. Сообщение от tty2 (?), 30-Апр-25, 09:01 +1 +/–

Вы только заголовок прочитали?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

25. Сообщение от Tron is Whistling (?), 30-Апр-25, 09:03 +5 +/–

Есть подозрение, что написаны оные на нодежсах с пыхтонами, которые просто вызовы библиотек "скачай мне это" - там васянская библиотека сама попробует распаковать, с немного предсказуемым результатом.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

26. Сообщение от нитгитлистер (?), 30-Апр-25, 09:03 +2 +/–

> Рандомные данные плохо сжимаются, хороши сжимаются повторяющиеся данные - в данном случае
> нули. Архиватор представит 0000....000 виде "0:количество"
о как, понял благодарю

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23

27. Сообщение от Tron is Whistling (?), 30-Апр-25, 09:07 +3 +/–

Распаковка по-хорошему производится по мере загрузки.
Никогда не удивляло, что gzip/bzip2/xz/zstd файл для распаковки целиком в память не загружают?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

28. Сообщение от ddd123 (-), 30-Апр-25, 09:09 +1 +/–

>Если стоит задача получить дамп, они думают что "мусорные" данные кого-то остановят?
Если стоит задача получить МУСОРНЫЙ дамп, то "мусорные" данные ни кого не остановят.
А вот если стоит задача получить НЕ МУСОРНЫЙ дамп, то "мусорные" данные конечно остановят. Не сразу конечно, но ресурс для бота будет включён в чёрный список.
И я использую cloudflare, их защита от ботов реально работает.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #31, #32, #79

29. Сообщение от Аноним (29), 30-Апр-25, 09:16 +4 +/–

Пункт 1 на Диком Западе: Шериф всегда прав.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #157

30. Сообщение от anonymous (??), 30-Апр-25, 09:19 –4 +/–

Ну если сайт кладёт кнопку "скачать" за пейвол, то не удивительно, что посетители скачивают текст скриптами.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #33, #102

31. Сообщение от Аноним (31), 30-Апр-25, 09:20 +13 +/–

Только их защита не только от ботов  но и от пользователей работает к сожалению.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28 Ответы: #39, #77

32. Сообщение от anonymous (??), 30-Апр-25, 09:20 +11 +/–

> И я использую cloudflare, их защита от ботов реально работает.
Она и от людей защищает. Я заколебался доказывать что не бот при каждом переходе

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28 Ответы: #163, #175

33. Сообщение от bergentroll (ok), 30-Апр-25, 09:23 +3 +/–

> Ну если сайт кладёт кнопку "скачать" за пейвол,
Вообще не об этом статья. За пей-волом рандомный робот не скачает.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #44

34. Сообщение от Соль земли (?), 30-Апр-25, 09:36 +2 +/–

> сайт может быть занесён Google в чёрный список
в обход nofollow? тогда ясно кто

Ответить | Правка | Наверх | Cообщить модератору

35. Сообщение от Аноним (35), 30-Апр-25, 09:48 +2 +/–

Новые Дон Кихоты и Санчо Пансы на борьбу с ботами вышли)
В наш век, нейронки выкачивают через ботов весь интернет.
И здесь двояко - можно постоянно вычислять и запрещать (боты постоянно меняю поведение и подстраиваются под ваши защиты + у каких нибудь дипсиков будут весьма ограниченные знания о вашем сайте/организации), либо искать какой то компромисс и банить только особо безбашенные боты)

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #62, #90

36. Сообщение от Аноним (36), 30-Апр-25, 09:49 +3 +/–

Это всё AI-скрейперы, корпорации тренируют модели нового поколения. Ставьте себе Anubis, его создал хитрый жук, и у него есть ещё и хитрый план: https://github.com/TecharoHQ/anubis/discussions/258#discussi...
P.S.: специально посмотрю, удалят ли и этот комментарий, потому, что мои абсолютно безобидные комментарии трут бесжалостно последние полгода как минимум.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #61, #93

37. Сообщение от Аноним (37), 30-Апр-25, 10:03 –2 +/–

> Показать какой администратор умный?
Скорее наоборот. Ибо предполагает, что авторы ботов настолько дураки, что не додумаются при потоковой распаковке добавить проверку содержимого, и отбрасывать все, что начинается с этих нулей вместо "<!DOCTYPE html>" и т.п.
Наивность метода просто поражает.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #38, #41, #42, #45

38. Сообщение от Аноним (38), 30-Апр-25, 10:11 +7 +/–

> Ибо предполагает, что авторы ботов настолько дураки
Ты и не представляешь насколько...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37 Ответы: #43

39. Сообщение от Аноним (39), 30-Апр-25, 10:25 –2 +/–

Ага. Если случайно попал, пройдя по ссылке - тут же закрыть, не глядя.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31

41. Сообщение от qwe (??), 30-Апр-25, 10:32 +/–

Наивные методы таки работают, хоть и не всегда. Простой пример защиты от спам-ботов: спам-боты часто не видят html-комментарии. Защита банальна: сунуть скрытое поле формы внутрь html-комментария и проверить, кто это поле передаст в post запросе. Браузеры такое поле в тело post запроса не передадут, а боты - вполне, ибо не разбирают DOM-дерево, а юзают регулярки. Не со всеми прокатывает, но со многими.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37 Ответы: #215

42. Сообщение от Аноним (42), 30-Апр-25, 10:33 +/–

Ну забью нулями посередине документа,или другим паттерном легитимного html.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37 Ответы: #49

43. Сообщение от n00by (ok), 30-Апр-25, 10:34 +1 +/–

Ну он и не догадался, что после <!DOCTYPE html> можно отправлять пробелы...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38 Ответы: #47

44. Сообщение от anonymous (??), 30-Апр-25, 10:35 –1 +/–

читать даёт постранично, скачать целиком - нет. Очевидно возникает желание всё равно эту информацию скачать. Раньше для этого использовался scrapbook, но теперь он не совместим с принципами файерфокс, и скрапить приходится питоном

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33

45. Сообщение от Аноним (-), 30-Апр-25, 10:36 –1 +/–

> Ибо предполагает, что авторы ботов настолько дураки, что не додумаются при потоковой распаковке добавить проверку содержимого
Как эта проверка может выглядеть? Первый байт контента нулевой? Или надо проверить первые 1000 байт? И чё? Если все 1000 байт нулевые то отбрасываем, а если хотя бы 1 байт ненулевой то нет? А если я в zip-бомбу положу 1024 не нуля, прежде чем дописывать два терабайта нулей? Или ещё я могу не парится, и создать файл на два петабайта двоичных 1. Они легко пройдут проверку на нули, а сжиматься будут не хуже нулей. Ещё неплохо должны сжиматься паттерны типа 10101010101..., 0101010101, 100100100100100..., и тп. Я не знаю деталей всяких этих deflate и brotli, насколько им важны границы между байтов и имеет ли смысл эти паттерны делать размеров кратными 2^N, но это легко выяснить экспериментально.
На стороне бота не автор бота проверяет, что надо, а что нет, а тупая программа. И вот её как раз очень легко подвести к граблям, чтобы она на них наступила. Писать же программы, которые не наступают на грабли, или не так просто наступают, гораздо-гораздо сложнее. И дороже.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37 Ответы: #48

46. Сообщение от n00by (ok), 30-Апр-25, 10:42 –9 +/–

IP разные, а запросы одинаковые, потому и получается фильтровать. 100 тысяч IP, подозреваю, даже особо активный Аноним Опеннет может нагенерировать с двух телефонов.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #50, #56

47. Сообщение от Аноним (37), 30-Апр-25, 10:44 +/–

> Ну он и не догадался, что после <!DOCTYPE html> можно отправлять пробелы...
Ну да, ведь остановиться на размере 10-30 мегабайт при потоковой распаковке у ребят ну никак не получиться.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43 Ответы: #78

48. Сообщение от Аноним (37), 30-Апр-25, 10:47 +/–

> Как эта проверка может выглядеть? Первый байт контента нулевой? Или надо проверить первые 1000 байт? И чё?
Элементарно: проверяются первые несколько байт на наличие заголовка. Это элементарная проверка, так все браузеры делают.
Или ты думал, они все куском распаковывают, а уже потом пытаются понять, что внутри?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45 Ответы: #59, #83, #121

49. Сообщение от Аноним (37), 30-Апр-25, 10:49 +/–

> Ну забью нулями посередине документа,или другим паттерном легитимного html.
А остановить распаковку на пятом десятке легитимного HTML ну никак нельзя, да?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42

50. Сообщение от Аноним (50), 30-Апр-25, 10:54 +16 +/–

Я не особенно активный аноним, но мне очень интересно, как сгенерить 100 000 ipv4 с двух телефонов.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #46 Ответы: #96, #202

51. Сообщение от Аноним (50), 30-Апр-25, 10:57 +1 +/–

Я всё отдал бы, у меня зеркало Слаквари, но боты весь месячный трафик за пару дней высасывают.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #71

52. Сообщение от pfg21 (ok), 30-Апр-25, 11:00 +/–

в распаковку еще надо внести код учитывающий зип-бомбы :) обычно такого нет.
ибо дать четкое алгоритм, что вот этот архив с сжатием в 5 раз не зип-бомба а вот со сжатием в 10 раз зип-бомба нет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #70

53. Сообщение от Аноним (53), 30-Апр-25, 11:05 +/–

Банишь все ASN с type == Hosting и наслаждаешься тишиной на сайте :)

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #63, #176

56. Сообщение от Аноним (3), 30-Апр-25, 11:27 +/–

Запросы все разные, с разных реалистичных User Agent.  Боты  индексируют разные страницы без повторов и вся свора ботов синхронизирована (видимо задания на загрузку формируются заранее и распределяются). Без штук типа anubis от реальных пользователей их не отличишь.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #46 Ответы: #69

59. Сообщение от Аноним (3), 30-Апр-25, 11:36 +/–

> Или ты думал, они все куском распаковывают, а уже потом пытаются понять,
> что внутри?
В классических краулерах и AI-индексаторах для загрузки и разбора используются разные процессы.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48

60. Сообщение от Аноним (60), 30-Апр-25, 11:38 –4 +/–

> может быть занесён Google в чёрный список
> и начнёт помечаться вредоносным в браузере Chrome с включённым режимом
> "Safe Browsing".
Так это ж вообще не баг а фича. Банит с сервера не только ботов - но и иди0тов с "safe" browsing от spyware corp.

Ответить | Правка | Наверх | Cообщить модератору

61. Сообщение от Аноним (-), 30-Апр-25, 11:43 +/–

> Это всё AI-скрейперы, корпорации тренируют модели нового поколения.
> Ставьте себе Anubis, его создал хитрый жук,
Еще не хватало этот квази-майнер ставить, беся пользователей. Осталось еще блин начать майнить на пользователях - и тогда боты вообще станут всячески велкам :). А если удалось задетектить бота - и начать майнить на нем дольше и наглее... ммм... так можно и подзаработать даже. На ботах. Если они сдуру JS отрастят.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36 Ответы: #109

62. Сообщение от Аноним (62), 30-Апр-25, 11:47 +/–

Ну, мой ответ прост - внешний сайт перевести тупо на статику, оставив только приветственную картинку как делают многие китайцы работающие с внешним миром, если не хватает канала - ограничить каждый ip парочкой соединений(чем не гнушается даже гитхаб), можно даже  с шейпингом для особо ретивых, или каптчу по превышении количества запрошенных ресурсов. У меня подобные боты быстро вспоминают, что такое интернет на скорости 2 кбод.
Внутренние рабочие ресурсы для удаленных сотрудников отдавать только с помощью запрещенной к упоминанию технологии из 3 букв.
Мы все же не в 90-еы живем, когда было модно выставлять на улицу всякие скрипты гостевых книг и форумы. Тогда боты больше емайлы собирали для спама, вот для них у меня и были скрытые ссылки на скрипты подготовлены, которые генерировали кучу динамически-рандомных емайлов, по сотне за раз.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35 Ответы: #107

63. Сообщение от Аноним (62), 30-Апр-25, 11:50 +3 +/–

не все боты живут на бесплатных фермах гугл лабс и амазон.
некоторые уже построены на ботнетах из роутеров и камер с уязвимостями.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53 Ответы: #162

64. Сообщение от Аноним (64), 30-Апр-25, 11:51 +/–

Я так понимаю речь идёт о конторе Netcup которая долбит тысячами запросов в секунду с разных ipv6 на сайты которые закрыты через клаудфларе.

Ответить | Правка | Наверх | Cообщить модератору

66. Сообщение от Аноним (62), 30-Апр-25, 11:54 +/–

Вопрос, кто тут еще самый умный буратина:
админы домашнего локалхоста, которые зачем то выпустили свою тушку наружу, без защиты соединения из трех буков,
или админы вебсерверов, получающих за это зарплату, но почему то до сих пор не внедривших защиту от ботов, или не переехавших к надежному хостеру с защитой.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #155

68. Сообщение от Аноним (37), 30-Апр-25, 12:00 +1 +/–

> 99% ботов не умеет в сжатие контента
С чего ты взял?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16 Ответы: #94

69. Сообщение от 678 (?), 30-Апр-25, 12:02 –2 +/–

Почему? боты аля-curl не грузят всякие css, как триггер геморно, но можно. с селениумами сложнее, но в целом тоже можно..половина сайтов современных выдает кучу уведомлений, от куки до рекламы, или около рекламы, так что большая часть страницы перекрывается, бот этот попап закрывать не станет, а юзер да - и если бот посмотрел страницу и ничего не закрыл, то для нового запроса можно бан или последнее китайское, в общем не вижу проблемы.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #56 Ответы: #75, #119

70. Сообщение от Аноним (37), 30-Апр-25, 12:03 –1 +/–

Это вообще не проблема, ибо данные распаковываются потоково.
Если после распоковки первой сотни килобайт у тебя там нули или другой мусор вместо <!DOCTYPE..., то дальше можно не продолжать.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #52 Ответы: #89

71. Сообщение от Аноним (-), 30-Апр-25, 12:04 +/–

> Я всё отдал бы, у меня зеркало Слаквари, но боты весь месячный трафик
> за пару дней высасывают.
Что за зеркало такое лажовое что ему боты траф высаживают? А пользователи с него не качают чтоли? Тогда и зеркало можно просто снести - никто и не заметит.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #51 Ответы: #104, #146

72. Сообщение от Аноним (-), 30-Апр-25, 12:05 +5 +/–

> 99% ботов не умеет в сжатие контента
Их можно было бы влет отсеять по критерию "не умеет сжатие -> пшелнафиг"

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

75. Сообщение от Аноним (75), 30-Апр-25, 12:32 +4 +/–

>бот этот попап закрывать не станет
>а юзер да
Нормальный юзер тоже не станет, т.к. эти банеры у этого юзера скрыты юблоком и юзер юаннер не видит в принципе.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #69

76. Сообщение от Ося Бендер (?), 30-Апр-25, 12:33 +8 +/–

В некоторых странах шариата таким умникам руку могут отрубить, так-что будь осторожен, я тебя предупредил.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9 Ответы: #122

77. Сообщение от Аноним (37), 30-Апр-25, 12:35 +/–

> Только их защита не только от ботов  но и от пользователей работает к сожалению.
Это вообще не проблема, потому что количество пользователей с подозрительными (по мнению Cloudflare) запросами - это капля в море по сравнению с нагрузкой, которую делает даже один единственный бот.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31 Ответы: #115

78. Сообщение от Аноним (78), 30-Апр-25, 12:38 +5 +/–

С вероятностью 99.99% там нет никакой потоковой обработки, зовётся метод на петоне (как вариант на go) в параметрах урл, в ответе распакованный ответ. Вот в распакованном ответе внезапно может случится терабайт пробелов..

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47 Ответы: #160

79. Сообщение от Аноним (79), 30-Апр-25, 12:40 –1 +/–

Если еще проблемы нет с багами в Cloudflare, как это было недавно, когда они написали, что откатились, решают проблему, а по факту - нет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28

82. Сообщение от Tester (??), 30-Апр-25, 12:47 +/–

и что.. ну умрет один fork у бота, ядрое его пристрелит. дальше то все по прежнему будет работать

Ответить | Правка | Наверх | Cообщить модератору

83. Сообщение от Аноним (83), 30-Апр-25, 12:51 +1 +/–

Следующий шаг - делать архив не из нулей, а из повторяющегося триллионы раз легитимного заголовка файла (например, того же самого <!DOCTYPE html>). Файлик не сильно больше получится.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48 Ответы: #120

84. Сообщение от Аноним (84), 30-Апр-25, 12:59 +/–

а почему бы не переключать их на  dev/random ?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #88, #91, #139

86. Сообщение от Аноним (88), 30-Апр-25, 13:22 +1 +/–

Каждое поколение обречено придумывать зип бомбы вновь и вновь.
Не кэширование ответов бэкэнда, не рейтлимиты, нет.
Горе-админам (я так понимаю, админы этого сайта тоже к ним относятся) надо себя спросить, что они будут делать, если на их сайты вдруг случайно начнет ходить больше людей. Будет нагрузка 100-1000 rps (вместо привычных 0-1) в зависимости от времени дня. Что тогда? Тоже зип бомбы?
Нули в гзипе никто дочитывать не будет и одним куском в память класть тоже. Некоторые шансы на краш есть только когда ответ мимикрирует под нормальные данные и доходит до парсера html и выполнения JS. Само сырье в гзипе для этого не обязательно большое (я использовал меньше гига). Чем скорее полезная^Wвредная нагрузка попадет на обработку, тем лучше.
Не любой код на JS кладет клиенты. Лучшие результаты наблюдались с вечными циклами, заполняющими планировщик. Складывало даже довольно мощные машины в глухое зависание с перезагрузками по питанию.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #136

87. Сообщение от Аноним (87), 30-Апр-25, 13:24 +/–

Тем, кто не прислал вменяемый Accept-Encoding, можно сразу 400 отдавать. Это точно и не человек, и не полезный бот.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

88. Сообщение от Аноним (88), 30-Апр-25, 13:24 +/–

Читать дев рандом и отдавать клиенту - проигрышно по ресурсам, по сравнению с затратами клиента. Сервер выполнит в 2 раза больше работы, чем клиент.
Какие цели у вашей идеи? Чтобы было прикольнее?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #84

89. Сообщение от YetAnotherOnanym (ok), 30-Апр-25, 14:36 +2 +/–

Если после первого же такого документа бот отвалится от сайта - задача выполнена.
А если нет - можно и продолжить. Дать боту легитимный хтмл, из которого тот нахарвестит линков на лайв-видосики неограниченной продолжительности сплошного чёрного ухд - и пусть он их качает до второго пришествия.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70

90. Сообщение от YetAnotherOnanym (ok), 30-Апр-25, 14:49 +/–

> В наш век, нейронки выкачивают через ботов весь интернет
Этот "наш век" продлится ровно до краха очередного IT-пузыря. Когда основателей стартюпов на тему "мы разрабатываем систему ИИ" охрана инвестфонда будет выкидывать на мороз - сразу всё буйство ботов волшебным образом прекратится.
> банить только особо безбашенные боты
С простым критерием - если бот распознаётся как бот, то это безбашенный бот.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35 Ответы: #98

91. Сообщение от YetAnotherOnanym (ok), 30-Апр-25, 14:54 +1 +/–

> а почему бы не переключать их на  dev/random ?
Зазипуй выдачу из /dev/random (на сколько терпения хватит) и сравни размер зипа и оригинала. Потом зазипуй выдачу /dev/zero и тоже сравни размеры.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #84

93. Сообщение от MinimumProfit (?), 30-Апр-25, 15:18 +/–

Anubis - это гадость, не пускает на сайт Гнома.
Откройте https://gitlab.gnome.org/GNOME/gtkmm-documentation/tree/mast.../
Вот что он пишет:
"Making sure you're not a bot!
Calculating...
Difficulty: 4, Speed: 0kH/s
Why am I seeing this?
Protected by Anubis from Techaro. Made with ❤️ in 🇨🇦."
И всё, не пускает.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36 Ответы: #97, #105, #110, #144, #148, #185

94. Сообщение от Fbekwbshru (?), 30-Апр-25, 15:30 –1 +/–

Делал эту бомбу много лет назад, периодически смотрю логи.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #68 Ответы: #113

95. Сообщение от YetAnotherOnanym (ok), 30-Апр-25, 15:32 +1 +/–

Порадовали рассуждения ботовладельцев о детектировании зип-бомб.
А кто сказал, что зип-бомба может быть только из /dev/zero и выдаваться только в ответ на запрос html-документа? А картинку дофигалиард на дофигалиард белых пикселей не хотите? А PDF с такой картинкой? А нескончаемый лайвстрим радикального чёрного цвета HD/UHD? А вы не забыли про модный нынче подход к созданию сайтов, когда сервер отдаёт html-документ без контента, но с жабаскриптом, который скачивает и отображает контент? Там серверу и отдавать мегабайты сжатых нулей не надо - жабаскрипт сам на месте всё сделает. И вместо урожая данных хозяин бота получит записи в логе о прибитом ООМ-киллером безголовом хроме. И так далее, и так далее...

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #99, #125, #127, #150

96. Сообщение от _ (??), 30-Апр-25, 15:38 +8 +/–

Сейчас будет танец "ви таки меня не так поняли" :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50

97. Сообщение от Котэ (?), 30-Апр-25, 15:48 +1 +/–

Включи жабоскрипт

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #93 Ответы: #111

98. Сообщение от Олег (??), 30-Апр-25, 16:00 +/–

ААА, все пропало, гипс снимают, клиент уезжает. Все эти... плохие парни со своими ИИ скоро положат весь интернет. Срочно всех заблокировать!
Хотим мы или нет - ИИ это действительность, сколько угодно можем ворчать, ругаться - ничего от этого не изменится и количества ботов не изменится, а скорее увеличится. Не, есть вариант заблочить всех нафиг, и так каждое утро начинать с этого.
Лет 15 назад была проблема со спамом на почтовиках, не буду вдаваться в подробности, приняли стандарты, приучили всех тех спамеров к порядку - и сейчас все норм. Так и здесь - нужен "стандарт", система.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #90 Ответы: #153

99. Сообщение от Аноним (99), 30-Апр-25, 16:05 +/–

Какая-то чушь, если честно. У воркера вполне ограниченные ресурсы на работу и он не станет долбиться вечно. Если что не так, добавляем сайт в чёрный список и удаляем из выдачи. Чтобы вернуть, платите деньги потом.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #95 Ответы: #100, #114

100. Сообщение от Аноним (99), 30-Апр-25, 16:08 +/–

А ведь корпы могут позволить себе перераспределить немного ресурсов, чтобы долбить умников посильнее. Ещё в большем минусе останутся.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #99

101. Сообщение от Я (??), 30-Апр-25, 16:14 +/–

да хоть карта с местонахождением ванписа. главное чтоб жалось хорошо.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

102. Сообщение от Я (??), 30-Апр-25, 16:18 +/–

щас бы нейрокравлеров посетителями называть..

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30

103. Сообщение от Ivan_83 (ok), 30-Апр-25, 16:20 +1 +/–

Есть и другие способы.
Делаем TLS сертификат с RSA на 16384 бита, форсим connection close и всё :)

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #206

104. Сообщение от Я (??), 30-Апр-25, 16:24 +/–

ну сейчас по сути любое среднее зеркало которое хотя как-то индексируется в интернете и хостится на сервисе с месячным лимитом траффика. потому что в отличие от пользователей аи боты качают всё подряд некоторые ещё и по несколько раз а потом часто даже не смотрят в эти данные или не понимают их и качают снова.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #71

105. Сообщение от аноним43481234 (?), 30-Апр-25, 16:29 +1 +/–

пустило же

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #93

106. Сообщение от Аноним (106), 30-Апр-25, 16:30 +1 +/–

Просто несимметричную задачу на 5 секунд. Типа запрос на человека появляется только после решения этой задачи.

Ответить | Правка | Наверх | Cообщить модератору

107. Сообщение от Я (??), 30-Апр-25, 16:33 +/–

да тут какбы можно и клаудфлейровскую защиту купить если у тебя высоконагруженный комерческий сервис, а вот когда ты малый вебсервер держишь который тебе денег много не приносит то ты чем всё это оплатишь? веселее челам у которых невысоконагруженные аписервисы на облаках с оплатой за запрос хостятся так что пользователи никогда за месячную бесплатную квоту не выбиваются, а аишные боты запросами за минуту могут всю квоту выбить.. и радуйся если у тебя было настроено отключение по достижению лимита иначе потом можно получить счёт на несколько тысяч долларов.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #62 Ответы: #117, #135

108. Сообщение от Аноним (106), 30-Апр-25, 16:34 +/–

Бот Просто организует исключение на размер ответа.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #132

109. Сообщение от Аноним (36), 30-Апр-25, 16:40 +/–

Альтернатива? Критиковать-то мы все горазды. Я лично знаю только три: 1. опять чёрные/белые списки, и в итоге туда попадают вообще невиновные; 2. опять капча; 3. платить денюжку. Я уж лучше подожду пока меня Анубис пустит.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #61 Ответы: #184, #198

110. Сообщение от Аноним (36), 30-Апр-25, 16:42 +/–

Какой браузер? У меня даже на древнем планшете с Android 5 открывается в Fennec, пусть и с тормозами, а на домашнем компе вообще за 2 сек.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #93 Ответы: #140

111. Сообщение от Аноним (36), 30-Апр-25, 16:45 +/–

Да, наверняка нет жабоскрипта и куки напрочь отключены. Хардкор, короче.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #97 Ответы: #141

113. Сообщение от Аноним (113), 30-Апр-25, 16:55 +3 +/–

> Делал эту бомбу много лет назад, периодически смотрю логи.
Звездишь. Ибо сам факт остутствия Accept-Encoding сам по себе говорило бы, что это бот.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #94

114. Сообщение от YetAnotherOnanym (ok), 30-Апр-25, 16:59 +/–

> удаляем из выдачи
Товарищи санитары, тут скрипткидди возомнил себя Гуглом.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #99 Ответы: #116

115. Сообщение от anonymous (??), 30-Апр-25, 17:05 +/–

Ну вот вы сами восстанавливаете пользователей против себя.
Веб мастера плачутся, что каждый труд должен быть оплачен, а пользователь отключает рекламу, гад такой.
Пользователь плачется, что он каждый день убивает десяток минут жизни совокупно на преодоление клаудвафли, и при таких расходах уже сайт должен пользователю, а не наоборот.
А зарабатывают на этом ни те, и ни другие.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #77 Ответы: #123, #137

116. Сообщение от Аноним (99), 30-Апр-25, 17:20 +/–

То-то и оно, детишкам подгадить сможешь чуть (которые и не могли быть проблемой), зато следом прилетит сполна. Вполне по заслугам.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #114

117. Сообщение от Аноним (118), 30-Апр-25, 17:20 +/–

> а вот когда ты малый вебсервер держишь который тебе денег много не приносит то ты чем всё это оплатишь?
А сколько «всего этого» надо оплачивать? У меня в точности как ты описал: малый вебсервер (ещё и хостящийся под кроватью), тех денег что он приносит даже на домен не хватает. Естественно он за CloudFlare, чтобы не палить домашние адреса. Стоит мне это удовольствие аж целых $0.0 каждый месяц вот уже два года, кроме ноября 2024, когда на мой сайт налетело ИИ-ботов из-за одной публикации. Тот ноябрь обошёлся мне аж в $1.74. Но уже к декабрю безумие прекратилось и всё вернулось на круги своя за $0.0.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #107 Ответы: #124

118. Сообщение от Аноним (118), 30-Апр-25, 17:33 +1 +/–

В том-то и дело, что есть, и не только на размер. И если любая защита срабатывает — значит сайт и у обычного пользователя тоже нормально работать не будет, значит и рекомендовать пользователям посещать этот сайт не нужно. Все такие подозрительные урлы в поисковом индексе в итоге помечаются как вредоносные, а по достижению определённого лимита вредоносным помечается весь домен. На этом в принципе можно и попрощаться, убрать домен из списка вредоносных может занять несколько месяцев. Если это мелкий магазин, как было у моего клиента, то может оказаться дешевле провести ребрендинг и сменить название, чем держать склад без движения.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #151, #152

119. Сообщение от Аноним (118), 30-Апр-25, 17:36 +1 +/–

> бот этот попап закрывать не станет
Чего вдруг? Мои и закрывают, и на куки соглашаются, и как только людьми не прикидываются. Даже мышкой по странице елозят весьма убедительно. Это не так сложно сделать, как тебе кажется.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #69 Ответы: #172, #200

120. Сообщение от Аноним (118), 30-Апр-25, 17:42 +/–

Проверять отношение сжатого к несжатому перед распаковкой ещё во времена фидо придумали, когда зип-бомбы получили такую популярность.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #83 Ответы: #129

121. Сообщение от Grand (?), 30-Апр-25, 17:43 +/–

Распаковывается nate.html , а в нем 100 млн раз повторен большой морской загиб Петра Великого. Чем это тебе поможет ??

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48

122. Сообщение от _ (??), 30-Апр-25, 17:50 +/–

И что ты ему сделаешь?
Разве что "поцелуешь в уста не говорящие на фламандском"(С) ЛоУШ  :-D

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #76

123. Сообщение от Аноним (118), 30-Апр-25, 17:50 +/–

> Пользователь плачется, что он каждый день убивает десяток минут жизни совокупно на преодоление клаудвафл
Пользователи с подключением к интернету не плачутся. Плачутся только те, кому вместо подключения к интернету продали доступ к провайдерской локалоке с интернетом через cgNAT. Показывать таким капчу это как после посещения туалета руки мыть — вопрос обычной гигиены.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #115

124. Сообщение от Олег (??), 30-Апр-25, 17:52 +/–

Держишь сайт для себя - так заблоч их всех нафиг. Здесь друзья-девопсы кучу рецептов выложили. Другой вопрос - компания, фирма. Хотят они чтоб о них нейронки знали или нет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #117 Ответы: #169

125. Сообщение от Аноним (144), 30-Апр-25, 17:53 +/–

> рассуждения ботовладельцев о детектировании зип-бомб
Что ты можешь знать о ботовладельцах, создающщих серверы на неттопах c Avito.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #95

126. Сообщение от Аноним (126), 30-Апр-25, 17:56 +3 +/–

Зачем подсказываете? Пусть бы дальше собирал "данные для обучения моделей" :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17

127. Сообщение от Grand (-), 30-Апр-25, 17:58 +1 +/–

Можно стстистические справочники отдавать,в селичинами подкорректированными процентов на 20 в произвольную сторону. Чтоб у них нейронки галлюцинировали.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #95 Ответы: #128

128. Сообщение от Аноним (144), 30-Апр-25, 18:18 –1 +/–

> Можно стстистические справочники отдавать,в селичинами подкорректированными процентов
> на 20 в произвольную сторону. Чтоб у них нейронки галлюцинировали.
Ну нейронка пока что не очень умная.
Из диалога с GPT, понял что она выдает мне ответы которые я хотел бы услышать.
Потому как если начать уточнять, начать туда сюда вокруг термина вопорса, то ответы GPT, меняются. И могут быть каардинально противоположные, главное чтобы пользователю нравится.
А так же замалчивание потенциально правильных ответов, иногда. Тоесть когда 1 или 2, а ответ, решение в 3 м.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #127

129. Сообщение от Аноним (-), 30-Апр-25, 18:47 +/–

Я не знаю сообщают ли http заголовке о размере распакованного body, но даже если они сообщают, то сервер может наврать об этом, и потом клиент радостно будет распаковывать. И я заверяю тебя, он будет распаковывать до конца, потому что Postel's law: "be conservative in what you send, be liberal in what you accept".
Но я сомневаюсь, что сервер сообщает о длине распакованного. В любом случае, сервер может просто прекратить сообщать _всегда_, чтобы боты были бы вынуждены либо отказываться вообще работать с сайтом, либо работать в отсутствие предсказуемости длины распакованного.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #120 Ответы: #168

130. Сообщение от Grey Croco (?), 30-Апр-25, 18:53 +1 +/–

Кстати , тут промелькнула здравая идея - вместо зип-бомб отдавать про то, что: Американцев не было на луне ,ВИЧ - был разработан ЦРУ , про прикладную эфиродинамику и всемирный заговор релятивистов, про то, что масоны заставили Рузвельта плыть по канализации в рамках обряда инициации, от чего он и захворал поиломелилитом . В общем, всю чушь, Весь СПИД-инфо - чтоб нейросети натренировались на всякой гадости..

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #133, #138, #147, #207

132. Сообщение от Аноним (144), 30-Апр-25, 19:12 +/–

Ну можно зашифровать, zip бомбу, под нечто стандартное.
А если исключить шифования, то многие мессенджеры, например используют шифрование, конфедициальность данных.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #108

133. Сообщение от Аноним (62), 30-Апр-25, 19:52 +/–

было уже.
иначе почему нейронки генереруют тебе глупые ответы, а  не правильные?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #130

134. Сообщение от Аноним (-), 30-Апр-25, 19:57 +/–

> Народ так еще и не понял, что дешевле отдать контент, чем городить все эти "защиты".
О, ты из тех, кто надеется изменить общественное мнение? Так они тоже надеются, и твоим же способом: сделав скрабинг дороже тебе. Успехов повышать друг-другу косты, владельцы датацентров будут рады.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #205

135. Сообщение от Аноним (62), 30-Апр-25, 20:04 +/–

>а вот когда ты малый вебсервер держишь который тебе денег много не приносит то ты чем всё это оплатишь?
тогда зачем ты его держишь?
если не ради прибыли, значит ради хобби,
а за хобби, извините, у нас принято платить!
ведь ты же не придешь в магазин с требованием "дайте мне лыжи\мотоцикл\яхту, я кататься буду"(вместо лыж подставьте что нибудь из вашего любимого).

>аписервисы на облаках с оплатой за запрос
Если ты не можешь сделать сам, поднять сервер, настроить сервисы - плати за это другим.
Бесплатно у нас пока никто работать не хочет.
Если тебя не устраивают какие то тарифные планы - уходи к другому хостеру.
Или тебя насильно гвоздями заставили пользоваться именно этим тарифом?
> получить счёт на несколько тысяч долларов.
ситуация уровня "сам себе злобный буратина".

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #107

136. Сообщение от Аноним (-), 30-Апр-25, 20:06 +/–

> Будет нагрузка 100-1000 rps (вместо привычных 0-1) в зависимости от времени дня. Что тогда? Тоже зип бомбы?
Тогда можно денег зарабатывать в 100-1000 раз больше, а значит можно больше платить хостеру за железо. Оплачивать же железо, чтобы боты могли бы его гонять никто не хочет.
> Нули в гзипе никто дочитывать не будет и одним куском в память класть тоже.
1. Откуда ж ты знаешь?
2. А если браузер столкнётся с http контентом, который начинается с мегабайта нулей, что он будет делать? Скипнёт нули? Отличный способ защитить контект от ботов. Бот небось после первой сотни килобайт оборвёт соединение. Превосходно: можно не обращаться к бд и в целом не заниматься генерацией ответа.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #86

137. Сообщение от Аноним (137), 30-Апр-25, 20:08 +/–

> Ну вот вы сами восстанавливаете пользователей против себя.
Написано же, что процент таких пользователей - статистическая погрешность.
И проблема всегда на из стороне: подозрительная сеть, древний браузер (или какойй-то васянофорк Хрома), и т.п.
> А зарабатывают на этом ни те, и ни другие
Еще как зарабатывает - спасением денег и времени от ботов, сношающих серверные мощностя.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #115 Ответы: #210

138. Сообщение от Аноним (144), 30-Апр-25, 20:29 –1 +/–

> чтоб нейросети натренировались на всякой гадости.
Нейросети не тренируются на этой гадости, они берут информацию из источников которые ты не можешь редактировать.
Только если GPT, выдаст тебе ссылку на сайт. Но не сама модель GPT.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #130

139. Сообщение от Аноним (144), 30-Апр-25, 20:33 +/–

Чтобы создать /dev/random, нужно куда больше процессорных мощностей чтобы создать /dev/zero.
Зачем тебе это.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #84

140. Сообщение от Ан Оним (?), 30-Апр-25, 20:53 –1 +/–

Яндекс Бр. Из Андроида открывает, а из Linux - нет

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #110 Ответы: #170

141. Сообщение от Ан Оним (?), 30-Апр-25, 20:55 +/–

Всё включено. Просто виснет

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #111

143. Сообщение от Аноним (143), 30-Апр-25, 21:08 +/–

Вот только в реальности архиватор потатил 80+ метров диска на хранение 100ТБ *нулей*. Похоже, что sparse-файлы не такая уж плохая идея (как минимум, для больших и однородных данных). И упаковка/распаковка почти бесплатная.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #158

144. Сообщение от Аноним (144), 30-Апр-25, 21:19 +/–

Открывается из IOs, Safari.
И из iPhone, Safari.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #93

145. Сообщение от Аноньимъ (ok), 30-Апр-25, 21:27 –1 +/–

Новые крипто"тапалки" появились.
Чел ставит себе на комп нечто на електроне. И "отдаёт часть ресурсов ПК на общее благо", а за это ему копейки щиткойнов капают.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #203

146. Сообщение от Аноним (-), 30-Апр-25, 21:29 +/–

> Что за зеркало такое лажовое что ему боты траф высаживают?
Бот легко может твой сайтик выкачивать каждые шесть часов. И таких ботов может быть десяток или больше.
> пользователи с него не качают чтоли?
Этих пользователей быть может сто штук и качают они раз в месяц отсилы. Причём качают они не всё, а только то, что надо.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #71 Ответы: #159

147. Сообщение от Аноним (31), 30-Апр-25, 22:06 +/–

Легче просто отдавать им идеалы коммунизма. Может чему и научаться :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #130 Ответы: #161

148. Сообщение от Аноним (148), 30-Апр-25, 22:23 +/–

>Anubis - это гадость, не пускает на сайт Гнома.
Какая кавайная капча \>_</

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #93

150. Сообщение от Аноним (148), 30-Апр-25, 22:34 +/–

О нет, вы догадались о страшнейшей защите от ботов, перед которым дрогнет любой CDN. О нет, я не могу раскрыть корпоративный секрет, что таким простым способом вы сможете справится самостоятельно. Вот чёрт, я проболтался

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #95

151. Сообщение от Tron is Whistling (?), 01-Май-25, 00:54 +/–

Если такая защита срабатывает на х***ю, которую обычный пользователь не закачает никогда - эта защита - полная х***я и чисто рекламный ход.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #118 Ответы: #177

152. Сообщение от Tron is Whistling (?), 01-Май-25, 00:55 –2 +/–

> весь домен. На этом в принципе можно и попрощаться, убрать домен
> из списка вредоносных может занять несколько месяцев. Если это мелкий магазин,
> как было у моего клиента, то может оказаться дешевле провести ребрендинг
> и сменить название, чем держать склад без движения.
Проще использовать другие методы рекламы :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #118 Ответы: #167

153. Сообщение от Аноним (153), 01-Май-25, 01:07 +1 +/–

>Хотим мы или нет - ИИ это действительность
А шо, его таки изобрели уже?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #98

154. Сообщение от fuggy (ok), 01-Май-25, 01:14 +/–

Так дешевле соблюдать robots.txt и рейт-лимит. Но что-то "умные" боты до этого не додумались.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15

155. Сообщение от fuggy (ok), 01-Май-25, 01:26 +/–

Ты из каких будешь? Или продавец платных защит от хостера?
"Во время золотой лихорадки выгоднее продавать лопаты".

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #66

156. Сообщение от Аноним (156), 01-Май-25, 05:13 +/–

Следующим этапом, в новостях:
>Владельца сайта судят за несанкционированный доступ к компьютерной информации. Его сайт отдал боту эксплоит, владелец бота оценил ущерб в олимпиард.

Ответить | Правка | Наверх | Cообщить модератору

157. Сообщение от Аноним (-), 01-Май-25, 07:19 +2 +/–

> Пункт 1 на Диком Западе: Шериф всегда прав.
Не, на диком западе не так. Там кто первый выстрелил и не промазал - тот и прав. Поэтому шерифу лучше не хлопать клювом и уметь стрелять метко и быстро. Иначе не долго он шерифом будет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29

158. Сообщение от Аноним (-), 01-Май-25, 07:24 –3 +/–

> Вот только в реальности архиватор потатил 80+ метров диска на хранение 100ТБ
> *нулей*. Похоже, что sparse-файлы не такая уж плохая идея (как минимум,
> для больших и однородных данных). И упаковка/распаковка почти бесплатная.
Понимаешь в чем нюанс? Хранить 80 мегов нулей по современным меркам - почти бесплатно, и за стораж ты 1 раз платишь. А вот 100 Тб трафика на 1 бота...
1) А скольким ботам ты по 100Тб трафа вообще с твоего сервера нальешь?
2) И во сколько тебе это обойдется? Дешевле чем хранение 80 мегов?
Хотя если тебе сервак снесут за неоплату петабайтов трафика - боты конечно обломаются. Но вот тебе то радости с этого?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #143 Ответы: #197

159. Сообщение от Аноним (-), 01-Май-25, 07:36 +/–

> Бот легко может твой сайтик выкачивать каждые шесть часов. И таких ботов
> может быть десяток или больше.
Наиболее наглых, с диким RPS, может иметь затро(тт)лить по критерию "с этой подсети дофига запросов". После чего они становятся довольно безобидные.
Как очевидная мишень - китайцы, у них довольно жирные аллокации айпишников с которых некультурные боты с ломовым RPS лезут. Эти господа понимают только банхаммером в репу. При том какие легитимные пользователи вам на сервак придут с вот именно айпишников китайских хостингов?
> Этих пользователей быть может сто штук и качают они раз в месяц
> отсилы. Причём качают они не всё, а только то, что надо.
Тем не менее вот это все без гарантий. Решит кто-то допустим репу зеркальнуть с зеркала... :). Но вон то на самом деле довольно легко лечится, см выше. Несколько рулесов iptables или что там у вас по наиболее агрессивным подсетям - и они в ауте.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #146

160. Сообщение от GG (ok), 01-Май-25, 10:25 +/–

С такой же вероятностью этот скрипт запускается гипервизором с лимитом памяти на процесс.
Он просто упадёт с исключением и бот продолжит работу в нормальном режиме.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #78 Ответы: #165

161. Сообщение от Аноним (144), 01-Май-25, 10:54 +1 +/–

> отдавать им идеалы коммунизма.
Бесплатная газировка, все дела.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #147

162. Сообщение от Аноним (42), 01-Май-25, 12:07 +/–

Вы таких от обычных пользователей только по поведению самого юзер-агента можете отличить. Идея (под)резать ASN откуда не будет стучаться злой на медленную закачку клиент намного адекватнее звучит, чем превращать свой сайт в неиндексируемую помойку из белых страниц с ссылками на js.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #63 Ответы: #171

163. Сообщение от Аноним9000 (?), 01-Май-25, 12:27 +/–

Меня кстати клаудфларь меньше всех достает. Зачастую нужно просто галочку поставить и никаких ребусов не решать. Хуже всех в РФ этом отношении Яндекс: даже аутентифицированному мне может выдать три капчи подряд

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32 Ответы: #209

165. Сообщение от Аноним (165), 01-Май-25, 14:53 +/–

И будет выкачивать этот файл падать
выкачивать файл падать короче непонятно в чем профит

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #160 Ответы: #166

166. Сообщение от GG (ok), 01-Май-25, 15:28 +/–

> И будет выкачивать этот файл падать
> выкачивать файл падать короче непонятно в чем профит
Только у особо жопоруких.
У нормальных пару раз упадёт и больше туда ходить не будет.
И падение это займёт времени не больше чем любой другой реквест, так что в целом и по×ую.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #165 Ответы: #204

167. Сообщение от Аноним (118), 01-Май-25, 15:31 +/–

Если вашего бизнеса нет в выдаче самого популярного поисковика в мире, значит вашего бизнеса нет и в интернете.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #152 Ответы: #174

168. Сообщение от Аноним (118), 01-Май-25, 15:35 +/–

Это не сервер передаёт, это в заголовке компрессии указывается.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #129 Ответы: #196

169. Сообщение от Аноним (118), 01-Май-25, 15:39 +/–

Держу сайт для всех, но не «компания, фирма». Мелкий частный бизнес в одно лицо. С клаудфларью нет проблем вообще.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #124

170. Сообщение от Аноним (118), 01-Май-25, 15:42 +/–

С васянофорками всегда только проблемы. Не надо ими пользоваться.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #140

171. Сообщение от Аноним (118), 01-Май-25, 15:45 +/–

Поинтересуйся сколько стоит residential proxy. Их на вес продают. Поэтому что-то там по ASN фильтровать — только память под фильтр впустую тратить. Скрейпинг не вчера в openai придумали, с этой ветряной мельницей интернет борется уже десятилетия.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #162

172. Сообщение от OpenEcho (?), 01-Май-25, 17:32 +1 +/–

>  Мои и закрывают,
Аха... попался ! :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #119 Ответы: #180

173. Сообщение от OpenEcho (?), 01-Май-25, 17:37 +/–

Что только не придумают, лиж бы не учится...

    -A INPUT -p tcp --dport 80 -m limit --limit 25/minute --limit-burst 100 -j ACCEPT

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #178, #181

174. Сообщение от Tron is Whistling (?), 01-Май-25, 19:22 –1 +/–

Хреновый у вас бизнес.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #167 Ответы: #179

175. Сообщение от Аноним (175), 01-Май-25, 19:40 +/–

У меня они один-два раза галочку показывают и пропускают. А вот, если гугловская встретится... Ну что же, пара минут выборов велосипедов обеспечены, ибо, в первые попытки обязательно попросят "попробовать снова", пусть всё и правильно выбрано

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32

176. Сообщение от Аноним (175), 01-Май-25, 21:04 +/–

Иди с такими предложениями, ты так пользователей с впн отрежешь, а им почти все пользуются сейчас, по понятным причинам

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53

177. Сообщение от Аноним (118), 01-Май-25, 21:17 –1 +/–

Ты наверное не очень хорошо представляешь с каким скамом приходится иметь дело поисковым системам. Есть множество частных случаев, но общий подход такой: если на странице есть хоть что-то нестандартное, странное (для произвольных определений странности — это мегабайты кода, буквально), и даже отдалённо напоминающее попытки манипуляций поисковой выдачей, то сайт начинает «тонуть» по рейтингу, при чём чем больше срабатываний, тем быстрее. Поэтому совет от гуру пикапа: брать кунг с лючком, и не совать на свои страницы ничего эдакого, особенно «х***ю, которую обычный пользователь не закачает никогда», если сайт нужен для ведения бизнеса.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #151

178. Сообщение от Аноним (178), 01-Май-25, 21:19 +/–

>--dport 80
Так только себя можно заблочить.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #173 Ответы: #193

179. Сообщение от Аноним (118), 01-Май-25, 21:21 +/–

Я не жалуюсь, на сытую жизнь в недешёвой стране хватает и ещё остаётся. Но раз ты говоришь хреновый, завтра же займусь ликвидацией и вернусь обратно работать на какого-нибудь провайдера за зарплатку. У меня правда в резюме перерыв в почти десять лет которые я нигде и никем не числился, думаешь хотя бы джуном возьмут?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #174 Ответы: #182

180. Сообщение от Аноним (118), 01-Май-25, 21:37 +/–

Я и не прятался. Занимаюсь скрапингом давно и не думаю бросать. Сабж и прочие жалкие попытки защитить от невидимых угроз никому не нужные сайты считаю смехотворными. Как и большую часть местных комментариев в духе «так их, иродов!». С анубисом или без, 99% сайтов не представляют для скрапинга никакого коммерческого интереса, и попасть туда можно только по ошибке. Эти безумные ИИ боты тоже скоро научатся игнорировать весь шлак. И обходить «защиты» тоже.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #172 Ответы: #194

181. Сообщение от Аноним (118), 01-Май-25, 21:57 +/–

Мой бот прямо сейчас качает сайт какой-то местечковой продуктовой сети, вместе со всеми ассетами, с 400 _разных_ айпи-адресов, принадлежащих каким-то людям проживающим в том регионе. Качается сайт с понедельника по несколько часов в день, к воскресенью должен уже закончить. Сайт за CloudFlare, кстати (это к впросу об эффективности противодействия). Ни один айпишник не был забанен и не упёрся в капчу. С такими лимитами как у тебя я бы и быстрее управился наверное.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #173 Ответы: #186, #195

182. Сообщение от Tron is Whistling (?), 01-Май-25, 22:20 +/–

Да, займись, всё какое-то занятие.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #179 Ответы: #183

183. Сообщение от Аноним (118), 01-Май-25, 23:19 +/–

Посмотрел сколько на деле платят сеньорам в FAANG (куда меня даже джуном вряд ли возьмут), и передумал ликвидироваться. Лучше с хреновым бизнесом, зато сыт и в тепле, чем вкалывать по 40-50 часов в неделю за эту «достойную оплату труда».

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #182

184. Сообщение от Аноним (-), 02-Май-25, 05:52 +/–

> Альтернатива? Критиковать-то мы все горазды. Я лично знаю только три: 1. опять
> чёрные/белые списки, и в итоге туда попадают вообще невиновные; 2. опять
> капча; 3. платить денюжку. Я уж лучше подожду пока меня Анубис пустит.
Я лично просто вкатил request rate limits на "проблемные" AS. Благо их не особо много, в основном китайцы, и в основном с откровенно "хостинговых" диапазонов. И как только начинают наглеть - самозабаниваются. Можно сделать и на уровне вебсервера, и на уровне фаера.
А плач этого анубиса про боты с рандомных айпишников - фигня. Я вижу вполне конкретные фирмы и их хостинговые AS в большей части запросов. Потому что выискивать по помойкам левые проксики это все же гемор и стоит денег. Фигарить оптом с своих серваков - проще.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #109

185. Сообщение от Аноним (-), 02-Май-25, 05:53 +/–

> Anubis - это гадость, не пускает на сайт Гнома.
> Откройте https://gitlab.gnome.org/GNOME/gtkmm-documentation/tree/mast.../
Вот отлично гнумно решило самозабанить гиков с своего сайта. Пусть умрут жестокой смертью.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #93

186. Сообщение от Аноним (186), 02-Май-25, 12:51 +/–

А зачем это качать?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #181 Ответы: #201, #211

193. Сообщение от OpenEcho (?), 02-Май-25, 16:34 +/–

> Так только себя можно заблочить.
Это пример ! "Dont try at home" А себя надо всегда ставить чуть-чуть выше в правилах ;)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #178

194. Сообщение от OpenEcho (?), 02-Май-25, 16:39 +/–

> Я и не прятался.
Да шучу просто.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #180

195. Сообщение от OpenEcho (?), 02-Май-25, 16:43 +/–

>  Качается сайт с понедельника по несколько часов в день
Да проблема не скрeйперах, если они не чокнуто-агрессивные, а по большей части "секьюрити" анализаторы (или наоборот, те самые которые прикидываются) ломящиеся с AWS, Azure и GCP.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #181

196. Сообщение от Аноним (-), 02-Май-25, 18:15 +/–

Речь о Accept-Encoding: deflate. Это rfc1951, ты можешь открыть его и поискать там что-нибудь про заголовки. У меня есть подозрение, что gz encoding имеет какие-то заголовки и сложнее, чем deflate, но deflate совершенно точно не имеет никаких заголовков, это тупо поток байт для декомпрессии.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #168

197. Сообщение от Аноним (197), 02-Май-25, 19:24 +/–

Речь о том, что для представления 100ТБ однородных байт в виде "[01]:количество" нужно 48 бит. 1 бит хранит двоичное "0 или 1" и 47 бит хранит число байт (минимально адресуемое) - 10^14 (~2^47). То есть 6 байт должно быть достаточно. А получилось в миллион раз больше.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #158

198. Сообщение от Аноним (197), 02-Май-25, 19:31 +/–

Аутентификация парой ключей, секретный выдаётся по паспорту.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #109

200. Сообщение от Аноним (200), 02-Май-25, 19:41 +/–

>> бот этот попап закрывать не станет
> Чего вдруг? Мои и закрывают, и на куки соглашаются, и как только
> людьми не прикидываются. Даже мышкой по странице елозят весьма убедительно. Это
> не так сложно сделать, как тебе кажется.
А ты майнер запусти. Если закрыли страницу - значит человеки. Не закрыли? Зашиьись, поднавались, еше мегахэшей накиньте, и побольше!

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #119

201. Сообщение от Аноним (-), 02-Май-25, 19:46 +/–

> А зачем это качать?
Ему наверное интересно - сможет он одним ботом задолбать целый клаудфларь? А таки - не сможет. Клаудфларь 400 конекций как-нибудь переживет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #186 Ответы: #212

202. Сообщение от Admino (ok), 02-Май-25, 21:11 +/–

Он просто путает соединения и IP. Он просто неграмотный.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50

203. Сообщение от 0xdeadbee (-), 03-Май-25, 08:41 +/–

> Чел ставит себе на комп
на смартфон.
> нечто на електроне.
моднейший фонарик, в которое встроен интересный API.
программсты фонарика имеют откат от авторов API,
авторы API сдают прокси в аренду.
всем хорошо кроме сайтовладельцев.
на швабре описывали такой сценарий.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #145

204. Сообщение от Аноним (-), 03-Май-25, 09:27 +/–

>> И будет выкачивать этот файл падать
>> выкачивать файл падать короче непонятно в чем профит
> Только у особо жопоруких.
> У нормальных пару раз упадёт и больше туда ходить не будет.
"Mission Accomplished". Бота же отвадили, грузить серваки не будет, что вам еще было надо? :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #166

205. Сообщение от Аноним (-), 03-Май-25, 09:29 +/–

> О, ты из тех, кто надеется изменить общественное мнение? Так они тоже
> надеются, и твоим же способом: сделав скрабинг дороже тебе. Успехов повышать
> друг-другу косты, владельцы датацентров будут рады.
Как говорится, добрым словом и питолетом^W зипбомбой можно достичь большего чем одним только добрым словом :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #134

206. Сообщение от Аноним (-), 03-Май-25, 09:34 +/–

> Есть и другие способы.
> Делаем TLS сертификат с RSA на 16384 бита, форсим connection close и всё :)
И наслаждаемся CPU в полку у сервака? Самоуничтожение цели конечно валидный вариант, и боты обломаются, если сервак слишком занят считая хендщейки, но....
А если вы думали что у вон того датацентра откуда боты лезут меньше вычислительных ресурсов чем у вас - это совсем не факт.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #103

207. Сообщение от Аноним (-), 03-Май-25, 09:41 +/–

> , про прикладную эфиродинамику и всемирный заговор релятивистов, про то, что
> масоны заставили Рузвельта плыть по канализации в рамках обряда инициации, от
> чего он и захворал поиломелилитом . В общем, всю чушь, Весь
> СПИД-инфо - чтоб нейросети натренировались на всякой гадости..
А за трафик вы будете платить? Тогда любой каприз за ваши деньги. Этот ваш спидинфо сжимается намного хуже чем нулей пачка. А с нулями - налил гаду мег, а он жует цать гигов, и посмотрим как ему столько проца и оперативы на процессинг ЭТОГО :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #130

209. Сообщение от anonymous (??), 05-Май-25, 13:23 +/–

А вы попробуйте заблокировать доступ к канвасу, чтобы фингрепринтинг не ходил.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #163

210. Сообщение от anonymous (??), 05-Май-25, 13:28 +/–

> или какойй-то васянофорк Хрома
то есть если меня не устраивает хром или лиса и пользуюсь соответственно ungoggledchromium или librewolf - то можно меня не учитывать? Типа универсальный клиент-серверный веб протокол придумали идиоты, и никаких клиентов быть не должно, кроме хрома?
Вот реально, после такого хочется самому занятся ботоводством.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #137

211. Сообщение от Аноним (118), 05-Май-25, 19:11 +/–

Конкурирующая сеть заплатила за слив каталога и апдейт инфы в течение полугода.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #186

212. Сообщение от Аноним (118), 05-Май-25, 19:12 +/–

Клаудфларь задолбать так же просто, как её не задалбывать. Это совершенно не интересно. Я это делаю за деньги.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #201

214. Сообщение от Аноним (214), 07-Май-25, 13:15 +/–

А если бот не распаковывает? А если бот достаточно умный, чтоб проверить степень сжатия, напр? А если бот просто игнорирует сжатые файлы? Тогда что?

Ответить | Правка | Наверх | Cообщить модератору

215. Сообщение от Аноним (215), 09-Май-25, 03:13 +/–

Шел 2025 год, а люди так и не поняли почему нельзя парсить html регулярками.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. Сообщение от Аноним (1), 30-Апр-25, 08:17	+49 +/–
> так как при случайной индексации подобной ловушки ботом Google > случайной > Google :D)))))))))))))))))))))))))))))))))))))))))))))))))))))))))))
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #3, #29

3. Сообщение от Аноним (3), 30-Апр-25, 08:28	+6 +/–
Имелось ввиду, что если накосячишь с настройкой ловушки и она по ошибке сработает для Google Bot, то мало не покажется.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1 Ответы: #6

4. Сообщение от Tron is Whistling (?), 30-Апр-25, 08:29	+/–
Добавят в ботов лимит на размер содержимого, и всё.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #10, #11

5. Сообщение от нитгитлистер (?), 30-Апр-25, 08:29	–11 +/–
эмм а что это за содержимое такое на 100 тб? типа набор рандомных случайных данных? или все серии ванписа?))
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #8, #23, #101

6. Сообщение от Tron is Whistling (?), 30-Апр-25, 08:29	+12 +/–
У бота гугла до сих пор нет лимитов на размер загружаемого содержимого? П - профессионализм.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #3 Ответы: #7, #118

7. Сообщение от Вася (??), 30-Апр-25, 08:35	+5 +/–
так это будет в лимита загрузки, но вне лимита распаковки
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #6 Ответы: #27

8. Сообщение от Аноним (8), 30-Апр-25, 08:35	+12 +/–
/dev/zero, написано же
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #5

9. Сообщение от qqq (??), 30-Апр-25, 08:37	–14 +/–
Когда я лет 7 назад такого бота делал, оно качало только текст и видео/аудио с новостных сайтов. Соответственно всякие zip, gz и тп оно не качало. На некоторых добрых сайтах даже особо разбирать html не нужно было, просто можно было понять как у них систематизированы видео-текст и просто перебирать .../1.html .../1.mp4 или как-то так. И да, robots.txt оно игнорировало, надо же как-то данные для тренировки моделей собирать.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #17, #76

10. Сообщение от n00by (ok), 30-Апр-25, 08:39	+15 +/–
Так и лимит на количество запросов могли бы добавить, но чего-то не хватило.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #14

11. Сообщение от Аноним (3), 30-Апр-25, 08:41	–1 +/–
Полный размер становится известен только после распаковки. Отдаётся вполне себе небольшой файл, укладывающийся в лимиты. Степень сжатия в таком файле может быть как 1:10 так и 1:1000000.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #20, #21

13. Сообщение от Аноним (13), 30-Апр-25, 08:44	–2 +/–
> На практике предложенный метод применять не рекомендуется, так как сайт может быть занесён Google в чёрный список и начнёт помечаться вредоносным в браузере Chrome с включённым режимом "Safe Browsing". И в чем смысл? Показать какой администратор умный? Не стоило новости.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #37

14. Сообщение от Аноним (3), 30-Апр-25, 08:45	+1 +/–
Новомодные боты лезут с разных IP, не большой 10-20 запросов с одного. Лезут из Китая, Вьетнама, Бразилии. На днях фильтровал AI-ботов и только список /24 подсетей составил около 5000 строк за день. Всего под сотню тысяч разных IP было, непонятно где они их берут, на ботнет не походит.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #10 Ответы: #46, #145

15. Сообщение от Аноним (15), 30-Апр-25, 08:46	–13 +/–
Народ так еще и не понял, что дешевле отдать контент, чем городить все эти "защиты". Все, к чему это приводит, это то, что приходится скрабить такой ресурс еще раз. Особенно забавно с популярными. Если стоит задача получить дамп, они думают что "мусорные" данные кого-то остановят?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #18, #28, #51, #134, #154

16. Сообщение от Fbekwbshru (?), 30-Апр-25, 08:48	–1 +/–
99% ботов не умеет в сжатие контента
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #25, #68, #72, #87

17. Сообщение от Аноним (3), 30-Апр-25, 08:49	+9 +/–
Когда ты запрашиваешь .html сервер отдаёт его тебе сжатым, если браузер выставляет заголовок "Accept-Encoding: deflate, gzip, brotli...", а сервер поддерживает сжатие.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #9 Ответы: #126

18. Сообщение от bergentroll (ok), 30-Апр-25, 08:52	+5 +/–
У вас сайт просто приляжет, если безграничное кол-во скриптов будет его выкачивать целиком. Можно будет контент себе с локалхоста на локалхост щедро отдавать.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #15 Ответы: #30

19. Сообщение от Аноним (23), 30-Апр-25, 08:55	+/–
глупость какая, если бот распаковывает архив, то он может в заголовке архива посмотреть оригинальный размер содержимого и не распаковывать его
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #22, #24, #52

20. Сообщение от Tron is Whistling (?), 30-Апр-25, 08:55	+/–
Не "после", а "во время". Плюс распаковка потоковая, весь контент читать не обязательно. Но это слишком сложно, я понимаю.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #11

21. Сообщение от Tron is Whistling (?), 30-Апр-25, 08:57	+2 +/–
Хотя в принципе могу понять, считать целиком, потом загнать в распаковку - старая добрая привычка скриптеров, вообще не понимающих, что делают. Им и положено страдать от таких zip-"бомб", пусть страдают :)
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #11

22. Сообщение от Tron is Whistling (?), 30-Апр-25, 08:58	+4 +/–
Там нет "архива" и нет "размера содержимого". Другое дело, что распаковывать-то надо потоком при закачке, а не всё целиком. Ну или хотя бы лимит распаковщику отдавать.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #19

23. Сообщение от Аноним (23), 30-Апр-25, 08:58	+7 +/–
Рандомные данные плохо сжимаются, хороши сжимаются повторяющиеся данные - в данном случае нули. Архиватор представит 0000....000 виде "0:количество"
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #5 Ответы: #26, #143

24. Сообщение от tty2 (?), 30-Апр-25, 09:01	+1 +/–
Вы только заголовок прочитали?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #19

25. Сообщение от Tron is Whistling (?), 30-Апр-25, 09:03	+5 +/–
Есть подозрение, что написаны оные на нодежсах с пыхтонами, которые просто вызовы библиотек "скачай мне это" - там васянская библиотека сама попробует распаковать, с немного предсказуемым результатом.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #16

26. Сообщение от нитгитлистер (?), 30-Апр-25, 09:03	+2 +/–
> Рандомные данные плохо сжимаются, хороши сжимаются повторяющиеся данные - в данном случае > нули. Архиватор представит 0000....000 виде "0:количество" о как, понял благодарю
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #23

27. Сообщение от Tron is Whistling (?), 30-Апр-25, 09:07	+3 +/–
Распаковка по-хорошему производится по мере загрузки. Никогда не удивляло, что gzip/bzip2/xz/zstd файл для распаковки целиком в память не загружают?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #7

28. Сообщение от ddd123 (-), 30-Апр-25, 09:09	+1 +/–
>Если стоит задача получить дамп, они думают что "мусорные" данные кого-то остановят? Если стоит задача получить МУСОРНЫЙ дамп, то "мусорные" данные ни кого не остановят. А вот если стоит задача получить НЕ МУСОРНЫЙ дамп, то "мусорные" данные конечно остановят. Не сразу конечно, но ресурс для бота будет включён в чёрный список. И я использую cloudflare, их защита от ботов реально работает.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #15 Ответы: #31, #32, #79

29. Сообщение от Аноним (29), 30-Апр-25, 09:16	+4 +/–
Пункт 1 на Диком Западе: Шериф всегда прав.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1 Ответы: #157

30. Сообщение от anonymous (??), 30-Апр-25, 09:19	–4 +/–
Ну если сайт кладёт кнопку "скачать" за пейвол, то не удивительно, что посетители скачивают текст скриптами.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #18 Ответы: #33, #102

31. Сообщение от Аноним (31), 30-Апр-25, 09:20	+13 +/–
Только их защита не только от ботов но и от пользователей работает к сожалению.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #28 Ответы: #39, #77

32. Сообщение от anonymous (??), 30-Апр-25, 09:20	+11 +/–
> И я использую cloudflare, их защита от ботов реально работает. Она и от людей защищает. Я заколебался доказывать что не бот при каждом переходе
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #28 Ответы: #163, #175