https://www.opennet.ru/openforum/vsluhforumID3/139430.html Как один из вариантов борьбы с AI-скрапперами, создающими огромную паразитную нагрузку на сервер, [[https://sheep.horse/2026/3/blocking_http1.1_-_some_results.html предложено]] ограничить доступ к сайту по протоколу HTTP/2 и полностью отключить поддержку HTTP/1.0 и HTTP/1.1. Логика подобного решения в том, что все современные браузеры поддерживают HTTP/2, а боты почти всегда обращаются к сайтам по HTTP/1.1 и пока не пытаются использовать HTTP/2 в случае невозможности отправить запрос на HTTP/1.1. <br><br>При этом важно учесть, что RSS-ридеры и полезные поисковые боты, такие как Google Bot, также ограничены использованием HTTP/1.1 и для них необходимо сделать исключение.<br><br>Пример правил для http-сервера Caddy, возвращающих клиенту ошибку при обращении по HTTP/1:<br><br> @http-too-old {<br> not protocol http/2+<br> not path /rss.xml /atom.xml # allow rss<br> # Белый список для поисковых ботов и старых браузеров<br> not header_regexp User-Agent (?i)(Google-Site-Verification&#124;googlebot&#124;bingbot& https://www.opennet.ru/openforum/vsluhforumID3/139430.html#32 Tue, 27 Oct 2026 15:32:49 GMT *пишете<br> https://www.opennet.ru/openforum/vsluhforumID3/139430.html#31 Tue, 27 Oct 2026 15:28:23 GMT А можно, все вот эти вот товарищи из-под хромиумов с жаваскриптами теперь и будут считатся llm-агентами? А нормальным людям оставить простой plain html web, на который можно из-под dillo/xlinks ходить. В которых, как раз, только http/1.1 и есть. Ну так, я сюжетик предлагаю; мало ли вы там sci-fi роман пишите.<br> https://www.opennet.ru/openforum/vsluhforumID3/139430.html#30 Fri, 21 Aug 2026 12:11:04 GMT А как мне Дипсик будет вас отдавать? Не я один его чаще поисковика использую?<br> https://www.opennet.ru/openforum/vsluhforumID3/139430.html#28 Wed, 17 Jun 2026 16:27:54 GMT Делайте curl-совместимые ресурсы. И будет вам счастье.<br> https://www.opennet.ru/openforum/vsluhforumID3/139430.html#27 Sat, 13 Jun 2026 23:35:50 GMT Какая-то ерунда... Не хотите давать публично информацию в том числе для машин (вообще по джентельменский можно и M2M протокол какой-то открыть вроде JSON или REST пусть собирают себе данные раз им зачем-то нужно), то закройте в прицнпе данные по логину и паролю, а то и за VPN можно спрятать. Зачкем страдать АНОНИМ-змом?<br> https://www.opennet.ru/openforum/vsluhforumID3/139430.html#26 Wed, 03 Jun 2026 09:23:57 GMT клод, добавь поддержку http/2 в мой паразитный скраппер<br><br>two minutes later<br><br>добавил, можешь дальше создавать паразитную нагрузку<br> https://www.opennet.ru/openforum/vsluhforumID3/139430.html#24 Tue, 12 May 2026 23:43:39 GMT И правильно поперли. Самописный узконаправленныйвелосипед - это гарантированный гемор для любой компании в будущем. А чего стоит твой реверсинг, если в любой момент сервис с той стороны может поменяться произвольным способом? А решение джуна легко и быстро переделается, в отличие от.<br> https://www.opennet.ru/openforum/vsluhforumID3/139430.html#23 Thu, 16 Apr 2026 14:49:47 GMT Альтман наносит ответный удар<br> https://www.opennet.ru/openforum/vsluhforumID3/139430.html#22 Sun, 12 Apr 2026 15:06:24 GMT Привет, разочарую вас, но мы (боты) не пользуемся curl. C уважением, ваш ИИ!<br>