В статье "Torrent: альтернативный способ детектирования (http://nuclight.livejournal.com/125747.html)" рассмотрен вопрос блокирования нового BitTorrent-протокола uTP, с практическими примерами для FreeBSD. Необходимость принудительного блокирования uTP вызвана проблемами в реализации протокола, которые приводят к ощутимой паразитной нагрузке на оборудование провайдеров. До этого была предпринята попытка добиться добавления в uTP изменений, решающих возникающие проблемы, которая к сожалению была воспринята разработчиками uTP без энтузиазма.URL: http://nuclight.livejournal.com/125747.html
Новость: http://www.opennet.me/opennews/art.shtml?num=27276
Забавненько. Я так понимаю, DHT рулит - там админы с суперроутерами на фряхе, загибающимися от нагрузки уж точно не смогут парсить ответы от трекера.
Статья не про это, а про безмозглых разработчиков uTP, которые сделали только хуже всем. Между прочим, есди мне не изменяет память, сетевики им раньше уже намекали, что из всего этого получится.
Хм. Не пробовали в сторону клиента включать Random Early Detection? Чтобы uTP "затыкался" раньше, чем происходил оверлоад роутеров?
>Хм. Не пробовали в сторону клиента включать Random Early Detection? Чтобы uTP
>"затыкался" раньше, чем происходил оверлоад роутеров?Ого, борьба с аплоадерами принимает нешуточные формы.
>Хм. Не пробовали в сторону клиента включать Random Early Detection? Чтобы uTP
>"затыкался" раньше, чем происходил оверлоад роутеров?Дело в том, что RED/GRED создают такие условия, на которые реагируют алгоритмы congestion control в TCP. В том и проблема, что в uTP используются другие алгоритмы congestion control. Что и было заметно по теме на nag.ru - шейперы (а куда там без RED) с uTP не справлялись.
Нужно думать прежде чем отвечать, весь трафик никто парсить не будет и 100% совпадение не нужно чтобы тупо послать RESET пирам которые пытаются юзать это тупой uTP, другому софту от левого пакета ничего не будет. Товарищи себя учеными возомнили... над congestion control куча умов голову ломала и для TCP оно работает!, а тут с бухты барахты пытаются свой тупой протокол пропихнуть не поработав над теоретической базой и не проверив это в реальной работе. Однозначно рубить uTP пока разработчики вменяемыми не станут. Тут проблема даже не только в провайдерах, у большинства приличных все таки хардварные решения, тут даже у хомячков домороутеры валяются.
Собственно congestion control в TCP имеет свои грабли в современных реалиях. Например, в случае DSL модемов с их хилым аплоадом и буфером - толку от такого congestion control чуть менее чем ноль. Торент забивает и без того тощий аплоад ДСЛщика в хлам. Ну и все остальное в силу двунаправленности начинает тормозить. Товарисчи из мюторента попробовали этот грабель разрулить. К сожлению, разрулив оный - они наплодили 100500 новых проблем. Только все это безобразие никоим образом не оправдывает слив роутеров у некоторых. Если кто-то слился при выполнении прямых обязанностей - он не отвертится и слив ему будет засчитан ;).И судя по тому что советуют под бзди - слились все-таки не хардварные роутеры. А домороутеры - ну да, загибаются. У половины из них проц хилый и оперативы мало - куча мелких пакетиков для них тоже не подарок. Только имхо пускай юзеры о своей заднице и заботятся. Если они хотят стрелять себе в пятки - провайдерское ли это дело, наручниками их к батарее то, чтоб не подстрелились?
Вы напоминаете последнего высказавшегося юриста отсюда:
http://news.mail.ru/politics/3775778/
Вы серьёзно так думаете или развлекаетесь, надеюсь?
>Собственно congestion control в TCP имеет свои грабли в современных реалиях. Например,
>в случае DSL модемов с их хилым аплоадом и буфером -
>толку от такого congestion control чуть менее чем ноль. Торент забивает
>и без того тощий аплоад ДСЛщика в хлам. Ну и все
>остальное в силу двунаправленности начинает тормозить.Молодой человек, Вы опять несёте бред, не потрудившись ознакомиться с темой.
Проблема здесь не в congestion control в TCP, а в отсутствии шейпера в DSL-модеме. Сам congestion control поставленные _перед ним_ задачи - прекрасно выполняет. Введение шейпера (например, перевести модем в бридж и поставить роутер на *nix) прекрасно решает и задачу "всё остальное начинает тормозить", уже существующими средствами, никаких новых протоколов не требуется.
>Товарисчи из мюторента попробовали этот
>грабель разрулить. К сожлению, разрулив оный - они наплодили 100500 новых
>проблем. Только все это безобразие никоим образом не оправдывает слив роутеров
>у некоторых. Если кто-то слился при выполнении прямых обязанностей - он
>не отвертится и слив ему будет засчитан ;)Обязанности свои роутеры вполне выполняют. Вопрос в том, что построение роутера, способного работать wire-speed при минимальном размере пакета - обойдется существенно дороже. Вы готовы платить?
>А домороутеры - ну да, загибаются. У половины из них проц хилый
>и оперативы мало - куча мелких пакетиков для них тоже не
>подарок. Только имхо пускай юзеры о своей заднице и заботятся. Если
>они хотят стрелять себе в пятки - провайдерское ли это дело,
>наручниками их к батарее то, чтоб не подстрелились?Ваша позиция здесь внутренне противоречива. Либо "не справляется с обязанностью", либо "пускай сами о своей заднице и заботятся". Экономика простая: железо, способное роутить такие PPS, стоит дороже, в конечном счете , где бы оно ни стояло - у пользователя, у провайдера, у обоих - всё равно будет оплачено пользователем, напрямую ли, в виде ли абонплаты. Так что разработчики uTorrent вынуждают пользователей раскошелиться, и Вы подтверждаете, что это проблема пользователей. Вы готовы платить?
>И судя по тому что
Перед "что" пишется запятая.
>советуют под бзди - слились все-таки не хардварные роутеры.
Неверно. Потому что хардварные роутеры не позволяют выполнить произвольный пользовательский код над пакетом (а тем более на языке высокого уровня типа Perl) - на то они и хардварные. Головой надо думать перед ответом.
Что касается "бзди": портируйте divert-сокеты под Linux (или еще какую ось, лишь бы вызов socket(PF_INET, SOCK_RAW, IPPROTO_DIVERT) проходил) - будет и под Linux. Ничего больше системно-специфического в скрипте нет. Как, собственно, и в самой проблеме, если её применять к софтварным роутерам в терминах PPS - эти проблемы растут из архитектуры x86, а не FreeBSD, Linux или еще какой ОС.
> Проблема здесь не в congestion control в TCP, а в отсутствии шейпера в DSL-модеме.Угу, при том надо сказать - весьма навороченного такого шейпера и классификатора. Способного понять что вон те 1500 соединений - торрент, а вон те 2 соединения - браузер. А учтя что провы тоже пошейпить не дураки и в торенте шифрование сделали - шейпер в DSL модеме должен быть нереально крут, на уровне лучших образцов провайдерских железяк. А не многовато ли хотелок для железки ценой менее 50 баксов то? :) Кстати ДСЛные провы еще и со своей стороны резку скорости делают по разному. Некоторые режут брутально, ставя тариф попросту скоростью несущей. Тупо и влобешник. Но пинг большой. В основном из-за медленного канала на передачу. В этом случае шейпер может хотя-бы знать что ему дали и чего ожидать. Бывает вариант когда физическая скорость много выше а шейпинг делается уже дальше. В этом случае шейпер даже не знает толком что же ему там подсунули.
Кстати да, если вы вдруг найдете такой модем где его проц всю эту крутизну потянет на скорости линии, максимально возможного тарифа, не сажая скорость тарифа да чтоб еще не более 50 баксов по цене стоило и все это искаропки было - позовите меня. Буду ораве дслщиков рекомендовать :-).
> Введение шейпера (например, перевести модем в бридж и поставить роутер на *nix)
А вы эту роскошь оплатитить готовы? И объяснить нескольким десяткам миллионов хомячков (по числу юзеров торента с дсл-ем) что теперь им понадобится для работы интернета здоровая жручая гробина на настройку которой надо убить недельку - как, не хотите? Теория - это здорово, но вот как вы себе вашу схему на практике то представляете? :)
Хинт: представьте себе что вы разработчик мюторента (или чего там еще). Сетевое оборудование юзеры специально ради вашей кульной программы менять не побегут. А вот то что аплоад вашей программы засирает их ДСЛный канал - по мнению юзеров - жесткий и мерзкий баг. Ну да, у юзеров перестает нормально работать интернет. Он, блин, ТОРМОЗИТ. Потому что когда браузер делает потугу сконектиться - в буфере на отправку ждет своей очереди уйма дряни от торента. И да, модемов с QoS в природе почему-то меньшинство. Итог прост. Хомячки идут и кусают разработчиков программы. Когда разработчики превращаются в обглоданный скелет - они приходят к выводу что надо что-то менять. И пытаются пролечить проблему реальными на практике и эффективными на практике методами. Что логично. Я вижу только одну "маленькую проблему". Чуваки решая СВОЮ проблему, при том вполне конкретно, эффективно и на практике, забыли подумать башкой о том что будет в глобальном плане "по сети вообще". А вот там то и оказался ляпус в том что у uTP есть дебильное свойство домачивать перегруженную сеть мелкими пакетиками. Как всего лишь обратная сторона их потуг облегчить участь ДСЛщиков. В итоге то что для ДСЛщика - отличная фича, для эзернетчика или прова - злобный баг.
> прекрасно решает и задачу "всё остальное начинает тормозить"
Попробуйте решить озвученную задачу, имеючи аж 150-200 МГц MIPSового проца, 16Мб оперативы, на скорости хотя-бы 10 Мбит, попутно натя и фаерволя, ессно. И чтобы все эти навороты не просадили :). Ну собссно ресурсы какой-то среднетипичной юзерской коробочки-модема/роутера. Немолодой но делающей свое дело и потому юзер черта с два почешется ее менять. А если вы спецом для вашей программы посоветуете поставить юниксовый сервак - вы узнаете о себе от пользователей очень много интересного. Можете попробовать. Гарантирую - узнаете очень много новых эпитетов :).И, кстати, миллионы злых юзеров могут вусмерть задолбать не только мамонта, но и любую команду разработчиков. Чего разработчикам мюторента ну совсем неохота :-)
> Вопрос в том, что построение роутера, способного работать wire-speed
> при минимальном размере пакета - обойдется существенно дороже.Да, хорошее оборудование стоит денег. Оно есть. А если провайдер халтурит, делая сеть из соплей и скотча - ну так и мнение о такое провайдере будет точно такое же как и о колбасе сделанной из картона.
> Вы готовы платить?
Сразу после того как вы оплатите замену всем юзерам торрента замену модемов или установку им домой персональных юникс-серверов (вообще, многие модемы как раз этим *никс-сервером и являются, но они "карманный вариант героя", т.е. достаточно маломощны и как-то врядли их проц осилит столько наворотов без потери скорости, но что хуже - их уже десятки миллионов продано и менять и улучшать там кто-то никто ессно не будет просто так, и не мечтайте даже).
> Либо "не справляется с обязанностью", либо "пускай сами о своей заднице и заботятся".
Надеюсь что вам по такому же принципу колбасу в магазине продадут. Сами следите чтобы там был ровно килограмм, не тухлое, без заразы, ядов, не радиоактивное, без вредных химикатов и вообще - естественный отбор в случае чего.
> Так что разработчики uTorrent вынуждают пользователей раскошелиться, и Вы
> подтверждаете, что это проблема пользователей. Вы готовы платить?Сразу после того как вы раздадите задаром всем юзерам торрента серваки с юниксом, оплатите их установку и техобслуживание, етц, етц. Ну или хотя-бы замену модемов на девайсы с QoS способным эффективно классифицировать торрент включая его шифрованный вариант. И все это на скорости канала при дохлом процессоре, разумеется. Кстати, попробуйте с трех раз догадаться, куда юзеры пошлют разработчика программы или провайдера если те всерьез посоветуют поставить *никсную гробину себе домой для QoS? :). А так - что вы нервничаете то? Говнопровайдеров не способных купить себе нормальные роутеры просто постепенно закопает рынок, а может зубры рынка и законодательно додавят "продавцов тухлятинки" (при том и юзеры и зубры от этого только выиграют в итоге, так что халтурщики сами виноваты в том что на рынке благодаря их хреновой работе установится что-то типа олигополии).
> Неверно. Потому что хардварные роутеры не позволяют выполнить
> произвольный пользовательский код над пакетомКак ни странно, задача роутера - роутить. А не произвольный код над пакетами выполнять.
> (а тем более на языке высокого уровня типа Perl)
А вы точно роутеры ни с чем не перепутали? А то по идее задача роутера - роутить :).Ах да, про эту цель можно и забыть, если кулсисопство в ... заиграло и вместо качественной работы надо изгальнуться и показать всем свою офигенную круть, как можно эстетичнее надурив юзера термином "анлим". А вы уверены что юзеры хотят оплачивать вам выполнение вами перл-скриптов над их пакетами на роутерах, а не просто доставку их пакетов без лишних выгибонов? Лично я не намерен платить прову за выполнение скриптов над моими пакетами ни цента. Более того - особо наглые товарисчи пыжащиеся классифицировать мой трафф получат закос под наиболее приоритетный и наименее обижаемый вид траффа (в случае тотальной невозможности смены провайдера). Потому как к сетевым уродам забивающим на сетевой нейтралитет и подход соответствующий ;)
> Что касается "бзди":
Бздя была взята сугубо как наиболее упоминаемая в этой шумихе.
>портируйте divert-сокеты под Linux (или еще какую ось,
> лишь бы вызов socket(PF_INET, SOCK_RAW, IPPROTO_DIVERT) проходил)Предлагаете сделать микроскоп чтобы вбить им гвоздь? Не, спасибо. Классифежка uTP в этих осях решается менее геморно, так что думается линуксоиды перекантуются с своим молотком^W айпитаблесом.
> в терминах PPS - эти проблемы растут из архитектуры x86,
В обычных юзерских роутерах с PPS и навороченными QoS при этом тоже не все так просто. Хоть там и MIPS или ARM, но слишком жручими их сделать попросту нельзя: вентиляторы в таких штуках для юзеров крайне не велкам а это означает что максимальная мощща проца - несколько ваттов, со всеми вытекающими. Как то ограниченная частота и кол-во ядер. А раз так - ну и на продвинутый обмолот пакетов на большой скорости ресурсов особо не остается. А так - безусловно, правильный сетевой процессор выглядит как что-то типа http://www.linuxfordevices.com/c/a/News/NetLogic-Microsystem.../ но я могу себе вообразить ценник роутеров на этом, хотя и возможности ничего так и архитектура этой монстрилки явно ориентирована на сети.
>> Проблема здесь не в congestion control в TCP, а в отсутствии шейпера в DSL-модеме.
>
>Угу, при том надо сказать - весьма навороченного такого шейпера и классификатора.
>Способного понять что вон те 1500 соединений - торрент, а вон
>те 2 соединения - браузер. А учтя что провы тоже пошейпить
>не дураки и в торенте шифрование сделали - шейпер в DSL
>модеме должен быть нереально крут, на уровне лучших образцов
>провайдерских железяк. А не многовато ли хотелок для железки
>ценой менее 50 баксов-то?Чушь какая. Шейперу достаточно уметь GRED, это не так много. Для классификации домашняя мыльница может обойтись фиксированным списком приоритетных портов и шейпить всё остальное. Для отличения браузера от торрента точно хватит.
>ему дали и чего ожидать. Бывает вариант когда физическая скорость много
>выше а шейпинг делается уже дальше. В этом случае шейпер даже
>не знает толком что же ему там подсунули.Решается настройкой в интерфейсе "Скорость Вашего тарифа", вместе со списком портов и галкой для включения.
>> Введение шейпера (например, перевести модем в бридж и поставить роутер на *nix)
>
>А вы эту роскошь оплатитить готовы? И объяснить нескольким десяткам миллионов хомячков
>(по числу юзеров торента с дсл-ем) что теперь им понадобится дляМолодой человек, научитесь читать внимательнее, видеть слово "например", а затем включать мозг. По данной схеме шейпер может быть введён, допустим, в линукс-прошивки модемов. Возможны и другие варианты. А основываясь на ложных посылках, Вы в дальнейших рассуждениях скатываетесь в еще более феерический бред.
>Хинт: представьте себе что вы разработчик мюторента (или чего там еще). Сетевое
>оборудование юзеры специально ради вашей кульной программы менять не побегут. А
>вот то что аплоад вашей программы засирает их ДСЛный канал -
>по мнению юзеров - жесткий и мерзкий баг. Ну да, у[резонерство поскипано]
Юзер идет на форум и узнает, что есть роутеры, на которых такой проблемы нет, а если у юзера дешевый, ну что ж, в программе есть настройки лимита скорости, причем развитые - например, можно ночью ставить лимит больше, и всё такое. И хватает.
>> прекрасно решает и задачу "всё остальное начинает тормозить"
>
>Попробуйте решить озвученную задачу, имеючи аж 150-200 МГц MIPSового проца, 16Мб оперативы,
>на скорости хотя-бы 10 Мбит, попутно натя и фаерволя, ессно. ИУ меня первопень в былые времена роутил и минимально шейпил сетку на 100 юзеров, в пике доходило до 40 мегабит. Так что если решать задачу реальными способами, а не выдуманными конструктами, для домашнего применения вполне может хватить.
>> Вопрос в том, что построение роутера, способного работать wire-speed
>> при минимальном размере пакета - обойдется существенно дороже.
>
>Да, хорошее оборудование стоит денег. Оно есть. А если провайдер халтурит, делаяМолодой человек, Вы в этом месте вырезали ключевую часть цитаты.
>> Вы готовы платить?
>
>Сразу после того как вы оплатите замену всем юзерам торрента замену модемов...и, соответственно, городите сущую нелепицу на пустом месте, еще и приписывая собеседнику напраслину. В то время как основное логическое противоречие осталось у Вас не разрешенным. Идите и перечитайте этот кусок сообщения #10 и снова подумайте.
>> Либо "не справляется с обязанностью", либо "пускай сами о своей заднице и заботятся".
>
>Надеюсь что вам по такому же принципу колбасу в магазине продадут. Сами
>следите чтобы там был ровно килограмм, не тухлое, без заразы, ядов,
>не радиоактивное, без вредных химикатов и вообще - естественный отбор в
>случае чего.А оно именно так и происходит. За ровно килограммом следить надо всё равно самому. За всё остальное - есть сертификация от санэпидстанции. Покупаете несертифицированную колбасу / несертифицированные на данные условия роутер - естественный отбор, да.
>> Так что разработчики uTorrent вынуждают пользователей раскошелиться, и Вы
>> подтверждаете, что это проблема пользователей. Вы готовы платить?
>
>Сразу после того как вы раздадите задаром всем юзерам торрента серваки с
>юниксом, оплатите их установку и техобслуживание, етц, етц. Ну или хотя-быРезонерство всё из тех же неверных посылок снова поскипаем.
>> Неверно. Потому что хардварные роутеры не позволяют выполнить
>> произвольный пользовательский код над пакетом
>
>Как ни странно, задача роутера - роутить. А не произвольный код над
>пакетами выполнять.Я процитирую Вашу фразу из #6: "И судя по тому что советуют под бзди - слились все-таки не хардварные роутеры". Я ответил, Вы же в ответ возражаете что-то по другой теме. Увидели знакомое слово и решили что-нибудь ляпнуть? Научитесь держать в голове более чем 2 реплики в дискуссии назад (полезный совет: если не получается, можно нажимать кнопку Page Up и перечитывать, вот они тут все, на одной странице).
>> (а тем более на языке высокого уровня типа Perl)
>
>А вы точно роутеры ни с чем не перепутали? А то по
>идее задача роутера - роутить :).Ах да, про эту цель можноА Вы точно внимательно читали статью по ссылке? И, опять же, пытались ли думать? Я для Вас процитирую: "схема такая - мы знаем адреса трекеров, мы отправляем их HTTP-трафик на машину с FreeBSD для анализа. Скрипт на ней выдает правила (ACL) уже непосредственно для тех железок, через которые идут данные". Или, может, Вы даже и про зеркалирование портов ничего не слышали?
>и забыть, если кулсисопство в ... заиграло и вместо качественной работы
[...]
Снова тонны измышлений и резонёрства скипнуты.
>> Что касается "бзди":
>
>Бздя была взята сугубо как наиболее упоминаемая в этой шумихе.
>
>>портируйте divert-сокеты под Linux (или еще какую ось,
>> лишь бы вызов socket(PF_INET, SOCK_RAW, IPPROTO_DIVERT) проходил)
>
>Предлагаете сделать микроскоп чтобы вбить им гвоздь? Не, спасибо. Классифежка uTP вИ снова, похоже, Вы невнимательно читали статью, и просто увидели знакомые буквы, на которые полаять, вместо того, чтоб вдуматься. Здесь не задача выделения uTP решается. Подумайте над этим.
Кстати, настоятельно советую не употреблять слова типа "классифежка", "юзеж" и т.п. Смотритесь идиотом.
>> в терминах PPS - эти проблемы растут из архитектуры x86,
>
>В обычных юзерских роутерах с PPS и навороченными QoS при этом тожеИ снова тонны размышлений на отвлеченную тему. Четыре раза в одном только сообщении. Начните уже меняться.
>Забавненько. Я так понимаю, DHT рулит - там админы с суперроутерами на
>фряхе, загибающимися от нагрузки уж точно не смогут парсить ответы от
>трекера.Методика блокирования DHT на FreeBSD гораздо проще, имеет мизерные добавки к нагрузке и описана в третьей ссылке к новости.
Если совсем удавить DHT - у юзеров при отвале трекера качаться ничего не будет. Думается после этого юзеры или пошлют прова в пешее эротическое или свалят на минимальный тариф. Потому что чтобы раз в неделю проверить почту и почитать вконтактик - кульный топовый анлим с массой мегабитов никуда не впился, а вот жаба давит всех без исключения.
>Если совсем удавить DHT - у юзеров при отвале трекера качаться ничего
>не будет. Думается после этого юзеры или пошлют прова в пешееМолодой человек явно теоретик, ему "думается", но как на практике дела обстоят, он не знает. Молодой человек явно не в курсе, что типичный отвал трекера случается ненадолго, а клиенты будут продолжать работать еще в среднем половину интервала обновления без трекера (который нередко равен часу). Молодой человек также явно не в курсе, что значительно количество пользователей и трекеров не используют DHT совсем, и ничего, живут.
Вы все не правы, товарищи, жизнь прекрасна.
все это проблемы провайдеров, а юзер не должен думать о каких то э... как их там протоколах. Нефиг, пусть нормальные роутеры покупают.
>все это проблемы провайдеров, а юзер не должен думать о каких то
>э... как их там протоколах. Нефиг, пусть нормальные роутеры покупают.А молодой человек понимает, что в первую очередь загибаются юзерские мыльницы?
Что вовремя урезанный uTP, спасает в первую очередь этих самых несчастных "роутим-шейпим-интернеты-раздаем" за дцать баксов?
> А молодой человек понимает, что в первую очередь загибаются юзерские мыльницы?Только советы почему-то совсем не по тому как отключить uTP в торент-клиенте или удавить его на мыльнице. Что как бы намекает...
>Только советы почему-то совсем не по тому как отключить uTP в торент-клиенте
>или удавить его на мыльнице. Что как бы намекает...Молодой человек, стало быть, не понимает, что у мыльницы просто нет средств, чтоб его там удавить. Молодой человек, кроме того, явно не в теме, не осилил все 45 страниц форума и не знает, что юзерам советы по отключению uTP даются (самые сознательные даже сами отключали), это не помогает, потому что прислушивается к ним мало кто. Про реалистичность обзвонки всех - там тоже вопрос затрагивался, сами найдете.
Садитесь, неуд.