forum.opennet.ru - "OpenNews: Эффективное блокирование тысяч IP в Linux" (42)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"OpenNews: Эффективное блокирование тысяч IP в Linux"

Форумы Разговоры, обсуждение новостей (Public)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"OpenNews: Эффективное блокирование тысяч IP в Linux"
Сообщение от opennews on 04-Июл-07, 18:33
В статье "Filtering traffic based on thousands of IPs efficiently (http://www.debian-administration.org/articles/540)" рассказывается о программе nfqueue (http://nfqueue.sf.net), которая работает на пользовательском уровне и использует NetFilter библиотеку netlink-queue. Nfqueue позволяет значительно повысить эффективность блокирования десятков тысяч IP, не требуя при этом накладывания дополнительных патчей, как происходив в случае с ipset (http://ipset.netfilter.org/). При тестировании, загрузка 70000 обычных правил заняла около часа, в то время как nfqueue (http://nfqueue.sf.net) почти мгновенно подгружает большие cписки блокировки, оформленные в p2p, dat, csv форматах или преобразованные в специальный сжатый бинарный вид. URL: http://www.debian-administration.org/articles/540 Новость: http://www.opennet.me/opennews/art.shtml?num=11286
Высказать мнение \| Ответить \| Правка \| Cообщить модератору

Оглавление

Эффективное блокирование тысяч IP в Linux, ФФ, 18:33 , 04-Июл-07, (1)

Эффективное блокирование тысяч IP в Linux, const86, 18:47 , 04-Июл-07, (2)
Эффективное блокирование тысяч IP в Linux, serg1224, 20:47 , 04-Июл-07, (4)
Эффективное блокирование тысяч IP в Linux, uldus, 10:52 , 05-Июл-07, (17)
Эффективное блокирование тысяч IP в Linux, etc, 23:35 , 25-Июл-07, (50)

Эффективное блокирование тысяч IP в Linux, ФФ, 18:55 , 04-Июл-07, (3)

Эффективное блокирование тысяч IP в Linux, _Nick_, 22:26 , 04-Июл-07, (7)

Эффективное блокирование тысяч IP в Linux, medioom, 16:01 , 05-Июл-07, (32)

Эффективное блокирование тысяч IP в Linux, etc, 23:42 , 25-Июл-07, (51)

Эффективное блокирование тысяч IP в Linux, alteleid, 20:47 , 04-Июл-07, (5)

Эффективное блокирование тысяч IP в Linux, _Nick_, 22:28 , 04-Июл-07, (8)

Эффективное блокирование тысяч IP в Linux, alteleid, 23:20 , 04-Июл-07, (9)

Эффективное блокирование тысяч IP в Linux, etc, 03:02 , 26-Июл-07, (52)

Эффективное блокирование тысяч IP в Linux, gvy, 01:48 , 05-Июл-07, (11)

Эффективное блокирование тысяч IP в Linux, _Nick_, 01:50 , 05-Июл-07, (12)

Эффективное блокирование тысяч IP в Linux, alteleid, 14:21 , 05-Июл-07, (26)

$180K, Michael Shigorin, 15:56 , 05-Июл-07, (31)

$180K, alteleid, 16:12 , 05-Июл-07, (33)

anti-DDoS; конференция в Киеве, Michael Shigorin, 16:29 , 05-Июл-07, (34)

Эффективное блокирование тысяч IP в Linux, etc, 03:08 , 26-Июл-07, (53)

Эффективное блокирование тысяч IP в Linux, Вова, 21:09 , 04-Июл-07, (6)
Эффективное блокирование тысяч IP в Linux, universite, 07:33 , 05-Июл-07, (13)

Эффективное блокирование тысяч IP в Linux, _Nick_, 08:01 , 05-Июл-07, (14)

Эффективное блокирование тысяч IP в Linux, DXT, 09:21 , 05-Июл-07, (16)

Эффективное блокирование тысяч IP в Linux, nuclight, 11:15 , 05-Июл-07, (18)

Эффективное блокирование тысяч IP в Linux, nuclight, 11:17 , 05-Июл-07, (19)

Эффективное блокирование тысяч IP в Linux, _Nick_, 11:37 , 05-Июл-07, (21)

Эффективное блокирование тысяч IP в Linux, nuclight, 12:14 , 05-Июл-07, (22)

Эффективное блокирование тысяч IP в Linux, _Nick_, 14:44 , 05-Июл-07, (27)

Эффективное блокирование тысяч IP в Linux, devcoder, 13:04 , 05-Июл-07, (23)

Эффективное блокирование тысяч IP в Linux, etc, 03:25 , 26-Июл-07, (55)

OpenNews: Эффективное блокирование тысяч IP в Linux, bel, 15:40 , 05-Июл-07, (29)

OpenNews: Эффективное блокирование тысяч IP в Linux, _Nick_, 15:42 , 05-Июл-07, (30)
OpenNews: Эффективное блокирование тысяч IP в Linux, exn, 23:10 , 05-Июл-07, (39)

OpenNews: Эффективное блокирование тысяч IP в Linux, nuclight, 10:20 , 06-Июл-07, (47)

OpenNews: Эффективное блокирование тысяч IP в Linux, dsn, 17:12 , 06-Июл-07, (48)

OpenNews: Эффективное блокирование тысяч IP в Linux, etc, 03:27 , 26-Июл-07, (56)

OpenNews: Эффективное блокирование тысяч IP в Linux, LonliLokli, 22:00 , 11-Янв-09, (58)

OpenNews: Эффективное блокирование тысяч IP в Linux, universite, 03:17 , 12-Янв-09, (59)

Эффективное блокирование тысяч IP в Linux, juni, 21:59 , 05-Июл-07, (37)
Эффективное блокирование тысяч IP в Linux, Moralez, 04:17 , 07-Июл-07, (49)

Эффективное блокирование тысяч IP в Linux, guest, 21:10 , 02-Авг-07, (57)

Сообщения по теме [Сортировка по времени | RSS]

1. "Эффективное блокирование тысяч IP в Linux"

Сообщение от ФФ on 04-Июл-07, 18:33

А для чего это нужно?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Эффективное блокирование тысяч IP в Linux"

Сообщение от const86 (ok) on 04-Июл-07, 18:47

> А для чего это нужно?
В теории можно управлять доступом на уровне приложений (например, allow from... у апача итд) и не вешать лишний хлам на внешние интерфейсы. Но это в теории... Поэтому, как всегда, наматываем на ус, вдруг пригодится.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Эффективное блокирование тысяч IP в Linux"

Сообщение от serg1224 on 04-Июл-07, 20:47

А может для защиты от DDOS-атак?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

17. "Эффективное блокирование тысяч IP в Linux"

Сообщение от uldus (ok) on 05-Июл-07, 10:52

>А для чего это нужно?
Например адреса ботнетов блокировать на уровне фаервола, чтобы ресурсы MTA не съедали. Но там не тысячи, а миллионы адресов в блэклистах.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

50. "Эффективное блокирование тысяч IP в Linux"

Сообщение от etc on 25-Июл-07, 23:35

>А для чего это нужно?
Для хардкорного фильтрования по куче правил.Скажем поищите файлик для емуля ipfilter.dat
Грубо говоря, большой список систем с которых вам 1 фиг никогда не пришлют полезные данные, а вот флудить, ддосить, слать левак и т.п. - могут.Когда рулесов становится тысячи - обычные фаерволы начинают дуреть, они на это не рассчитаны...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Эффективное блокирование тысяч IP в Linux"

Сообщение от ФФ on 04-Июл-07, 18:55

сложно представить реально зачем...если сервера приложений стоят в ДатаЦентре и там есть нормальные средства фильтрации и защиты зачем на уровне ОС лесть в сетевые вещи ?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Эффективное блокирование тысяч IP в Linux"

Сообщение от _Nick_ (??) on 04-Июл-07, 22:26

тебя послушать так в датацентре и работать серваку незачем.
А нафига, если вокруг и так стока серваков??

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

32. "Эффективное блокирование тысяч IP в Linux"

Сообщение от medioom on 05-Июл-07, 16:01

Если сетевики не нормальные - халявщики, то они всё спускают до системных администраторов, которым приходится самим работать.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

51. "Эффективное блокирование тысяч IP в Linux"

Сообщение от etc on 25-Июл-07, 23:42

>Если сетевики не нормальные - халявщики, то они всё спускают до системных
>администраторов, которым приходится самим работать.
Кого ваши разборки сетевиков и админов волнуют, а?Вещь безусловно полезная.И позволит обойтись без пачки кисок местами.Что есть гуд, ибо экономия.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Эффективное блокирование тысяч IP в Linux"

Сообщение от alteleid (ok) on 04-Июл-07, 20:47

теоретически можно использовать как часть интеллектуального IPS против DDoS, но ни в коем случае не так как хотят создатели... для этого есть специализированное железо

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Эффективное блокирование тысяч IP в Linux"

Сообщение от _Nick_ (??) on 04-Июл-07, 22:28

не всегда стоимость и деревянность железаных средств являются приемлемыми.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "Эффективное блокирование тысяч IP в Linux"

Сообщение от alteleid (ok) on 04-Июл-07, 23:20

Всегда, если речь идет о scalability и performance
Дискуссия закрыта.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

52. "Эффективное блокирование тысяч IP в Linux"

Сообщение от etc on 26-Июл-07, 03:02

>Всегда, если речь идет о scalability и performance
>Дискуссия закрыта.
Ага, ну конечно.Смотрите, дети, вот еще один представитель вида животных "есть 2 мнения - мое и неправильное" ;)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "Эффективное блокирование тысяч IP в Linux"

Сообщение от gvy (ok) on 05-Июл-07, 01:48

Кажется, при последнем DDoS наш пров упоминал какую-то байду за $180K, если не послышалось.  Видимо, специализированное на выем денег железо...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "Эффективное блокирование тысяч IP в Linux"

Сообщение от _Nick_ (??) on 05-Июл-07, 01:50

>Кажется, при последнем DDoS наш пров упоминал какую-то байду за $180K, если
>не послышалось.  Видимо, специализированное на выем денег железо...
вово
мало какая проблема требует просто тупо вкладывать бабло.
Чаще просто головой подумать - толку будет больше, чем за сотни тыщщ неденег

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

26. "Эффективное блокирование тысяч IP в Linux"

Сообщение от alteleid (ok) on 05-Июл-07, 14:21

Все просто, если ваша сеть не стоит этих 180К (не много, кстати, магистральное оборудование в 2-3 раза дороже) не покупайте. Однако не понятно как вы достигли таких объемов, а железо не окупается? Может у вас бесплатная сеть?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

31. "$180K"

Сообщение от Michael Shigorin (ok) on 05-Июл-07, 15:56

>Может у вас бесплатная сеть?
Если не заметили -- упоминалось про _нашего_ (а не наш) ISP.  Он ни разу не бесплатный, хотя и неплохой :-)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

33. "$180K"

Сообщение от alteleid (ok) on 05-Июл-07, 16:12

а что такое _нашего_ (а не наш) ISP ? Я честно не понял.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

34. "anti-DDoS; конференция в Киеве"

Сообщение от Michael Shigorin (ok) on 05-Июл-07, 16:29

>а что такое _нашего_ (а не наш) ISP ? Я честно не понял.
Ну в смысле "те, кто нам тырнет провайдят".
Кстати, пока искал для них контакт заодно -- брошу-ка и сюда, мож кому интересно/полезно пообщаться будет:
http://conference.osdn.org.ua/ru/archive/2005/
Алексей Лукин, ЧГТУ:
Сетевые системы детектирования атак и противодействия им на базе фильтрующих маршрутизаторов.
Работа посвящена построению сетевых IDS на основе фильтрации трафика на пограничном маршрутизаторе. В отличии от подобных систем (Snort, Prelude), работающих на основе прослушивания трафика, предложенный класс систем на основе фильтрации трафика на пограничном маршрутизаторе позволяет не только обнаружить вредоносный трафик, но и предотвратить его попадание в сеть.
Водится здесь: http://www.stu.cn.ua/~alukin/
PS: в этом году тоже будет конференция. :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

53. "Эффективное блокирование тысяч IP в Linux"

Сообщение от etc on 26-Июл-07, 03:08

>Все просто, если ваша сеть не стоит этих 180К (не много, кстати,
Угу, для CISCO это немного.А для остальных - кому как.Даже крупный бизнес сто раз подумает до того как столько отстегнуть, переберет все варианты, etc.Кто-то покупает - когда иного выхода нет.А так - сервант с этой приблудой в отличие от... - практически бесплатный, да?Особенно на фоне 180К зелени.А значит позволить себе то что вчера было доступно только крутым сможет больше народа.Даже если цискарям это и не нравится, это их половые трудности.То что вчера было пределом мечтаний провайдера завтра будет у Васи Пупкина дома, в маленькой коробочке.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Эффективное блокирование тысяч IP в Linux"

Сообщение от Вова on 04-Июл-07, 21:09

сколько людей и сколько ресурсов неужеле нечего более стоящего придумать нельзя -- к примеру СПАМ или еще что-то массу всего

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

13. "Эффективное блокирование тысяч IP в Linux"

Сообщение от universite (ok) on 05-Июл-07, 07:33

C DDoS надо бороться на магистралях, но они наоборот заинтересованы в запредельных загрузках каналов и бредят Mpps и Gpps.
А на датацентрах установка подобной железки лишь способ срубить бабла и увеличить капитализацию своего бизнеса.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

14. "Эффективное блокирование тысяч IP в Linux"

Сообщение от _Nick_ (??) on 05-Июл-07, 08:01

>C DDoS надо бороться на магистралях, но они наоборот заинтересованы в запредельных
>загрузках каналов и бредят Mpps и Gpps.
>А на датацентрах установка подобной железки лишь способ срубить бабла и увеличить
>капитализацию своего бизнеса.
каждый хочет наи... ть

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

16. "Эффективное блокирование тысяч IP в Linux"

Сообщение от DXT (??) on 05-Июл-07, 09:21

>каждый хочет наи... ть
Ну дык в стране откатов живемcЪ ...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

18. "Эффективное блокирование тысяч IP в Linux"

Сообщение от nuclight on 05-Июл-07, 11:15

Хехе, смотрим в статью, на сайт программы - и видим, что обрааботка происходит в _userland_. То есть каждый пакет копируется туда и обратно, с сопутствующими переключениями контекста. Фактически, это FreeBSD'шный divert, за NAT на котором столько ругали систему за тормоза. Какая при этом может быть борьба  с DDOS? И это при тм, что ведь есть же в линуксе для iptables тот же ядерный ipset.
Но да ладно, проведем аналогичные измерения для FreeBSD, как по добавлению голого списка правил,что заняло час для iptables в статье по ссылке выше, так и с использованием таблиц ipfw, аналогом которых явялется ipset (быстрое сравнение в ядре). Сначала напишем перловый скрипт, который может генерировать скрипты по добавлению 70000 адресов:
#!/usr/bin/perl -w
use Socket qw/inet_aton inet_ntoa/;
my $prefix = "ipfw add 777 deny all from ";
my $suffix = " to any\n";
#my $prefix = "ipfw table 111 add ";
#my $suffix = "\n";
my $base = '1.1.1.1';
my $howmany = 70000;
my $nbase = unpack 'N',inet_aton($base);
my @quads = map { inet_ntoa(pack('N', $_)) }
            grep { $_ % 256 }
            $nbase .. $howmany + $nbase;
print "#!/bin/sh\n\n";
map { print $prefix, $_, $suffix } @quads;
И запустим ./genips.pl > table.sh; chmod +x table.sh; time ./table.sh
Получен результат: ./table.sh  10,45s user 94,32s system 104% cpu 1:40,07 total
То есть, в таблицу 70000 адресов были добавлены менее чем за 2 минуты! И это при том, что внешняя программа ipfw вызывалась в скрипте 70000 раз.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

19. "Эффективное блокирование тысяч IP в Linux"

Сообщение от nuclight on 05-Июл-07, 11:17

Аналогично, с вызовом программы на каждое правило и еще и печатью на stdout (которое мы отправим в /dev/null), чтоб замедлить насколько можно, запустим простое добавление в ipfw семидесяти тысяч правил, прямой аналог того, что делали с iptables в статье:
# ./genips.pl > rules.sh; chmod +x rules.sh # в genips строки сменены с таблицы на обычное add all from, см. комментарии в скрипте
# time ./rules.sh > /dev/null
./rules.sh > /dev/null  116,97s user 519,57s system 100% cpu 10:33,90 total
Десять с половиной минут.
Измерения проводились на ненагруженном в этот момент сервере:
FreeBSD 6.2-STABLE #0: Sat Apr 28 23:26:52 NOVST 2007
    vadim@hostel.avtf.net:/usr/obj/usr/src/sys/HOSTEL
acpi_alloc_wakeup_handler: can't alloc wake memory
Timecounter "i8254" frequency 1193182 Hz quality 0
CPU: Intel(R) Pentium(R) 4 CPU 3.00GHz (2992.52-MHz 686-class CPU)
  Origin = "GenuineIntel"  Id = 0xf34  Stepping = 4
  Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0x441d<SSE3,RSVD2,MON,DS_CPL,CNTX-ID,<b14>>
  Logical CPUs per core: 2
Повторим добавление в таблицу в "боевых" условиях, наиболее быстрым способом (подгружая из файла без печати на stdout):
# ./genips.pl > table
# time ipfw -q /home/vadim/work/table
ipfw -q /home/vadim/work/table  0,67s user 0,19s system 93% cpu 0,910 total
То есть практически мгновенно. Строки в скрипте генерации были изменены на:
my $prefix = "table 111 add ";
my $suffix = "\n";
Изменим их на:
my $prefix = "add 777 deny all from ";
my $suffix = " to any\n";
И проверим добавление 70000 правил снова:
# ./genips.pl > rules
# time ipfw -q /home/vadim/work/rules
ipfw -q /home/vadim/work/rules  85,85s user 315,14s system 98% cpu 6:46,03 total
В полтора раза быстрее, чем в предыдущий раз, как видим.
Ну и в дополнение по нагрузке. Если запустить на этот сервер ping -f с соседнего, то есть каждый пакет проходит через все 70000 правил и ответ на него - тоже, при примерно 300-400 pps (фря ограничивает количество icmp-ответов в секунду) нагрузка по прерываниям составляет около 50% CPU.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

21. "Эффективное блокирование тысяч IP в Linux"

Сообщение от _Nick_ (??) on 05-Июл-07, 11:37

да, защитник от ДДоСа в юзер-левеле это бред.
Но вот проблема добавления в фаервол не так уж и страшна.
Думаю, немалый процент времени, использованного для загрузки правил,
уходит на fork+exec. Следовательно, тут более логично смотрелось бы
решение в виде проги, которая закачивает правила из файла в фаервол сама
(по тем же вызовам, что делает ipfw или iptables).
Ядерная проверка и быстрая загрузка - где-то там было бы приемлемое решение

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

22. "Эффективное блокирование тысяч IP в Linux"

Сообщение от nuclight on 05-Июл-07, 12:14

>да, защитник от ДДоСа в юзер-левеле это бред.
>
>Но вот проблема добавления в фаервол не так уж и страшна.
>Думаю, немалый процент времени, использованного для загрузки правил,
>уходит на fork+exec. Следовательно, тут более логично смотрелось бы
>решение в виде проги, которая закачивает правила из файла в фаервол сама
>
>(по тем же вызовам, что делает ipfw или iptables).
>Ядерная проверка и быстрая загрузка - где-то там было бы приемлемое решение

А оно уже и так. Как мне тут сейчас сообщили, iptables-save делает это за две минуты. В общем, скрипач^W nfqueue не нужен.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

27. "Эффективное блокирование тысяч IP в Linux"

Сообщение от _Nick_ (??) on 05-Июл-07, 14:44

>А оно уже и так. Как мне тут сейчас сообщили, iptables-save делает
>это за две минуты.
Ну да
>В общем, скрипач^W nfqueue не нужен.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

23. "Эффективное блокирование тысяч IP в Linux"

Сообщение от devcoder (??) on 05-Июл-07, 13:04

А Linux netfilter + ipset?
ИМХО, согласен что для такой задачи нужна аппаратная железка и у того,
у кого такая необходимость блокирования реально может возникнуть,
деньги на неё (железку) безусловно есть.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

55. "Эффективное блокирование тысяч IP в Linux"

Сообщение от etc on 26-Июл-07, 03:25

>у кого такая необходимость блокирования реально может возникнуть,
>деньги на неё (железку) безусловно есть.
Узость взглядов - хреново, да?Такая задача в принципе возникает например у почти любого P2P юзера и как ни странно, далеко не любой юзер в состоянии купить себе стоечку с цисками.Это так, для тех кто в танке.С ручника полезно иногда сниматься.Говорят, помогает.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

29. "OpenNews: Эффективное блокирование тысяч IP в Linux"

Сообщение от bel on 05-Июл-07, 15:40

Если проверка всех этих 70000 правил делается простым перебором адресов, то эффективность блокирования под сомнением.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

30. "OpenNews: Эффективное блокирование тысяч IP в Linux"

Сообщение от _Nick_ (??) on 05-Июл-07, 15:42

>Если проверка всех этих 70000 правил делается простым перебором адресов, то эффективность
>блокирования под сомнением.
так ли это - можно легко узнать почитав доки упомянутых модулей в упомянутых системах :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

39. "OpenNews: Эффективное блокирование тысяч IP в Linux"

Сообщение от exn (??) on 05-Июл-07, 23:10

>елается простым перебором адресов
скорее хеширование

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

47. "OpenNews: Эффективное блокирование тысяч IP в Linux"

Сообщение от nuclight on 06-Июл-07, 10:20

>>елается простым перебором адресов
>скорее хеширование
Покажите мне хэш-функцию, эффективно работающую для IPv4 адресов. Для таких случаев применяют деревья - во FreeBSD, например, radix tree.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

48. "OpenNews: Эффективное блокирование тысяч IP в Linux"

Сообщение от dsn (??) on 06-Июл-07, 17:12

>>>елается простым перебором адресов
>>скорее хеширование
>
>Покажите мне хэш-функцию, эффективно работающую для IPv4 адресов. Для таких случаев применяют
>деревья - во FreeBSD, например, radix tree.

а я для других целей, применял поиск с двоичным приближением.
Сортируешь искомые данные в порядке возрастания, а потом ищешь совпадения, методом двоичного приближения. Очень быстро получается.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

56. "OpenNews: Эффективное блокирование тысяч IP в Linux"

Сообщение от etc on 26-Июл-07, 03:27

>приближения. Очень быстро получается.
А поподробнее?Что за метод?Насколько быстро?Скажем у тупого перебора отстойное соотношение - O(n).А у вас - что в итоге?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

58. "OpenNews: Эффективное блокирование тысяч IP в Linux"

Сообщение от LonliLokli (ok) on 11-Янв-09, 22:00

>>приближения. Очень быстро получается.
>
>А поподробнее?Что за метод?Насколько быстро?Скажем у тупого перебора отстойное соотношение - O(n).А
>у вас - что в итоге?
google://метод бисекции
Если в кратце - берётся элемент посередине уорядоченного множества и сравнивается с данным. Если данный элемент меньше - берём "нижнюю" половину множества, если больше - "верхнюю". Дальше всё повторяется с выбранной половиной.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

59. "OpenNews: Эффективное блокирование тысяч IP в Linux"

Сообщение от universite (ok) on 12-Янв-09, 03:17

>google://метод бисекции
>
>Если в кратце - берётся элемент посередине уорядоченного множества и сравнивается с
>данным. Если данный элемент меньше - берём "нижнюю" половину множества, если
>больше - "верхнюю". Дальше всё повторяется с выбранной половиной.
Тогда надо как-то дерево адресов ipv4 упорядочить в одномерный массив или последовательность.
В общем, алгоритмов достаточно, но универсальных нет ;)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

37. "Эффективное блокирование тысяч IP в Linux"

Сообщение от juni (??) on 05-Июл-07, 21:59

почитав рассылку netfilter.org на предмет проекта libnf-queue увидел, что просили помочь задокументировать этот модуль, потому как не описан совершенно. это отталкивало людей от миграции с libipqueue. Предполагаю, что это и есть та самая попытка написать доки.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

49. "Эффективное блокирование тысяч IP в Linux"

Сообщение от Moralez (??) on 07-Июл-07, 04:17

ммм... не пробовал такой объем, но pf должен вообще махом и грузить и обрабатывать такое количество правил...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

57. "Эффективное блокирование тысяч IP в Linux"

Сообщение от guest (??) on 02-Авг-07, 21:10

>ммм... не пробовал такой объем, но pf должен вообще махом и грузить
>и обрабатывать такое количество правил...
[sp@bastion: ~] % sudo time pfctl -f /etc/pf/pf.conf
pfctl -f /etc/pf/pf.conf.all  1,00s user 1,14s system 54% cpu 3,925 total
[sp@bastion: ~] % sudo wc -l /etc/pf/pf.conf
   69731 /etc/pf/pf.conf.all
[sp@bastion: ~] % uname -srp
FreeBSD 6.2-STABLE i386
на компьютере 12 сетевых интерфейсов.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Эффективное блокирование тысяч IP в Linux"
Сообщение от ФФ on 04-Июл-07, 18:33
А для чего это нужно?
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	2. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от const86 (ok) on 04-Июл-07, 18:47
	> А для чего это нужно? В теории можно управлять доступом на уровне приложений (например, allow from... у апача итд) и не вешать лишний хлам на внешние интерфейсы. Но это в теории... Поэтому, как всегда, наматываем на ус, вдруг пригодится.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	4. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от serg1224 on 04-Июл-07, 20:47
	А может для защиты от DDOS-атак?
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	17. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от uldus (ok) on 05-Июл-07, 10:52
	>А для чего это нужно? Например адреса ботнетов блокировать на уровне фаервола, чтобы ресурсы MTA не съедали. Но там не тысячи, а миллионы адресов в блэклистах.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	50. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от etc on 25-Июл-07, 23:35
	>А для чего это нужно? Для хардкорного фильтрования по куче правил.Скажем поищите файлик для емуля ipfilter.dat Грубо говоря, большой список систем с которых вам 1 фиг никогда не пришлют полезные данные, а вот флудить, ддосить, слать левак и т.п. - могут.Когда рулесов становится тысячи - обычные фаерволы начинают дуреть, они на это не рассчитаны...
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

3. "Эффективное блокирование тысяч IP в Linux"
Сообщение от ФФ on 04-Июл-07, 18:55
сложно представить реально зачем...если сервера приложений стоят в ДатаЦентре и там есть нормальные средства фильтрации и защиты зачем на уровне ОС лесть в сетевые вещи ?
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	7. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от _Nick_ (??) on 04-Июл-07, 22:26
	тебя послушать так в датацентре и работать серваку незачем. А нафига, если вокруг и так стока серваков??
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	32. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от medioom on 05-Июл-07, 16:01
	Если сетевики не нормальные - халявщики, то они всё спускают до системных администраторов, которым приходится самим работать.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	51. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от etc on 25-Июл-07, 23:42
	>Если сетевики не нормальные - халявщики, то они всё спускают до системных >администраторов, которым приходится самим работать. Кого ваши разборки сетевиков и админов волнуют, а?Вещь безусловно полезная.И позволит обойтись без пачки кисок местами.Что есть гуд, ибо экономия.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

5. "Эффективное блокирование тысяч IP в Linux"
Сообщение от alteleid (ok) on 04-Июл-07, 20:47
теоретически можно использовать как часть интеллектуального IPS против DDoS, но ни в коем случае не так как хотят создатели... для этого есть специализированное железо
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от _Nick_ (??) on 04-Июл-07, 22:28
	не всегда стоимость и деревянность железаных средств являются приемлемыми.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	9. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от alteleid (ok) on 04-Июл-07, 23:20
	Всегда, если речь идет о scalability и performance Дискуссия закрыта.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	52. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от etc on 26-Июл-07, 03:02
	>Всегда, если речь идет о scalability и performance >Дискуссия закрыта. Ага, ну конечно.Смотрите, дети, вот еще один представитель вида животных "есть 2 мнения - мое и неправильное" ;)
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	11. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от gvy (ok) on 05-Июл-07, 01:48
	Кажется, при последнем DDoS наш пров упоминал какую-то байду за $180K, если не послышалось. Видимо, специализированное на выем денег железо...
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	12. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от _Nick_ (??) on 05-Июл-07, 01:50
	>Кажется, при последнем DDoS наш пров упоминал какую-то байду за $180K, если >не послышалось. Видимо, специализированное на выем денег железо... вово мало какая проблема требует просто тупо вкладывать бабло. Чаще просто головой подумать - толку будет больше, чем за сотни тыщщ неденег
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	26. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от alteleid (ok) on 05-Июл-07, 14:21
	Все просто, если ваша сеть не стоит этих 180К (не много, кстати, магистральное оборудование в 2-3 раза дороже) не покупайте. Однако не понятно как вы достигли таких объемов, а железо не окупается? Может у вас бесплатная сеть?
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	31. "$180K"
	Сообщение от Michael Shigorin (ok) on 05-Июл-07, 15:56
	>Может у вас бесплатная сеть? Если не заметили -- упоминалось про _нашего_ (а не наш) ISP. Он ни разу не бесплатный, хотя и неплохой :-)
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	33. "$180K"
	Сообщение от alteleid (ok) on 05-Июл-07, 16:12
	а что такое _нашего_ (а не наш) ISP ? Я честно не понял.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	34. "anti-DDoS; конференция в Киеве"
	Сообщение от Michael Shigorin (ok) on 05-Июл-07, 16:29
	>а что такое _нашего_ (а не наш) ISP ? Я честно не понял. Ну в смысле "те, кто нам тырнет провайдят". Кстати, пока искал для них контакт заодно -- брошу-ка и сюда, мож кому интересно/полезно пообщаться будет: http://conference.osdn.org.ua/ru/archive/2005/ Алексей Лукин, ЧГТУ: Сетевые системы детектирования атак и противодействия им на базе фильтрующих маршрутизаторов. Работа посвящена построению сетевых IDS на основе фильтрации трафика на пограничном маршрутизаторе. В отличии от подобных систем (Snort, Prelude), работающих на основе прослушивания трафика, предложенный класс систем на основе фильтрации трафика на пограничном маршрутизаторе позволяет не только обнаружить вредоносный трафик, но и предотвратить его попадание в сеть. Водится здесь: http://www.stu.cn.ua/~alukin/ PS: в этом году тоже будет конференция. :)
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	53. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от etc on 26-Июл-07, 03:08
	>Все просто, если ваша сеть не стоит этих 180К (не много, кстати, Угу, для CISCO это немного.А для остальных - кому как.Даже крупный бизнес сто раз подумает до того как столько отстегнуть, переберет все варианты, etc.Кто-то покупает - когда иного выхода нет.А так - сервант с этой приблудой в отличие от... - практически бесплатный, да?Особенно на фоне 180К зелени.А значит позволить себе то что вчера было доступно только крутым сможет больше народа.Даже если цискарям это и не нравится, это их половые трудности.То что вчера было пределом мечтаний провайдера завтра будет у Васи Пупкина дома, в маленькой коробочке.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

6. "Эффективное блокирование тысяч IP в Linux"
Сообщение от Вова on 04-Июл-07, 21:09
сколько людей и сколько ресурсов неужеле нечего более стоящего придумать нельзя -- к примеру СПАМ или еще что-то массу всего
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

13. "Эффективное блокирование тысяч IP в Linux"
Сообщение от universite (ok) on 05-Июл-07, 07:33
C DDoS надо бороться на магистралях, но они наоборот заинтересованы в запредельных загрузках каналов и бредят Mpps и Gpps. А на датацентрах установка подобной железки лишь способ срубить бабла и увеличить капитализацию своего бизнеса.
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	14. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от _Nick_ (??) on 05-Июл-07, 08:01
	>C DDoS надо бороться на магистралях, но они наоборот заинтересованы в запредельных >загрузках каналов и бредят Mpps и Gpps. >А на датацентрах установка подобной железки лишь способ срубить бабла и увеличить >капитализацию своего бизнеса. каждый хочет наи... ть
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	16. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от DXT (??) on 05-Июл-07, 09:21
	>каждый хочет наи... ть Ну дык в стране откатов живемcЪ ...
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

18. "Эффективное блокирование тысяч IP в Linux"
Сообщение от nuclight on 05-Июл-07, 11:15
Хехе, смотрим в статью, на сайт программы - и видим, что обрааботка происходит в _userland_. То есть каждый пакет копируется туда и обратно, с сопутствующими переключениями контекста. Фактически, это FreeBSD'шный divert, за NAT на котором столько ругали систему за тормоза. Какая при этом может быть борьба с DDOS? И это при тм, что ведь есть же в линуксе для iptables тот же ядерный ipset. Но да ладно, проведем аналогичные измерения для FreeBSD, как по добавлению голого списка правил,что заняло час для iptables в статье по ссылке выше, так и с использованием таблиц ipfw, аналогом которых явялется ipset (быстрое сравнение в ядре). Сначала напишем перловый скрипт, который может генерировать скрипты по добавлению 70000 адресов: #!/usr/bin/perl -w use Socket qw/inet_aton inet_ntoa/; my $prefix = "ipfw add 777 deny all from "; my $suffix = " to any\n"; #my $prefix = "ipfw table 111 add "; #my $suffix = "\n"; my $base = '1.1.1.1'; my $howmany = 70000; my $nbase = unpack 'N',inet_aton($base); my @quads = map { inet_ntoa(pack('N', $_)) } grep { $_ % 256 } $nbase .. $howmany + $nbase; print "#!/bin/sh\n\n"; map { print $prefix, $_, $suffix } @quads; И запустим ./genips.pl > table.sh; chmod +x table.sh; time ./table.sh Получен результат: ./table.sh 10,45s user 94,32s system 104% cpu 1:40,07 total То есть, в таблицу 70000 адресов были добавлены менее чем за 2 минуты! И это при том, что внешняя программа ipfw вызывалась в скрипте 70000 раз.
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	19. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от nuclight on 05-Июл-07, 11:17
	Аналогично, с вызовом программы на каждое правило и еще и печатью на stdout (которое мы отправим в /dev/null), чтоб замедлить насколько можно, запустим простое добавление в ipfw семидесяти тысяч правил, прямой аналог того, что делали с iptables в статье: # ./genips.pl > rules.sh; chmod +x rules.sh # в genips строки сменены с таблицы на обычное add all from, см. комментарии в скрипте # time ./rules.sh > /dev/null ./rules.sh > /dev/null 116,97s user 519,57s system 100% cpu 10:33,90 total Десять с половиной минут. Измерения проводились на ненагруженном в этот момент сервере: FreeBSD 6.2-STABLE #0: Sat Apr 28 23:26:52 NOVST 2007 vadim@hostel.avtf.net:/usr/obj/usr/src/sys/HOSTEL acpi_alloc_wakeup_handler: can't alloc wake memory Timecounter "i8254" frequency 1193182 Hz quality 0 CPU: Intel(R) Pentium(R) 4 CPU 3.00GHz (2992.52-MHz 686-class CPU) Origin = "GenuineIntel" Id = 0xf34 Stepping = 4 Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE> Features2=0x441d<SSE3,RSVD2,MON,DS_CPL,CNTX-ID,<b14>> Logical CPUs per core: 2 Повторим добавление в таблицу в "боевых" условиях, наиболее быстрым способом (подгружая из файла без печати на stdout): # ./genips.pl > table # time ipfw -q /home/vadim/work/table ipfw -q /home/vadim/work/table 0,67s user 0,19s system 93% cpu 0,910 total То есть практически мгновенно. Строки в скрипте генерации были изменены на: my $prefix = "table 111 add "; my $suffix = "\n"; Изменим их на: my $prefix = "add 777 deny all from "; my $suffix = " to any\n"; И проверим добавление 70000 правил снова: # ./genips.pl > rules # time ipfw -q /home/vadim/work/rules ipfw -q /home/vadim/work/rules 85,85s user 315,14s system 98% cpu 6:46,03 total В полтора раза быстрее, чем в предыдущий раз, как видим. Ну и в дополнение по нагрузке. Если запустить на этот сервер ping -f с соседнего, то есть каждый пакет проходит через все 70000 правил и ответ на него - тоже, при примерно 300-400 pps (фря ограничивает количество icmp-ответов в секунду) нагрузка по прерываниям составляет около 50% CPU.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	21. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от _Nick_ (??) on 05-Июл-07, 11:37
	да, защитник от ДДоСа в юзер-левеле это бред. Но вот проблема добавления в фаервол не так уж и страшна. Думаю, немалый процент времени, использованного для загрузки правил, уходит на fork+exec. Следовательно, тут более логично смотрелось бы решение в виде проги, которая закачивает правила из файла в фаервол сама (по тем же вызовам, что делает ipfw или iptables). Ядерная проверка и быстрая загрузка - где-то там было бы приемлемое решение
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	22. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от nuclight on 05-Июл-07, 12:14
	>да, защитник от ДДоСа в юзер-левеле это бред. > >Но вот проблема добавления в фаервол не так уж и страшна. >Думаю, немалый процент времени, использованного для загрузки правил, >уходит на fork+exec. Следовательно, тут более логично смотрелось бы >решение в виде проги, которая закачивает правила из файла в фаервол сама > >(по тем же вызовам, что делает ipfw или iptables). >Ядерная проверка и быстрая загрузка - где-то там было бы приемлемое решение А оно уже и так. Как мне тут сейчас сообщили, iptables-save делает это за две минуты. В общем, скрипач^W nfqueue не нужен.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	27. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от _Nick_ (??) on 05-Июл-07, 14:44
	>А оно уже и так. Как мне тут сейчас сообщили, iptables-save делает >это за две минуты. Ну да >В общем, скрипач^W nfqueue не нужен.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	23. "Эффективное блокирование тысяч IP в Linux"
	Сообщение от devcoder (??) on 05-Июл-07, 13:04
	А Linux netfilter + ipset? ИМХО, согласен что для такой задачи нужна аппаратная железка и у того, у кого такая необходимость блокирования реально может возникнуть, деньги на неё (железку) безусловно есть.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору