The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Новый пакетный фильтр для борьбы с флудом на уровне Linux ядра

11.01.2009 18:37

Jeffrey Merkey представил в списке рассылки разработчиков Linux ядра код нового специализированного пакетного фильтра FF, предназначенного для блокирования большого числа IP адресов в сетях с интенсивным трафиком. FF состоит из модуля Linux ядра и утилиты для управления пакетным фильтром. Представленный пакетный фильтр не отличается такой гибкостью как iptables, но опережает последний по производительности и потребляет значительно меньше памяти в расчете на один IP.

От ipset новая система отличается тем, что поддерживает блокирование на уровне драйвера e1000. Набор утилит, работающий на уровне пользователя, обеспечивает сохранение БД адресов на диске с кешированием базы в памяти ядра.

Главная задача FF - защита от DoS/DDoS атак, блокирование различного флуда и паразитного трафика. В качестве примера, представлен код для интеграции разработки с postfix для борьбы с роботами спамеров, выступая в роли более жесткой системы блокирования для серых списков и RBL систем.

  1. Главная ссылка к новости (http://lkml.org/lkml/2009/1/8/...)
  2. OpenNews: Эффективное блокирование тысяч IP в Linux
  3. ipset
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/19731-linux
Ключевые слова: linux, kernel, firewall
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (55) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 18:49, 11/01/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Зачем сокращение такое? FF - это Firefox.
     
     
  • 2.12, Аноним (1), 21:06, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Зачем сокращение такое? FF - это Firefox.

    Firefox - Fx

    давно уже.

     
  • 2.36, Andrey Mitrofanov (?), 09:39, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Зачем сокращение такое?

    Да! http://www.acronymfinder.com/FF.html

     

  • 1.2, Painbringer (?), 18:55, 11/01/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    мне одному показалось что текст обрывается на полу-слове?
     
  • 1.3, _umka_ (ok), 19:08, 11/01/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Попытка содрать связку pf+spamd ?
    http://www.onlamp.com/pub/a/bsd/2007/01/18/greylisting-with-pf.html?page=4
     
     
  • 2.5, vitek (??), 19:24, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    ага.
    а ещё и добавить:
    >От ipset новая система отличается тем, что поддерживает блокирование на уровне драйвера e1000.
    >Главная задача FF - защита от DoS/DDoS атак, блокирование различного флуда и паразитного трафика.
     
  • 2.8, Добрый Дохтур (?), 19:34, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    и как поведет себя spamd при 3-4 тыс коннектов к нему?
     
     
  • 3.22, yason (?), 23:49, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Не поверите - нормально. На работе стоит на машине дуал п3-800 с 512 мегами памяти и 10мегабитным спам каналом. В оригинале, без спамд, сервак обрабатывал окло 10-15 тысч спам писем. Эксчендж, живущий ЗА постфиксом просто охреневал. Сейчас у мен нормальная загрузка на эксчендже и не тормозящий смтп-сервак, которые рубит спам.
     
     
  • 4.30, Добрый Дохтур (?), 07:18, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Не поверите - нормально. На работе стоит на машине дуал п3-800 с 512 мегами памяти и 10мегабитным спам каналом. В оригинале, без спамд, сервак обрабатывал окло 10-15 тысч спам писем.

    10-15 тыс писем в какую единицу времени то?
    в одной маленькой конторе, где я когда-то работал почтовый трафик был 80тыс писем в сутки.

     
     
  • 5.37, none (??), 10:07, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >в одной маленькой конторе, где я когда-то работал почтовый трафик был 80тыс
    >писем в сутки.

    а процент полезной информации?

     
  • 5.43, yason (?), 14:17, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    За час-два. Когда как. Вот цифири:

    Информация получена скриптиком с calomel.org
    ***** Spamd Stats on *****
    Script run on: Mon Jan 12 2009 at 13:39 in 42 second(s)
    Data Range: Jan 11 14:00:02 to Jan 12 13:40:03

    Time spammers wasted: 1039.37 hours
    Total bandwith used: 100.54 megabytes
    Average time per tarpit: 0.37 minutes
    Unique ip addresses tarpitted: 12135
    Total connections made: 167457

    т.е. за сутки имеем 167500 подключений, которые "зохавал" spamd. Подозреваю что для конторы с 150 почтовыми ящиками спама больше 90%.

    А вот результат pflogsumm:

    Grand Totals
    ------------
    messages

       2361   received
       2738   delivered
          0   forwarded
         59   deferred  (1271  deferrals)
         76   bounced
          2   rejected (0%)
          0   reject warnings
          0   held
          0   discarded (0%)

    343236k  bytes received
    369136k  bytes delivered
        350   senders
        196   sending hosts/domains
        608   recipients
        176   recipient hosts/domains

    две с небольшим тысячи обработанных постфиксом писем меркнут на фоне 167 тысяч, которые ему не пришлось обрабатывать.

    load averages:  1.21,  1.35,  1.38
    61 processes:  60 idle, 1 on processor
    CPU0 states:  4.8% user,  0.0% nice,  2.0% system,  0.0% interrupt, 93.2% idle
    CPU1 states:  0.0% user,  0.0% nice,  0.2% system,  0.0% interrupt, 99.8% idle
    Memory: Real: 107M/283M act/tot  Free: 215M  Swap: 41M/512M used/tot
    ................
    11853 _spamd     2    0   12M 9140K sleep/0  select  80.6H  1.46% spamd
    21354 _spamd    10    0 8936K  556K sleep/0  nanosl 964:41  0.34% spamd
    24921 _spamd    -6    0 8828K  476K sleep/0  piperd 792:30  0.00% spamd

     

  • 1.4, iZEN (ok), 19:20, 11/01/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Jeffrey Merkey представил (http://lkml.org/lkml/2009/1/8/467) в списке рассылки разработчиков Linux ядра код нового
    >специализированного пакетного фильтра FF, предназначенного для блокирования большого числа IP адресов
    >в сетях с интенсивным трафиком.

    Ну наконец-то!
    А то маршрутизатор D-Link с Linux'ом пропускает в первую очередь IP-пакеты только от Linux-машин, а все остальные соединения обслуживает в последнюю очередь.


     
     
  • 2.7, vitek (??), 19:26, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >А то маршрутизатор D-Link с Linux'ом пропускает в первую очередь IP-пакеты только от Linux-машин

    а... можно подробней?
    не флуда ради, а образования для.

     
     
  • 3.9, Solo_vrn (?), 19:39, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    > >А то маршрутизатор D-Link с Linux'ом пропускает в первую очередь IP-пакеты только от >Linux-машин
    >
    >а... можно подробней?
    >не флуда ради, а образования для.

    Действительно замечал такое, думал что кажется, ан нет, я не один такой.
    ЗЫ: Поменял D-Link на Zyxel, все стало ровно...

     
     
  • 4.10, vitek (??), 19:45, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    D-Link я конечно вообще за аппаратуру не считаю, но...
    должно же быть объективное объяснение?
    специально... через iptables и прочие извраты я могу представить как это сделать, но чтобы вот так.. на голой машише....
    може там ядро проверить/пересобрать?
     
     
  • 5.17, iZEN (ok), 21:33, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Запустил параллельно:
    * обновление Linux Mint 5.1 -> 6
    * обновление портов FreeBSD 7.1-RELEASE

    Так вот, архивы с исходниками на FreeBSD переставали качаться и скорость скачки быстро понижалась до ~100 байтов в минуту. В это время Linux Mint качал -- дай боже! Вручную отсоединяю патчкорд машины с Linux Mint от ADSL-роутера и как по волшебству скорость закачки архивов на FreeBSD увеличивалась до полной скорости соединения с провайдером. На FreeBSD запущен пакетный фильтр PF с нормализацией всех пакетов на сетевом интерфейсе. На Linux Mint чего-то такого из сетевых экранов специально не настраивалось (похоже, флуд и есть).

    Вот и решайте про "избирательность" Linux TCP-стека к разным архитектурам.

     
     
  • 6.18, vitek (??), 22:41, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Вот и решайте про "избирательность" Linux TCP-стека к разным архитектурам.

    вот это не надо... у меня например специально настроено на приоритет винды (даже ttl там разные)

    а вот остальное - интересно.
    как девайс то точно называется?
    может удастся достать и посмотреть.

    да и adsl (какой?) - вещь интересная... плавали. знаем... критична к настройкам.
    особенно на плохих каналах.
    поставите фриху - может быть с точностью до наоборот.

     
     
  • 7.19, iZEN (ok), 22:55, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >а вот остальное - интересно.
    >как девайс то точно называется?

    D-Link DSL-504T

    >может удастся достать и посмотреть.

    Вряд ли. Это старенький домашний роутер.

    >да и adsl (какой?) - вещь интересная... плавали. знаем... критична к настройкам.

    ADSL провайдерский. 128 kbps.

    >особенно на плохих каналах.

    На канал не жалуюсь.

    >поставите фриху - может быть с точностью до наоборот.

    Здесь уж приходится выбирать: либо Linux качает, либо FreeBSD.

     
     
  • 8.20, vitek (??), 23:13, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    вообще adsl вещь интересная в том плане, что кто первый, тот и папа приходилось... текст свёрнут, показать
     
     
  • 9.25, iZEN (ok), 00:15, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Вообще, ситуация такая Linux Mint изо-всех сил ломится скачивать бинарные обнов... текст свёрнут, показать
     
     
  • 10.31, Добрый Дохтур (?), 07:20, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    кстати, а как в pf точнее altq справедливо распределить полосу между нескольким... текст свёрнут, показать
     
     
  • 11.33, CrazyF (?), 08:36, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Гы В usr share examples pf примерчики глянуть можно ... текст свёрнут, показать
     
     
  • 12.46, Добрый Дохтур (?), 16:13, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    да ну вот есть канал в 10мбит, сеть на 23 Как равномерно распределить полосу,... текст свёрнут, показать
     
  • 7.23, Ouch (?), 23:50, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >вот это не надо... у меня например специально настроено на приоритет винды
    >(даже ttl там разные)

    Давеча качал фаерфокс под вистой.Убиться можно - тормозит адски.Скачка заняла почти полчаса.Маршрутизаторы вообще киски.А с машин под чем-то иным качается так что глазом не моргнуть.Может дело не в линуксе в длинке а кто-то просто нахимичил в сетевом стеке так что он иногда работает малоэффективно в некоторых условиях?А то сообщения про просадку сети в висте при проигрывании звука бывают например.

     
     
  • 8.27, iZEN (ok), 00:23, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Несколько месяцев назад такая же ситуация была и у меня, но только под WindowsXP... текст свёрнут, показать
     
     
  • 9.40, User294 (ok), 13:25, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Много лет пользую D-Link 504T Правда вот с прошивкой от McMcc родная прошивка ... большой текст свёрнут, показать
     
  • 9.42, vitek (??), 13:58, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    конечно девайс я такой вряд ли найду, но могу предположить из всего того, что В... текст свёрнут, показать
     
     
  • 10.45, vitek (??), 14:56, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    а, да ещё многие забывают, что mss можно поставить не только через фаервол ipt... текст свёрнут, показать
     
  • 5.24, yason (?), 23:52, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    os fingerprint. Я могу, при желании, на Опене настроить pf на неполучение пакетов с венды или линукса или того же опена. Или по очередям раскидать... Понятно, что это не панацея, особенно если "подпилить" "отпечатки" своей оси.
     
     
  • 6.28, iZEN (ok), 00:29, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >os fingerprint. Я могу, при желании, на Опене настроить pf на неполучение
    >пакетов с венды или линукса или того же опена. Или по
    >очередям раскидать... Понятно, что это не панацея, особенно если "подпилить" "отпечатки"
    >своей оси.

    Подскажите навскидку, возможно ли и каким правилом можно отправить через PF (pass out on $intf...) os fingerprint, допустим "Linux", чтобы проверить селективность роутера к сторонним системам.
    (Я только начал с PF разбираться, пока до этого не дошёл).


     
     
  • 7.41, yason (?), 13:37, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    man pf.conf
    поиск по fingerprint дает примеры правил для подобной фильтрации:

    Examples:

               pass  out proto tcp from any os OpenBSD
               block out proto tcp from any os Doors
               block out proto tcp from any os "Doors PT"
               block out proto tcp from any os "Doors PT SP3"
               block out from any os "unknown"
               pass on lo0 proto tcp from any os "OpenBSD 3.3 lo0"

    ключевое слово os, а дальше смотрите свой /etc/pf.os.

    З.Ы. нижеотписавшемуся:
    Я в курсе, что и ФрииБСД и линукс умеют фингерпринтить, правда не знаю, насколько нативно. В общем то метод придумали давно...

     
     
  • 8.50, iZEN (ok), 01:37, 13/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Да, спасибо Сумел сделать отсылку фингерпринта Linux , Windows Cisco и их... текст свёрнут, показать
     
     
  • 9.51, vitek (??), 02:21, 13/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    это полная чушь приведите хоть один пример паразитного трафика от линуха tcp... текст свёрнут, показать
     
     
  • 10.52, iZEN (ok), 03:43, 13/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Кто кого победил 8212 тот ещё вопрос Когда машины с альтернативными операц... текст свёрнут, показать
     
     
  • 11.53, pavel_simple (ok), 04:24, 13/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален linux убил локалку -- бред ... текст свёрнут, показать
     
     
  • 12.54, vitek (??), 08:03, 13/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    о чем и речь и на вопрос приведите пример этого паразитного трафика получаю в... текст свёрнут, показать
     
  • 12.56, iZEN (ok), 22:34, 13/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Не бред Сегодня снёс к чертям собачьим Linux Mint и на ту же машину установил P... текст свёрнут, показать
     
     
  • 13.57, vitek (??), 01:55, 14/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    у Вас на adsl стоит линух или для Вас это был секрет и то что я писал пр... текст свёрнут, показать
     
     
  • 14.58, iZEN (ok), 02:44, 14/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Не к роутеру, как к таковому в локалке он работает фактически как свитч , а к L... текст свёрнут, показать
     
  • 6.32, Добрый Дохтур (?), 07:22, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    passive os fingerprinting можно и в freebsd делать, и в linux, а не только в openbsd.
     
  • 2.44, gentoouser (?), 14:26, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    DSCP настраивали?
     

  • 1.6, Хелагар (ok), 19:25, 11/01/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Нет, Умка.
    Связка pf+spamd вполне заменима связкой ipt+spamd. Которая, кстати говоря, ipt+spamd, пожалуй, пошустрее будет. По крайней мере быстрее pf+spamd во Фре.
    Спасибо отсутствию нетграфоподобных надстроек над сетевым стеком в линюхах.
    А тут - фильтр для борьбы с флудом, а не связка пакетного фильтра и спаморезки.
     
     
  • 2.11, xxx (??), 20:28, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Спасибо отсутствию нетграфоподобных надстроек над сетевым стеком в линюхах.

    Так, для общего развития. Вообще-то pf во Фряхе работает не используя подсистему netgraph. Насколько я помню pf и ipfilter используют NetBSD'шный интерфейс PFIL_HOOKS(9) (этот же интерфейс использует и OpenBSD), что подрубаются напрямую к ip-стеку. Поэтому прежде чем говорить глупости попробуйте изучить подробнее данную тематику. А бред про тормознутость netgraph мы уже слышали, но netgraph был изобретён именно как эффективное решение поставленых для него задач. Собственно со своими задачами он хорошо и справляется.

    По-поводу новости. Больше велосипедов интересных и разных! FF - это flud filter?


     
     
  • 3.13, vitek (??), 21:09, 11/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    хм... а ведь там по-русски написано.
    но ведь Вам и не важно, не так ли?
     
     
  • 4.26, xxx (??), 00:20, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >хм... а ведь там по-русски написано.
    >но ведь Вам и не важно, не так ли?

    Важно, на родном языке читать приятней.

     

  • 1.16, pavlinux (ok), 21:29, 11/01/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Jeffrey Merkey случаем не в Intel работает???
     
     
  • 2.35, srgaz (?), 08:45, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Для pavlinux.
    По последним развед. данным.
    http://www.wolfmountaingroup.com/
     
     
  • 3.38, Andrey Mitrofanov (?), 10:41, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >По последним развед. данным.

    G://"Jeffrey Merkey"
    => http://en.wikipedia.org/wiki/Jeff_V._Merkey

     
     
  • 4.39, Аноним (-), 11:51, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >>По последним развед. данным.
    >
    >G://"Jeffrey Merkey"
    >=> http://en.wikipedia.org/wiki/Jeff_V._Merkey

    Так там написано, что товарищ - порядочный мудак.

    On October 4, 2004, Merkey offered US$50,000 on LKML, the Linux kernel mailing list, to anyone able to provide him a version of the Linux kernel that was not licensed under the GPL for his project.


    И тон его сабжевого сообщения в lkml это только подтверждает.

     

  • 1.29, Аноним (-), 03:49, 12/01/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Так это можно будет использовать параллельно с netfilter (iptables, iproute2, ipset)?
     
     
  • 2.49, pavlinux (ok), 20:07, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Так это можно будет использовать параллельно с netfilter (iptables, iproute2, ipset)?

    Можно, тольк ещё сетевуху Intel Gigabit надо купить, где будешь юзать :)

     
     
  • 3.55, Аноним (-), 08:12, 13/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >>Так это можно будет использовать параллельно с netfilter (iptables, iproute2, ipset)?
    >
    >Можно, тольк ещё сетевуху Intel Gigabit надо купить, где будешь юзать :)
    >

    Уже прикупил, около ста штук e1000. Все серваки на них.
    Весь мир нах зафаерволлю! :-)

     

  • 1.34, srgaz (?), 08:38, 12/01/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Jeffrey Merke --- красавчег )
    Давно следил за FF, и вот свершилось !!!
     
     
  • 2.47, Анонимус (?), 17:31, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Захэшировал базу rbl на диске, и фильтровать эти адреса? Еще один велосипед?
     
     
  • 3.48, vitek (??), 19:39, 12/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    если он это будет делать быстро (а есть подозрения, что так), тогда это очень быстрый велосипед.
    многим может пригодиться.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру