URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID6
Нить номер: 15168
[ Назад ]
Исходное сообщение
"Опять flow-export треба помощь!"
Отправлено undegro , 28-Дек-07 12:32 
Привествую всех!!! Сразу извинюсь так как таких тем здесь уйма но ответа на свой вопрос пока не нашел,пишу для биллинга, netflow + mysql,
написал shell скрипт для экспорта притом он файлы (5мин-ки) разбивает по дням и кладет в таблицы mysql типа nf20071218 (я думал это ускорит) хотелось бы узнать два вопроса:
Если лить все в одну таблицу хотяб на три месяца как это повлияет на скорость;?
Или все таки обрабатывать допустим дневную таблицу или вообще 5-мин-ку но так чтоб в новой таблице был не сырой трафик netflow в формате
1.1.1.1 2.2.2.2 srcport dstport octets <-in пакет
2.2.2.2 1.1.1.1 srcport dstport octets -> out пакет
а в нормальном виде 1.1.1.1 2.2.2.2 srcport dstport !in !out .
Не могу такой sql запрос собрать - голову уже сломал, отдельно по входящему и исходящему могу выводить причем уже с посчитаными байтами на одинаковых dstip , а надо чтоб красиво было ip remip in out.
Я уже решил другой вариант пробовать, снчала flow-export-ом в ascii а оттуда пхп или shellом агрегировать и закидывать в скуль уже нормальные таблицы в нормальном формате!!!
Если есть у кого наработки поделитесь чтоб велосипед не изобретать!! Очень буду рад всем ответившим!!
Содержание
Сообщения в этом обсуждении
"Опять flow-export треба помощь!"
Отправлено Slimm , 28-Дек-07 15:50 
>[оверквотинг удален]
>а в нормальном виде 1.1.1.1 2.2.2.2 srcport dstport !in !out .
>Не могу такой sql запрос собрать - голову уже сломал, отдельно по
>входящему и исходящему могу выводить причем уже с посчитаными байтами на
>одинаковых dstip , а надо чтоб красиво было ip remip in
>out.
>Я уже решил другой вариант пробовать, снчала flow-export-ом в ascii а оттуда
>пхп или shellом агрегировать и закидывать в скуль уже нормальные таблицы
>в нормальном формате!!!
>Если есть у кого наработки поделитесь чтоб велосипед не изобретать!! Очень буду
>рад всем ответившим!!

у нас 5 минутки разбираются perl скриптом
создается хеш массив %data
$data{ip}{inp} отфильтровываем средствами flow-tools и пишем сюда только входящий трафик
$data{ip}{out} отфильтровываем средствами flow-tools и пишем сюда только исходящий трафик

затем этот массив записываем в базу

мож я че не понял, вроде не сложно ...

"Опять flow-export треба помощь!"
Отправлено undegro , 28-Дек-07 16:33 
>[оверквотинг удален]
>>рад всем ответившим!!
>
>у нас 5 минутки разбираются perl скриптом
>создается хеш массив %data
>$data{ip}{inp} отфильтровываем средствами flow-tools и пишем сюда только входящий трафик
>$data{ip}{out} отфильтровываем средствами flow-tools и пишем сюда только исходящий трафик
>
>затем этот массив записываем в базу
>
>мож я че не понял, вроде не сложно ...

ВОТ ВОТ ВОТ то что нужно!!! Если можно поподробнее насчет фильтрации средствами flow tools! Я совсем первый раз с этим столкнулься, новая работа, приходиться со всем быстро разбираться, столько уже всего перелопатил, но смысл насчет массива понятен! Заранее спасибо

"Опять flow-export треба помощь!"
Отправлено Slimm , 28-Дек-07 18:40 
а собственно в чем проблема

flow-capture запускаем втом числе и с параметром -R /usr/local/netflow/rotate

соответственно он создавая 5 минутки будет запускать этот файл с имянем файла-5минутки
от корневой директории указанной в ключе -w flow-capture-а

flow-cat $1 | flow-nfilter -Fout | flow-stat -f8 > out
flow-cat $1 | flow-nfilter -Finp | flow-stat -f9 > inp

вызываем скрипт в нем парсим файлы inp и out
и пишем в базу

этот файл определяет фильтры для flow-nfilter
usr/local/var/cfg/filter.cfg
filter-primitive mynet
    type ip-address-prefix
    permit 192.168.0.0/16
    default deny

filter-definition inp
    match ip-destination-address mynet

filter-definition out
    match ip-source-address mynet

"Опять flow-export треба помощь!"
Отправлено undegro , 09-Янв-08 07:29 
>[оверквотинг удален]
>filter-primitive mynet
>    type ip-address-prefix
>    permit 192.168.0.0/16
>    default deny
>
>filter-definition inp
>    match ip-destination-address mynet
>
>filter-definition out
>    match ip-source-address mynet

Проблема соббственно в том что я только пишу скрипт и в кису не лезу, и все это первый раз, но все равно огромное спасибо за подсказку бум пробовать по этому способу!

"Опять flow-export треба помощь!"
Отправлено undegro , 09-Янв-08 08:29 
СНГ!
Пишет,
flow-cat: Warning, partial inflated record before EOF
Это нормально или гдето собака зарыта, учитывая то что я без фильтра делал?
"Опять flow-export треба помощь!"
Отправлено undegro , 09-Янв-08 09:16 
>СНГ!
>Пишет,
>flow-cat: Warning, partial inflated record before EOF
>Это нормально или гдето собака зарыта, учитывая то что я без фильтра
>делал?

Сам же отвечу:
По ошибке tmp 5тку загнал, вообщем все красиво,но есть одно но, файлы получаються без времени, время придеться все равно брать из raw потока или есть другой вариант?

"Опять flow-export треба помощь!"
Отправлено bytestore , 26-Авг-08 11:32 
>>СНГ!
>>Пишет,
>>flow-cat: Warning, partial inflated record before EOF
>>Это нормально или гдето собака зарыта, учитывая то что я без фильтра
>>делал?
>
>Сам же отвечу:
>По ошибке tmp 5тку загнал, вообщем все красиво,но есть одно но, файлы
>получаються без времени, время придеться все равно брать из raw потока
>или есть другой вариант?

17. I'm seeing: "flow-cat: Warning, partial inflated record before EOF"
   This error message may indicate that you are trying to read an empty directory. This error
   would appear for Exporter users in the very initial release of version 3.3.  This was
   was caused by FlowTracker_Collector trying to read a device_name directory even though
   the user was not using devices. This was fixed in version 3.3.1.
  
   This error may also occur during the processing of data in normal directories. It is not
   understood at this point why this happens, however it appears to be mostly harmless. I have
   seen it occur on every third FlowTracker_Collector run (every 15 minutes) which coincides with
   the end of a typical 15-minute flow-tools ft file.