URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 75794
[ Назад ]
Исходное сообщение
"помогите решить проблему дублирования netflow пакетов в flow-tools"
Отправлено SeRg , 21-Авг-07 17:49 
Случайно заметил, что коллектор стал дублировать флоусы.
В выполненной расшифровке выглядит это примерно так.
#:unix_secs,exaddr,doctets,srcaddr,dstaddr,input,output,srcport,dstport,prot,tos
1183764294,195.x.x.x,40,59.36.101.3,78.y.y.y,253,4,6000,2967,6,0
1183764294,195.x.x.x,40,59.36.101.3,78.y.y.y,253,4,6000,2967,6,0
1183764294,195.x.x.x,40,59.36.101.3,78.y.y.y,253,4,6000,2967,6,0
1183764294,195.x.x.x,40,59.36.101.3,78.y.y.y,253,4,6000,2967,6,0

На всякий случай расшифровку выполнял след.образом

FORMAT="UNIX_SECS,EXADDR,DOCTETS,SRCADDR,DSTADDR,INPUT,OUTPUT,SRCPORT,DSTPORT,PROT,TOS"
flow-cat -m $PATH_TO_FLOW/ft-v05.2007-07-08.000000+0400 | flow-nfilter -f $FILTER_FILE -Falls| flow-export -f2 -m$FORMAT

Коллектор на этой машине эксплуатировался очень давно. Все было в порядке. У нас 2 коллектора. Один используется биллинговой системой и крутится на linux. Второй (который стал глючить) используется для расшифровок и статистики на freebsd. Когда все было нормально, то обсчитанный трафик на обоих коолекторах совпадал. Сейчас наблюдается странная картина. flow-tools на free-bsd стал показывать обсчитанные объемы трафика больше (иногда в 2 раза) при одинаковых условиях выборки. Причем это происходит не каждый день. Есть дни, когда все совпадает. Даже если сделать расшифровку за 1 сутки, то умножение флоусов идет как бы волнами. То есть, то нет.
Есть подозрение, что возникло это всвязи с апгрейдом системы. Подключили дисковый массив по оптике и для этого пришлось проапдейтить систему до FreeBSD  6.2-STABLE FreeBSD. Думали, что из-за flow-tools-0.67, и поставили flow-tools-0.68_4 из портов. Тоже не помогло.
Помогите люди добрые как диагносцировать проблему.
Коллектор запущен:
/usr/local/bin/flow-capture -D -w /data/netflow/ -n3 -S5 -N2 -z9 0/0/2055 &

Содержание
Сообщения в этом обсуждении
"помогите решить проблему дублирования netflow пакетов в flow..."
Отправлено bANAn , 21-Авг-07 17:56 
считалко сошла с ума из-за безумных цифр? чем считаете?
"помогите решить проблему дублирования netflow пакетов в flow..."
Отправлено SeRg , 21-Авг-07 18:04 
>считалко сошла с ума из-за безумных цифр? чем считаете?

Если вопрос о том, чем обсчитывается трафик на одном и на другом коллекторе, то
1. на freebsd считаю перловым скриптом, кот. написал сам несколько лет назад.
2. на linux - сертифицированная биллиноговая система считает.
Даже если учесть, что скрипт мой кривой или стал криво считать из-за каких-то других факторов, то как объяснить абсолютно идентичные флоусы в расшифровке? Флоус (поток) идентифицируется 7-ю уникальными полями (Src IP, Dst IP, Src Port, Dst Port, Layer 3 Protocol Type, ToS, Input Logical Interface). Так вот те, которые я привел как раз по этим параметрам идентичны.


"помогите решить проблему дублирования netflow пакетов в flow..."
Отправлено bill , 21-Авг-07 21:57 
>[оверквотинг удален]
>коллекторе, то
>1. на freebsd считаю перловым скриптом, кот. написал сам несколько лет назад.
>
>2. на linux - сертифицированная биллиноговая система считает.
>Даже если учесть, что скрипт мой кривой или стал криво считать из-за
>каких-то других факторов, то как объяснить абсолютно идентичные флоусы в расшифровке?

Откуда льётся flow?
Появился ещё один flow-exporter?

Кстати еще:
Флоус (поток) идентифицируется 7-ю уникальными полями (Src IP, Dst IP, Src
>Port, Dst Port, Layer 3 Protocol Type, ToS, Input Logical Interface).
>Так вот те, которые я привел как раз по этим параметрам
>идентичны.

Обязательно при идентификации смотреть exaddr

"помогите решить проблему дублирования netflow пакетов в flow..."
Отправлено SeRg , 22-Авг-07 09:49 
>>[оверквотинг удален]
>>коллекторе, то
>>1. на freebsd считаю перловым скриптом, кот. написал сам несколько лет назад.
>>
>>2. на linux - сертифицированная биллиноговая система считает.
>>Даже если учесть, что скрипт мой кривой или стал криво считать из-за
>>каких-то других факторов, то как объяснить абсолютно идентичные флоусы в расшифровке?
>
>Откуда льётся flow?

cisco
>Появился ещё один flow-exporter?

Экспортеров несколько, только вот когда я делая расшифровку, я использую фильтр

filter-primitive mw-router
  type ip-address
  permit 195.x.x.x

filter-primitive mv-time-start
  type time-date
  permit gt July 1, 2007 00:00:00

filter-primitive mv-time-end
  type time-date
  permit lt August 1, 2007 00:00:00

filter-primitive mv-dst-ip
  type ip-address-mask
  permit 78.y.y.y 255.255.255.255

filter-primitive  mv-in-inter
  type ifindex
  permit 253
  default deny

filter-definition alls
      match ip-exporter-address mw-router
      match input-interface mv-in-inter
      match ip-destination-address mv-dst-ip
      match start-time mv-time-start
      match start-time mv-time-end

>
>Кстати еще:
>Флоус (поток) идентифицируется 7-ю уникальными полями (Src IP, Dst IP, Src
>>Port, Dst Port, Layer 3 Protocol Type, ToS, Input Logical Interface).
>>Так вот те, которые я привел как раз по этим параметрам
>>идентичны.
>
>Обязательно при идентификации смотреть exaddr

При использовании вышеописанного фильтра exaddr один единственный.

"помогите решить проблему дублирования netflow пакетов в flow..."
Отправлено bill , 22-Авг-07 21:23 
Ок.
>Если вопрос о том, чем обсчитывается трафик на одном и на другом коллекторе, то
>1. на freebsd считаю перловым скриптом, кот. написал сам несколько лет назад.
>2. на linux - сертифицированная биллиноговая система считает.
>Даже если учесть, что скрипт мой кривой или стал криво считать из-за каких-то других >факторов, то как объяснить абсолютно идентичные флоусы в расшифровке? Флоус (поток) >идентифицируется 7-ю уникальными полями (Src IP, Dst IP, Src Port, Dst Port, Layer 3 >Protocol Type, ToS, Input Logical Interface). Так вот те, которые я привел как раз по
>этим параметрам идентичны.

Файлы флоу на сертифицированным биллинге и на freebsd одинаковые?
Пробовал делать расшифровку с файлов флоу биллинга?
Это чтобы убедится одназначно в косяке коллектора на freebsd.

Я делаю также расшифровки, только я не поднимал второй коллектор, а просто копирую каждую ночь по фтп файлы флоу за день с биллинга на машину для расшифровок.

"помогите решить проблему дублирования netflow пакетов в flow..."
Отправлено SeRg , 23-Авг-07 12:28 
>Ок.
>>Если вопрос о том, чем обсчитывается трафик на одном и на другом коллекторе, то
>>1. на freebsd считаю перловым скриптом, кот. написал сам несколько лет назад.
>>2. на linux - сертифицированная биллиноговая система считает.
>>Даже если учесть, что скрипт мой кривой или стал криво считать из-за каких-то других >факторов, то как объяснить абсолютно идентичные флоусы в расшифровке? Флоус (поток) >идентифицируется 7-ю уникальными полями (Src IP, Dst IP, Src Port, Dst Port, Layer 3 >Protocol Type, ToS, Input Logical Interface). Так вот те, которые я привел как раз по
>>этим параметрам идентичны.
>
>Файлы флоу на сертифицированным биллинге и на freebsd одинаковые?

Разные коллекторы, соответственно и файлы разные, причем серт-й коллектор не сохраняет в файлы, он заточен сразу на тарификатор. Функционал этого коллектора не позволяет включить сохранение всего трафика в файлы.
>Пробовал делать расшифровку с файлов флоу биллинга?

Соответственно расшифровку и не сделать, т.к. не из чего.
>Это чтобы убедится одназначно в косяке коллектора на freebsd.

Я вот думаю, чтобы убедиться поставлю другой коллектор. Только вот не могу выбрать кайдовский или netramet. Не посоветуете?

"помогите решить проблему дублирования netflow пакетов в flow..."
Отправлено Аноним , 23-Авг-07 13:08 
>Я вот думаю, чтобы убедиться поставлю другой коллектор. Только вот не могу
>выбрать кайдовский или netramet. Не посоветуете?

У меня на биллинге установлен flow-tools версии 0.66 отсюда http://www.splintered.net/sw/flow-tools
Нареканий нет.

"помогите решить проблему дублирования netflow пакетов в flow..."
Отправлено SeRg , 13-Сен-07 09:47 
>>Я вот думаю, чтобы убедиться поставлю другой коллектор. Только вот не могу
>>выбрать кайдовский или netramet. Не посоветуете?
>
>У меня на биллинге установлен flow-tools версии 0.66 отсюда http://www.splintered.net/sw/flow-tools
>Нареканий нет.

Откатился на версию 0.66, не помогло. Дубли остались.