URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 62181
[ Назад ]

Исходное сообщение
"этика обработки netflow"

Отправлено georgebryansk , 28-Ноя-05 10:46 
Есть flow-capture
/usr/local/bin/flow-capture -N -2 -n 287 -S 1 -w /usr/local/netflow/vpn_tun 127.0.0.1/127.0.0.1/557
Нормально собирает пакеты без потерянных потоков(flow).
freebsd 5.4
Смущает одна особенность, если делать вот так:
flow-cat -p /usr/local/netflow/vpn_tun/2005-11/2005-11-27/ft-v05.2005-11-27.1830* | flow-print -f 5 | more
то получается весьма странная картина:
1127.18:28:43.841 1127.18:28:43.841 1     84.17.2xx.xxx   1028  1     219.238.233.110 1012  17  0  2          68
...
1127.18:28:22.841 1127.18:29:08.841 1     84.17.2xx.xxx   10315 1     195.144.88.10   65041 6   3  9          674
...
1127.18:28:54.841 1127.18:28:54.841 1     84.17.2xx.xxx   1028  1     140.123.108.139 7658  17  0  2          68
...
1127.18:28:33.841 1127.18:29:19.841 1     84.17.2xx.xxx   10315 1     82.230.55.32    4245  6   3  8          491
1127.18:29:03.841 1127.18:29:05.841 1     84.17.2xx.xxx   10315 1     218.111.151.16  64403 6   2  4          250
1127.18:29:06.841 1127.18:29:06.841 1     84.17.2xx.xxx   1028  1     66.135.34.198   8274  17  0  2          68
...
1127.18:29:06.841 1127.18:29:06.841 1     66.135.34.198   8274  5     84.17.2xx.xxx   1028  17  0  2          243
...
1127.18:29:54.845 1127.18:30:43.845 1     219.70.136.90   2643  5     84.17.2xx.xxx   10315 6   3  9          603
1127.18:29:10.845 1127.18:30:51.845 1     84.17.2xx.xxx   10315 1     213.209.171.130 12423 6   3  8          479
1127.18:30:36.845 1127.18:30:36.845 1     220.64.45.159   1073  5     84.17.2xx.xxx   10315 6   0  1          40    
1127.18:29:10.845 1127.18:30:52.845 1     213.209.171.130 12423 5     84.17.2xx.xxx   10315 6   3  10         622      
1127.18:30:40.845 1127.18:30:40.845 1     85.55.11.94     4672  5     84.17.2xx.xxx   10315 17  0  1          51
1127.18:30:40.845 1127.18:30:40.845 1     84.17.2xx.xxx   10315 1     85.55.11.94     4672  17  0  1          34
1127.18:30:43.845 1127.18:30:43.845 1     219.70.136.90   2643  5     84.17.2xx.xxx   10315 6   0  1          40
1127.18:30:52.845 1127.18:30:52.845 1     84.17.2xx.xxx   10315 1     213.209.171.130 12423 6   0  1          40
1127.18:31:05.845 1127.18:31:05.845 1     213.96.121.225  6346  5     84.17.2xx.xxx   10315 17  0  1          46
1127.18:31:05.845 1127.18:31:05.845 1     84.17.2xx.xxx   10315 1     213.96.121.225  6346  17  0  1          32
1127.18:31:06.845 1127.18:31:06.845 1     84.17.2xx.xxx   10315 1     210.8.151.19    59279 6   1  1          40
1127.18:32:43.845 1127.18:32:43.845 1     80.232.187.142  28429 5     84.17.2xx.xxx   10315 6   0  1          40
1127.18:32:43.845 1127.18:33:02.845 1     201.246.104.231 2006  5     84.17.2xx.xxx   10315 6   6  5          224
1127.18:32:43.845 1127.18:32:51.845 1     84.17.2xx.xxx   10315 1     201.246.104.231 2006  6   2  4          176
1127.18:33:03.845 1127.18:33:08.845 1     201.246.104.231 2006  5     84.17.2xx.xxx   10315 6   4  2          80
1127.18:33:12.845 1127.18:33:12.845 1     84.17.2xx.xxx   10315 1     213.96.121.225  3019  6   0  1          40        
1127.18:04:10.845 1127.18:04:11.845 1     84.237.147.69   2617  5     84.17.2xx.xxx   10315 6   2  8          617      
1127.18:34:08.845 1127.18:34:10.845 1     195.245.244.243 4661  5     84.17.2xx.xxx   1030  6   0  3          162      
т.е. потоки перемешиваются а иногда в файл поподают потоки закончившиеся 20-25 минут назад.
Вопрос в том как учитывать такие явления при подсчете трафика и его тарификации?
Вижу два способа честный и не очень.
1. (честный) заблудшие пакеты дописывать в то место где они должны быть, но тогда возникает проблема с тарификацией. Т.е. была цифра одна а потом откуда не возьмись стала другая и попробуй объясни это абоненту что так правильно.
2. (не совсем честный) плюнуть на время начала/ окончания потоков и писать в базу пятиминутный файл не смотря что в нем данные могут быть и из других 5 минут.
Спасибо за любое мнение.

Содержание

Сообщения в этом обсуждении
"этика обработки netflow"
Отправлено gdenis , 28-Ноя-05 11:37 
>Есть flow-capture
>/usr/local/bin/flow-capture -N -2 -n 287 -S 1 -w /usr/local/netflow/vpn_tun 127.0.0.1/127.0.0.1/557
>Нормально собирает пакеты без потерянных потоков(flow).
>freebsd 5.4
>Смущает одна особенность, если делать вот так:
>flow-cat -p

<skip>

>т.е. потоки перемешиваются а иногда в файл поподают потоки закончившиеся 20-25 минут
>назад.
>Вопрос в том как учитывать такие явления при подсчете трафика и его
>тарификации?
>Вижу два способа честный и не очень.
>1. (честный) заблудшие пакеты дописывать в то место где они должны быть,
>но тогда возникает проблема с тарификацией. Т.е. была цифра одна а
>потом откуда не возьмись стала другая и попробуй объясни это абоненту
>что так правильно.
>2. (не совсем честный) плюнуть на время начала/ окончания потоков и писать
>в базу пятиминутный файл не смотря что в нем данные могут
>быть и из других 5 минут.
>Спасибо за любое мнение.

Я пошел по второму пути и вообще не привязываюсь к времени потоков - это просто служебная инфа :) И ваще необязательно знать _кому-либо_ о тонкостях работы биллинга :)


"этика обработки netflow"
Отправлено jj , 28-Ноя-05 11:59 
я тоже - даже не выбирал

"этика обработки netflow"
Отправлено pavel , 28-Ноя-05 12:11 
Поставь
ip flow-cache timeout active 6

"этика обработки netflow"
Отправлено georgebryansk , 28-Ноя-05 12:21 
>Я пошел по второму пути и вообще не привязываюсь к времени потоков
>- это просто служебная инфа :) И ваще необязательно знать _кому-либо_
>о тонкостях работы биллинга :)

Но есть же безумные клиенты, которые следят за каждым байтом.
Если бы эти отставшие потоки были бы ну 100-500кб ладно черт с ним.
Но вот например у меня на 20 минут на прошлой неделе запоздало 5,5мб.
Это уже не совсем хорошо, уже бросается в глаза.


"этика обработки netflow"
Отправлено georgebryansk , 28-Ноя-05 16:30 
проблема решена переходом на ng_ipacct

"этика обработки netflow"
Отправлено gdenis , 28-Ноя-05 16:33 
>проблема решена переходом на ng_ipacct

Бодро так :)) Я така биллинг с ipchains на NeTraMet переводил - дергался недели две :))))