URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID6
Нить номер: 1578
[ Назад ]
Исходное сообщение
"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено flatic , 25-Дек-14 16:22 
Добрый день.
Настраиваю связку для просмотра трафика выкаченного за месяц пользователями.
Сentos6.5-nfdump 1.6.13 + asa 5515-x (9.1)
Настройки asa

config)# flow-export destination internal 192.168.0.17 9995
(config)#flow-export template timeout-rate 1
(config)# logging flow-export-syslogs disable
(config)# access-list netflow-export extended permit ip host 192.168.0.18 any
(config)# class-map netflow-export-class
(config-cmap)# match access-list netflow-export
(config)# policy-map global_policy
(config-pmap)# class netflow-export-class
(config-pmap-c)# flow-export event-type all destination 192.168.0.17
(config)#flow-export enable

Запускаю nfdump, файлы вроде нормально записываются, все как в нете пишут.
Начинаю собирать трафик с нескольких файлов. В total bytes примерно правильное кол-во трафика, а вот при построение по отдельным ip вообще не то.

nfdump -M /usr/local/nfsen/profiles-data/live/asa  -T  -R 2014/12/24/nfcapd.201412241410:2014/12/24/nfcapd.201412242240 -n 10 -s srcip/flows

Показывается

nfdump filter:
any
Top 100 Src IP Addr ordered by bytes:
Date first seen          Duration Proto       Src IP Addr    Flows(%)     Packets(%)       Bytes(%)         pps      bps   bpp
2014-12-24 14:35:02.209 29369.980 any       192.168.0.15    11722(73.0)        0( 0.0)   14.0 M( 0.1)        0     3816     0
2014-12-24 15:54:11.559  4460.080 any     188.123.230.100       71( 0.4)        0( 0.0)    4.5 M( 0.0)        0     8107     0
2014-12-24 16:10:37.739 19929.150 any       192.168.128.1     2648(16.5)        0( 0.0)    1.6 M( 0.0)        0      629     0
2014-12-24 14:11:28.500 28797.729 any       192.168.0.204      187( 1.2)        0( 0.0)   556186( 0.0)        0      154     0
2014-12-24 21:42:28.389  3652.300 any       109.173.39.25       65( 0.4)        0( 0.0)   392371( 0.0)        0      859     0
2014-12-24 14:11:15.010 30715.329 any       192.168.0.223      311( 1.9)        0( 0.0)   137400( 0.0)        0       35     0
2014-12-24 14:11:39.390 30452.719 any       192.168.0.156      321( 2.0)        0( 0.0)    70800( 0.0)        0       18     0
2014-12-24 14:14:04.879 30601.030 any        192.168.0.25      183( 1.1)        0( 0.0)    55934( 0.0)        0       14     0
2014-12-24 14:08:35.730 30500.849 any       192.168.0.181       56( 0.3)        0( 0.0)    12900( 0.0)        0        3     0
2014-12-24 14:40:59.269 28949.470 any             0.0.0.0       14( 0.1)        0( 0.0)    10640( 0.0)        0        2     0

Summary: total flows: 16066, total bytes: 18047676811, total packets: 0, avg bps: 4664015, avg pps: 0, avg bpp: 0
Time window: 2014-12-24 14:08:35 - 2014-12-24 22:44:32
Total flows processed: 16066, Blocks skipped: 0, Bytes read: 2134028
Sys: 0.009s flows/second: 1607082.1  Wall: 0.009s flows/second: 1608208.2

Т.е по списку все кто есть накачали мало, но total bytes: 18047676811 т.е общая статистика верно. Но почему индивидуально такая шляпа ?

Содержание
Сообщения в этом обсуждении
"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено нетъ , 27-Дек-14 12:39 
> -s srcip/flows
> накачали мало

Шта?!

"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено flatic , 29-Дек-14 08:41 
>> -s srcip/flows
>> накачали мало
> Шта?!

-s srcip/bytes результат не изменится, в плане кол-ва скаченного с каждого Ip.
nfdump -M /usr/local/nfsen/profiles-data/live/asa  -T  -R 2014/12/24/nfcapd.201412241415:2014/12/29/nfcapd.201412290835 -n 10 -s srcip/bytes
nfdump filter:
any
Top 10 Src IP Addr ordered by bytes:
Date first seen          Duration Proto       Src IP Addr    Flows(%)     Packets(%)       Bytes(%)         pps      bps   bpp
2014-12-24 14:35:02.209 410678.901 any       192.168.0.154    82869(75.8)        0( 0.0)   79.3 M( 0.4)        0     1544     0
2014-12-24 15:54:11.559  4460.080 any     188.123.230.100       71( 0.1)        0( 0.0)    4.5 M( 0.0)        0     8107     0
2014-12-24 14:15:58.580 411651.500 any       192.168.0.223     3744( 3.4)        0( 0.0)    1.6 M( 0.0)        0       31     0
2014-12-24 16:10:37.739 19929.150 any       192.168.128.1     2648( 2.4)        0( 0.0)    1.6 M( 0.0)        0      629     0
2014-12-24 14:16:53.829 411779.171 any       192.168.0.156     3843( 3.5)        0( 0.0)   838500( 0.0)        0       16     0
2014-12-24 15:11:29.419 406921.781 any       192.168.0.204     6461( 5.9)        0( 0.0)   830966( 0.0)        0       16     0
2014-12-24 15:04:03.019 408760.121 any       192.168.0.215     2812( 2.6)        0( 0.0)   673200( 0.0)        0       13     0
2014-12-24 14:14:04.879 411843.261 any        192.168.0.25     1495( 1.4)        0( 0.0)   497839( 0.0)        0        9     0
2014-12-24 21:42:28.389  4080.430 any       109.173.39.25       72( 0.1)        0( 0.0)   467858( 0.0)        0      917     0
2014-12-24 14:39:22.849 409592.611 any       192.168.0.181      516( 0.5)        0( 0.0)   120000( 0.0)        0        2     0

Summary: total flows: 109362, total bytes: 19248857883, total packets: 0, avg bps: 373811, avg pps: 0, avg bpp: 0
Time window: 2014-12-24 14:14:04 - 2014-12-29 08:39:53
Total flows processed: 109362, Blocks skipped: 0, Bytes read: 14617484
Sys: 0.072s flows/second: 1498355.9  Wall: 0.069s flows/second: 1583441.9

"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено cant , 29-Дек-14 13:15 
> Добрый день.
> Настраиваю связку для просмотра трафика выкаченного за месяц пользователями.
> Сentos6.5-nfdump 1.6.13 + asa 5515-x (9.1)
> Настройки asa

У Вас наверно не NSEL версия nfdump.

У меня такая считает:

# nfcapd -V
nfcapd: Version: 1.6.10 $Date: 2013-04-30 16:34:53 +0200 (Tue, 30 Apr 2013) $
#
# nfdump -V
nfdump: Version: NSEL-1.6.10 $Date: 2013-04-30 16:34:53 +0200 (Tue, 30 Apr 2013) $
#
# nfdump -M /var/flows  -T  -R 2014-12-24/nfcapd.201412241410:2014-12-24/nfcapd.201412242240 -n 10 -s srcip/flows
Verify map id 0: ERROR: Expected 7 elements in map, but found 2!
Top 10 Src IP Addr ordered by flows:
Date first seen          Duration Proto       Src IP Addr    Flows(%)     Packets(%)       Bytes(%)         pps      bps   bpp
2014-12-24 14:06:25.370 31112.066 any        192.168.188.84    1.1 M(20.1)   26.0 M(22.3)    3.6 G( 4.5)      835   933919   139
2014-12-24 14:09:44.783 30899.537 any         192.168.188.1   411630( 7.9)   421220( 0.4)   29.8 M( 0.0)       13     7727    70
2014-12-24 14:08:08.249 31010.015 any       192.168.188.153   289216( 5.5)    1.9 M( 1.6)    1.4 G( 1.8)       61   369902   755
2014-12-24 14:05:12.620 31171.400 any        192.168.188.97    96217( 1.8)   564241( 0.5)   65.7 M( 0.1)       18    16853   116
2014-12-24 14:05:38.945 31157.727 any       192.168.188.155    92670( 1.8)    1.9 M( 1.6)  587.5 M( 0.7)       61   150855   305
2014-12-24 14:09:21.568 30935.636 any        192.168.188.69    68648( 1.3)   676162( 0.6)  262.4 M( 0.3)       21    67854   388
2014-12-24 14:09:44.727 30898.917 any         192.168.189.1    60141( 1.2)    63459( 0.1)    4.8 M( 0.0)        2     1255    76
2014-12-24 14:10:13.120 30855.783 any        192.168.190.67    59971( 1.1)   232104( 0.2)   77.6 M( 0.1)        7    20126   334
2014-12-24 14:08:43.249 30973.707 any       192.168.188.170    41185( 0.8)   511026( 0.4)  280.3 M( 0.3)       16    72407   548
2014-12-24 14:07:21.092 31040.076 any       192.168.188.157    31150( 0.6)   875653( 0.8)  451.4 M( 0.6)       28   116348   515

Summary: total flows: 5229210, total bytes: 81.6 G, total packets: 116.8 M, avg bps: 20.9 M, avg pps: 3742, avg bpp: 699
Time window: 2014-12-24 14:04:59 - 2014-12-24 22:44:58
Total flows processed: 5229210, Blocks skipped: 0, Bytes read: 271944548
Sys: 1.181s flows/second: 4424709.3  Wall: 1.173s flows/second: 4457793.3
#

"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено flatic , 29-Дек-14 13:25 
Cпасибо за ответ.
На http://sourceforge.net/p/nfdump/news/
nfdump-1.6.13
Fix a few issues, mainly for NSEL/NEL/NAT
- Merge NSEL/NEL/NAT elements. Fix differences
- Fix v1 extension size bug
- Add htonll check for autoconf
- Fix AddExtensionMap compare bug
- Fix ipfix templare withdraw problems - free all maps correctly
- Add minilzo 2.08 - fixes CVE-2014-4607
- Cleanup some stat code. more needs to be done ..
- Cleanup man pages for -O -n
- Remove SunPro test in configure - no longer supported anyway
- Cleanup NAT/NSEL filter differences
- Fix 64bit alignment bug.
Чисто с nsel последние 1.5.8-4NSEL.


"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено cant , 29-Дек-14 13:45 
Просто нулевые счетчики пакетов в Вашей табличке, заставили уточнить про NSEL. Когда ещё две ветки nfdump были случалась подобная ерунда из-за неподходящего.

Ещё разница у меня ASA5510 9.1(5)

Тотал 81.6 Гб.  Просуммировав ТОП10 конечно тотал не получится.
Тем более что не -s ip/bytes ,а -s srcip/flows

"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено flatic , 29-Дек-14 13:50 
Еще вариантов нет что за шляпа ?
Скажите у Вас идут настройки только на asa и коллектор ?
Нет свитчей cisco на них ничего не настраивали ?
Уже просто не знаю куда копать
"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено cant , 29-Дек-14 14:02 
> Еще вариантов нет что за шляпа ?
> Скажите у Вас идут настройки только на asa и коллектор ?
> Нет свитчей cisco на них ничего не настраивали ?
> Уже просто не знаю куда копать

Попробую обновить свой nfdump до Вашей версии.
Но скорее проблема в том, что сама asa5515-x слишком нова для nfdump. не допилили ещё под неё.

А покажите ещё раз, только с
-n 30 -s ip/bytes  может не всё так плохо и прожить как-то можно.

"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено cant , 29-Дек-14 14:12 
> Скажите у Вас идут настройки только на asa и коллектор ?
> Нет свитчей cisco на них ничего не настраивали ?
> Уже просто не знаю куда копать

Использую несколько процессов nfcapd.
Один для ASA.
Другой для обычных cisco-роутеров.
Третий для linux-софтроутеров.
  Но по жизни всё грабли только с ASA.

А свичи L2 тут мешать никак не будут.

"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено flatic , 29-Дек-14 14:18 
nfdump -M /usr/local/nfsen/profiles-data/live/asa  -R 2014/12/29/nfcapd.201412291035:2014/12/29/nfcapd.201412291250 -n 30 -s ip/bytes
Top 30 IP Addr ordered by bytes:
Date first seen          Duration Proto           IP Addr    Flows(%)     Packets(%)       Bytes(%)         pps      bps   bpp
2014-12-29 10:28:43.839  8542.450 any       192.168.0.154     1701(74.9)        0( 0.0)    2.8 M( 0.1)        0     2596     0
2014-12-29 10:52:00.289  6886.490 any       173.194.71.94       55( 2.4)        0( 0.0)   369161( 0.0)        0      428     0
2014-12-29 11:37:48.199    81.490 any       87.240.134.28        3( 0.1)        0( 0.0)   111617( 0.0)        0    10957     0
2014-12-29 10:52:04.229  6885.600 any     173.194.122.217       49( 2.2)        0( 0.0)    92361( 0.0)        0      107     0
2014-12-29 11:28:33.229   909.660 any      87.240.131.118       16( 0.7)        0( 0.0)    91412( 0.0)        0      803     0
2014-12-29 10:52:05.229  6986.840 any     173.194.122.218       33( 1.5)        0( 0.0)    80408( 0.0)        0       92     0
2014-12-29 10:52:04.379  7088.660 any     213.180.193.119       18( 0.8)        0( 0.0)    67401( 0.0)        0       76     0
2014-12-29 10:52:03.979  7142.250 any       178.250.0.100        6( 0.3)        0( 0.0)    65403( 0.0)        0       73     0
2014-12-29 11:28:34.799  2666.690 any      87.240.134.204        3( 0.1)        0( 0.0)    64640( 0.0)        0      193     0
2014-12-29 10:35:40.439  8128.140 any     255.255.255.255      134( 5.9)        0( 0.0)    63063( 0.0)        0       62     0
2014-12-29 11:28:33.979  3218.320 any      87.240.182.195       12( 0.5)        0( 0.0)    56325( 0.0)        0      140     0
2014-12-29 11:43:41.889     0.000 any     213.180.204.105        6( 0.3)        0( 0.0)    54754( 0.0)        0        0     0
2014-12-29 12:12:19.619   363.170 any      195.16.117.241       12( 0.5)        0( 0.0)    54671( 0.0)        0     1204     0
2014-12-29 12:12:19.279   363.360 any      195.16.117.240       14( 0.6)        0( 0.0)    52626( 0.0)        0     1158     0
2014-12-29 11:20:12.209  5454.040 any       212.24.44.141       48( 2.1)        0( 0.0)    41343( 0.0)        0       60     0
2014-12-29 10:52:03.729  4115.670 any      195.16.127.101       17( 0.7)        0( 0.0)    38741( 0.0)        0       75     0
2014-12-29 12:26:03.689  1345.220 any      173.194.71.139        6( 0.3)        0( 0.0)    38189( 0.0)        0      227     0
2014-12-29 11:43:13.239  3816.490 any      173.194.71.105        8( 0.4)        0( 0.0)    31229( 0.0)        0       65     0
2014-12-29 12:29:26.149     0.260 any        91.227.16.22        7( 0.3)        0( 0.0)    30188( 0.0)        0   928861     0
2014-12-29 10:37:37.249  8162.520 any        x.x.x.x      419(18.5)        0( 0.0)    30124( 0.0)        0       29     0
2014-12-29 10:37:37.249  8162.520 any        y.y.y.y      421(18.5)        0( 0.0)    30124( 0.0)        0       29     0
2014-12-29 11:00:30.089  4029.470 any       74.125.29.138        2( 0.1)        0( 0.0)    27685( 0.0)        0       54     0
2014-12-29 12:48:30.229     1.330 any     195.154.227.139        6( 0.3)        0( 0.0)    27418( 0.0)        0   164920     0
2014-12-29 12:33:19.929   822.690 any      213.189.197.94       23( 1.0)        0( 0.0)    27268( 0.0)        0      265     0
2014-12-29 11:13:21.829  5707.200 any       74.125.29.100        4( 0.2)        0( 0.0)    26197( 0.0)        0       36     0
2014-12-29 10:28:43.839  8388.220 any     173.194.122.205       17( 0.7)        0( 0.0)    25891( 0.0)        0       24     0
2014-12-29 11:35:31.699     0.000 any      199.16.156.120        1( 0.0)        0( 0.0)    24717( 0.0)        0        0     0
2014-12-29 11:04:05.979  6262.930 any      173.194.71.138       10( 0.4)        0( 0.0)    24680( 0.0)        0       31     0
2014-12-29 11:20:13.849  3616.270 any      213.180.204.90       16( 0.7)        0( 0.0)    24560( 0.0)        0       54     0
2014-12-29 12:12:19.429     0.180 any          37.29.0.57        6( 0.3)        0( 0.0)    23808( 0.0)        0    1.1 M     0

Summary: total flows: 2271, total bytes: 2718586995, total packets: 0, avg bps: 2501020, avg pps: 0, avg bpp: 0
Time window: 2014-12-29 10:28:43 - 2014-12-29 12:53:39
Total flows processed: 2271, Blocks skipped: 0, Bytes read: 337024
Sys: 0.002s flows/second: 757505.0   Wall: 0.002s flows/second: 856657.9


"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено flatic , 29-Дек-14 14:19 
Если обновитесь, отпишитесь плз о Ваших результатах.
Будет очень жестко, если Вы правы что 5515-х не допилили еще.
Ибо когда покупали железку, то одно из условий руководства было именно кол-во трафика по пользвателям.
"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено cant , 29-Дек-14 15:25 
> Если обновитесь, отпишитесь плз о Ваших результатах.
> Будет очень жестко, если Вы правы что 5515-х не допилили еще.
> Ибо когда покупали железку, то одно из условий руководства было именно кол-во
> трафика по пользвателям.

Обновился до 1.6.13, работает нормально, даже счетчики пакетов не сломались.

А гляньте, на отдельные ip байты верные в агрегации.
Т.е. вместо -n 30 -s ip/bytes
попробуйте
-A dstip "dst net 192.168.0.0/24"

И ещё вопрос, а в конфиге зачем ACL ?
access-list netflow-export extended permit ip host 192.168.0.18 any

"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено flatic , 29-Дек-14 15:33 
nfdump -M /usr/local/nfsen/profiles-data/live/asacmtu  -R 2014/12/29/nfcapd.201412291035:2014/12/29/nfcapd.201412291250  -A dstip "dst net 192.168.0.0/24"
Date first seen          Duration       Dst IP Addr   Packets    Bytes      bps    Bpp Flows
2014-12-29 10:35:49.949  7578.750      192.168.0.24         0    11650       12      0    15
Summary: total flows: 15, total bytes: 12250, total packets: 0, avg bps: 12, avg pps: 0, avg bpp: 0
Time window: 2014-12-29 10:28:43 - 2014-12-29 12:53:39
Total flows processed: 2271, Blocks skipped: 0, Bytes read: 337024
Sys: 0.001s flows/second: 1136636.6  Wall: 0.001s flows/second: 1356630.8

Тот ACL уже имеет вид permit extended ip any any

"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено cant , 29-Дек-14 16:04 
> 2014-12-29 10:35:49.949  7578.750      192.168.0.24  
>       0    11650
>       12    
>  0    15
> Summary: total flows: 15, total bytes: 12250, total packets: 0, avg bps:

Тотал примерно сходится.
На ASA наверно NAT есть, поэтому серых ip в статистике так мало. По умолчанию только по публичным ip, снаружи NAT считает.

"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено cant , 29-Дек-14 17:26 
> По умолчанию только по публичным ip, снаружи NAT считает.

Серые ip адреса перед NAT у меня так показываются, например
-n 10 -s xdstip/bytes "dst xnet 192.168.0.0/16"

т.е. там глубже надо за ними лезть в аттрибуты.

"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено flatic , 30-Дек-14 09:17 
>> По умолчанию только по публичным ip, снаружи NAT считает.
> Серые ip адреса перед NAT у меня так показываются, например
> -n 10 -s xdstip/bytes "dst xnet 192.168.0.0/16"
> т.е. там глубже надо за ними лезть в аттрибуты.

# nfdump -M /usr/local/nfsen/profiles-data/live/asa  -R 2014/12/29/nfcapd.201412291550:2014/12/29/nfcapd.201412300910 -n 100 -s xdstip/bytes "dst xnet 192.168.0.0/16"
Top 100 X-Dst IP Addr ordered by bytes:
Date first seen          Duration Proto     X-Dst IP Addr    Flows(%)     Packets(%)       Bytes(%)         pps      bps   bpp
2014-12-29 15:03:30.769 31175.959 any        192.168.0.24       44(100.0)        0( 0.0)    18499(13.5)        0        4     0

Summary: total flows: 44, total bytes: 136754, total packets: 0, avg bps: 35, avg pps: 0, avg bpp: 0
Time window: 2014-12-29 15:03:30 - 2014-12-29 23:55:52
Total flows processed: 845, Blocks skipped: 0, Bytes read: 196000
Sys: 0.001s flows/second: 422711.4   Wall: 0.001s flows/second: 572493.2
В списке  ip одной аса.

"asa 9.1 + centos 6,5 - nfdump 1.6.13"
Отправлено flatic , 30-Дек-14 09:12 
>> 2014-12-29 10:35:49.949  7578.750      192.168.0.24
>>       0    11650
>>       12
>>  0    15
>> Summary: total flows: 15, total bytes: 12250, total packets: 0, avg bps:
> Тотал примерно сходится.
> На ASA наверно NAT есть, поэтому серых ip в статистике так мало.
> По умолчанию только по публичным ip, снаружи NAT считает.

Доброго дня.
В статистике так мало адресов, потому что за асой находится несколько пк. Пока не внедрял как полноценную рабочею железку. Настраиваю - потом внедрять буду.
На asa поднят PAT.