URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID6
Нить номер: 15530
[ Назад ]
Исходное сообщение
"2621 - большая загрузка процессора"
Отправлено avn , 14-Фев-08 19:17 
Hi All!

Имеется cisco2621XM которая периодически загружается под 100%. Из show processes cpu видно что наибольшую часть процессора сжирается работой в interrupt режиме:
gw#sh proc cpu sort
CPU utilization for five seconds: 99%/71%; one minute: 95%; five minutes: 87%
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process
  98   622152168  45873271      13562 21.89% 10.95%  7.54%   0 Encrypt Proc
  47   248015668  75271644       3294  4.26%  4.86%  5.41%   0 IP Input
  97    21859004   4988532       4381  0.94%  0.60%  0.32%   0 Crypto Support
  46     1255616   1569134        800  0.47%  0.10%  0.06%   0 CDP Protocol
   6     9463088    929850      10177  0.31%  0.35%  0.15%   0 Pool Manager
   5    12610820   1463035       8619  0.23%  0.06%  0.07%   0 Check heaps
  25     1308932  11252068        116  0.23%  0.21%  0.23%   0 Per-Second Jobs
  64    19761072  15407670       1282  0.07%  0.15%  0.23%   0 CEF process
  10     5612444   5201738       1078  0.07%  0.04%  0.05%   0 ARP Input
129     8855940 338654835         26  0.07%  0.12%  0.13%   0 PPP Events
   9        8556    377879         22  0.00%  0.00%  0.00%   0 Environmental mo
  11           0         2          0  0.00%  0.00%  0.00%   0 ATM Idle Timer
  13           0        15          0  0.00%  0.00%  0.00%   0 DDR Timers
  12           4        29        137  0.00%  0.00%  0.00%   0 AAA high-capacit
  15      238600   2739133         87  0.00%  0.00%  0.00%   0 HC Counter Timer
  14           4         4       1000  0.00%  0.00%  0.00%   0 Entity MIB API
  17           0         2          0  0.00%  0.00%  0.00%   0 SMART
  18      310016  11252292         27  0.00%  0.00%  0.00%   0 GraphIt
  16           0         2          0  0.00%  0.00%  0.00%   0 Serial Backgroun
  20           0         1          0  0.00%  0.00%  0.00%   0 SERIAL A'detect
  21           0         1          0  0.00%  0.00%  0.00%   0 Critical Bkgnd

Следует ли это рассматривать как перегруженность циски трафиком? Вроде он не такой уж большой. Заявленная производительность 2621 - 25000 pps, а у меня всего 2000 pps.

gw#sh int
FastEthernet0/0 is up, line protocol is up
  Hardware is AmdFE, address is 000e.d7dc.a900 (bia 000e.d7dc.a900)
  MTU 1500 bytes, BW 100000 Kbit, DLY 100 usec,
     reliability 255/255, txload 16/255, rxload 7/255
  Encapsulation 802.1Q Virtual LAN, Vlan ID  1., loopback not set
  Keepalive set (10 sec)
  Full-duplex, 100Mb/s, 100BaseTX/FX
  ARP type: ARPA, ARP Timeout 04:00:00
  Last input 00:00:00, output 00:00:00, output hang never
  Last clearing of "show interface" counters never
  Input queue: 0/75/167878/0 (size/max/drops/flushes); Total output drops: 0
  Queueing strategy: fifo
  Output queue: 0/40 (size/max)
  5 minute input rate 2829000 bits/sec, 1974 packets/sec
  5 minute output rate 6481000 bits/sec, 2019 packets/sec
     133724810 packets input, 486674126 bytes
     Received 10229195 broadcasts, 0 runts, 0 giants, 0 throttles
     97 input errors, 3 CRC, 2 frame, 0 overrun, 94 ignored
     0 watchdog
     0 input packets with dribble condition detected
     3713632080 packets output, 2006928723 bytes, 0 underruns
     0 output errors, 0 collisions, 2 interface resets
     0 babbles, 0 late collision, 0 deferred
     0 lost carrier, 0 no carrier
     0 output buffer failures, 0 output buffers swapped out
FastEthernet0/0.2 is up, line protocol is up
  Hardware is AmdFE, address is 000e.d7dc.a900 (bia 000e.d7dc.a900)
  Internet address is 212.119.x.x/27
  MTU 1500 bytes, BW 100000 Kbit, DLY 100 usec,
     reliability 255/255, txload 16/255, rxload 7/255
  Encapsulation 802.1Q Virtual LAN, Vlan ID  4.
  ARP type: ARPA, ARP Timeout 04:00:00
  Last clearing of "show interface" counters never
FastEthernet0/0.5 is up, line protocol is up
  Hardware is AmdFE, address is 000e.d7dc.a900 (bia 000e.d7dc.a900)
  Internet address is 172.16.16.1/24
  MTU 1500 bytes, BW 100000 Kbit, DLY 100 usec,
     reliability 255/255, txload 16/255, rxload 7/255
  Encapsulation 802.1Q Virtual LAN, Vlan ID  8.
  ARP type: ARPA, ARP Timeout 04:00:00
  Last clearing of "show interface" counters never
FastEthernet0/0.6 is up, line protocol is up
  Hardware is AmdFE, address is 000e.d7dc.a900 (bia 000e.d7dc.a900)
  Internet address is 172.18.11.102/24
  MTU 1500 bytes, BW 100000 Kbit, DLY 100 usec,
     reliability 255/255, txload 16/255, rxload 7/255
  Encapsulation 802.1Q Virtual LAN, Vlan ID  7.
  ARP type: ARPA, ARP Timeout 04:00:00
  Last clearing of "show interface" counters never
FastEthernet0/0.7 is up, line protocol is up
  Hardware is AmdFE, address is 000e.d7dc.a900 (bia 000e.d7dc.a900)
  Internet address is 172.18.18.1/24
  MTU 1500 bytes, BW 100000 Kbit, DLY 100 usec,
     reliability 255/255, txload 16/255, rxload 7/255
  Encapsulation 802.1Q Virtual LAN, Vlan ID  10.
  ARP type: ARPA, ARP Timeout 04:00:00
  Last clearing of "show interface" counters never
Ethernet1/0 is up, line protocol is up
  Hardware is AmdP2, address is 000e.d7dc.a910 (bia 000e.d7dc.a910)
  Internet address is 212.119.y.y/30
  MTU 1500 bytes, BW 512 Kbit, DLY 1000 usec,
     reliability 255/255, txload 25/255, rxload 80/255
  Encapsulation ARPA, loopback not set
  Keepalive set (10 sec)
  ARP type: ARPA, ARP Timeout 04:00:00
  Last input 00:00:03, output 00:00:00, output hang never
  Last clearing of "show interface" counters never
  Input queue: 0/75/559777/0 (size/max/drops/flushes); Total output drops: 0
  Queueing strategy: fifo
  Output queue: 0/40 (size/max)
  5 minute input rate 161000 bits/sec, 55 packets/sec
  5 minute output rate 51000 bits/sec, 49 packets/sec
     174688752 packets input, 3672305613 bytes, 303 no buffer
     Received 25 broadcasts, 0 runts, 0 giants, 0 throttles
     1400 input errors, 0 CRC, 0 frame, 0 overrun, 1400 ignored
     0 input packets with dribble condition detected
     138822096 packets output, 3119878305 bytes, 0 underruns
     32 output errors, 0 collisions, 1 interface resets
     0 babbles, 0 late collision, 0 deferred
     32 lost carrier, 0 no carrier
     0 output buffer failures, 0 output buffers swapped out
Ethernet1/1 is up, line protocol is up
  Hardware is AmdP2, address is 000e.d7dc.a911 (bia 000e.d7dc.a911)
  Internet address is 172.32.1.2/24
  MTU 1500 bytes, BW 10000 Kbit, DLY 1000 usec,
     reliability 255/255, txload 56/255, rxload 143/255
  Encapsulation ARPA, loopback not set
  Keepalive set (10 sec)
  ARP type: ARPA, ARP Timeout 04:00:00
  Last input 00:00:00, output 00:00:00, output hang never
  Last clearing of "show interface" counters never
  Input queue: 0/75/3722/0 (size/max/drops/flushes); Total output drops: 33376
  Queueing strategy: fifo
  Output queue: 0/40 (size/max)
  5 minute input rate 5647000 bits/sec, 1789 packets/sec
  5 minute output rate 2199000 bits/sec, 1753 packets/sec
     3216473136 packets input, 3312945830 bytes, 79 no buffer
     Received 11411 broadcasts, 0 runts, 0 giants, 0 throttles
     764388 input errors, 47 CRC, 40 frame, 0 overrun, 764341 ignored
     0 input packets with dribble condition detected
     3931354301 packets output, 1752206724 bytes, 0 underruns
     531 output errors, 0 collisions, 2 interface resets
     0 babbles, 0 late collision, 0 deferred
     531 lost carrier, 0 no carrier
     0 output buffer failures, 0 output buffers swapped out

Или 25000 pps это сумма всех входящих и исходящих pps на всех интерфейсах? Понятно, что заявленные pps это для идеальных условий, но все же на порядок...
Из сервисов в основном рутинг между подсетями, 7 ipsec тунелей и немножко нат. ip cef включен на всех интерфейсах. Есть еще netflow, но его отключение принципиально картину не меняет.
Что посоветуете гуру? Менять железку? Если да, то на какую?

Содержание
Сообщения в этом обсуждении
"2621 - большая загрузка процессора"
Отправлено CrAzOiD , 14-Фев-08 21:41 
>[оверквотинг удален]
>     0 output buffer failures, 0 output buffers
>swapped out
>
>Или 25000 pps это сумма всех входящих и исходящих pps на всех
>интерфейсах? Понятно, что заявленные pps это для идеальных условий, но все
>же на порядок...
>Из сервисов в основном рутинг между подсетями, 7 ipsec тунелей и немножко
>нат. ip cef включен на всех интерфейсах. Есть еще netflow, но
>его отключение принципиально картину не меняет.
>Что посоветуете гуру? Менять железку? Если да, то на какую?

шифрование грузит проц
модуль аппаратного шифрований стоит?

"2621 - большая загрузка процессора"
Отправлено avn , 15-Фев-08 16:52 
>[оверквотинг удален]
>>Или 25000 pps это сумма всех входящих и исходящих pps на всех
>>интерфейсах? Понятно, что заявленные pps это для идеальных условий, но все
>>же на порядок...
>>Из сервисов в основном рутинг между подсетями, 7 ipsec тунелей и немножко
>>нат. ip cef включен на всех интерфейсах. Есть еще netflow, но
>>его отключение принципиально картину не меняет.
>>Что посоветуете гуру? Менять железку? Если да, то на какую?
>
>шифрование грузит проц
>модуль аппаратного шифрований стоит?

Шифрование грузит проц на 20%. Остальные 80 сжираются прерываниями. Вопрос в том означает ли такое количество прерываний перегрузку трафиком?

"2621 - большая загрузка процессора"
Отправлено Cyrill Malevanov , 16-Фев-08 13:18 
>>[оверквотинг удален]
>>шифрование грузит проц
>>модуль аппаратного шифрований стоит?
>
>Шифрование грузит проц на 20%. Остальные 80 сжираются прерываниями. Вопрос в том
>означает ли такое количество прерываний перегрузку трафиком?

Как правило да. Варианты апгрейда - 2821, 2841, 2851...

"2621 - большая загрузка процессора"
Отправлено chesnok , 16-Фев-08 15:08 
Я думаю, что менять сразу и не стоит, а нужно немножко посмотреть...

5minute input rate 2829000 bits/sec, 1974 packets/sec
5 minute output rate 6481000 bits/sec, 2019 packets/sec

мне кажется это немного странным, при потоке около 2mps ~ 2000pps, обычно pps в 10 раз меньше.
вот у меня есть 2620, которая практически никак не грузиться при 5-10Mps и при 30Mps загрузка доходит 60-70%
Вероятно, что некоторые пакеты всеже обрабатываются процессом коммутации и не попадают в экспресс коммутацию, конечно сервисы, работающие на процессоре могут влиять, но в данном случае это маловероятно. Посмотрите NAT кол-во записей, попробуйте отключить все и смотреть на состояние.Еще у Вас на интерефейсе встречаются ошибки.


"2621 - большая загрузка процессора"
Отправлено avn , 18-Фев-08 17:15 
>Я думаю, что менять сразу и не стоит, а нужно немножко посмотреть...
>
>
>5minute input rate 2829000 bits/sec, 1974 packets/sec
>5 minute output rate 6481000 bits/sec, 2019 packets/sec
>
>мне кажется это немного странным, при потоке около 2mps ~ 2000pps, обычно
>pps в 10 раз меньше.
>вот у меня есть 2620, которая практически никак не грузиться при 5-10Mps
>и при 30Mps загрузка доходит 60-70%

Это сумма всех pps на всех интерфейсах или максимальное значение из всех?

>Вероятно, что некоторые пакеты всеже обрабатываются процессом коммутации и не попадают в
>экспресс коммутацию,

Вот что показывает show interface switching:
gw#sh interfaces switching
FastEthernet0/0
          Throttle count          0
                   Drops         RP     183821         SP          0
             SPD Flushes       Fast          0        SSE          0
             SPD Aggress       Fast          0
            SPD Priority     Inputs    9153281      Drops       1217

    Protocol  IP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process   75972030 1780428741   80792937 1525005302
            Cache misses        558          -          -          -
                    Fast  159407537 1960437478 3720731032  103332310
               Auton/SSE          0          0          0          0

    Protocol  DEC MOP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          0          0      19450    1497650
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  ARP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process    5081466  307274450    5961832  377192100
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  CDP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          0          0     184569   74969389
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  Other
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process       1170      83932    1167090   70025400
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    NOTE: all counts are cumulative and reset only after a reload.
Ethernet1/0
          Throttle count          0
                   Drops         RP     584189         SP          0
             SPD Flushes       Fast          0        SSE          0
             SPD Aggress       Fast          0
            SPD Priority     Inputs     124473      Drops          0

    Protocol  IP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process   57551924  962497478   18713361 2035389007
            Cache misses          0          -          -          -
                    Fast  141081711 3230016805  123383317 1639581327
               Auton/SSE          0          0          0          0

    Protocol  DEC MOP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          0          0      19450    1497650
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  ARP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process        842      50520        832      49920
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  Other
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process       1190     159854    1167090   70025400
            Cache misses          0          -          -          -
                    Fast          9        590          0          0
               Auton/SSE          0          0          0          0

    NOTE: all counts are cumulative and reset only after a reload.
Ethernet1/1
          Throttle count          0
                   Drops         RP       3763         SP          0
             SPD Flushes       Fast          0        SSE          0
             SPD Aggress       Fast          0
            SPD Priority     Inputs      12275      Drops          0

    Protocol  IP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process   54480014 3027892625   50368356 1759095013
            Cache misses          0          -          -          -
                    Fast 3223733799 4181195878 3952763641 3789304566
               Auton/SSE          0          0          0          0

    Protocol  DEC MOP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          0          0      19450    1497650
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  ARP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process      12275     736500       1894     113640
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  CDP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process         28      10774     194690   76989752
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  Other
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          0          0    1167090   70025400
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    NOTE: all counts are cumulative and reset only after a reload.

>конечно сервисы, работающие на процессоре могут влиять, но в
>данном случае это маловероятно. Посмотрите NAT кол-во записей, попробуйте отключить все
>и смотреть на состояние.

NAT надолго отключать нельзя. Кратковременное отключение принципиально картину не меняет. Статистика ната показывает следующее:
gw#sh ip nat stat
Total active translations: 33 (0 static, 33 dynamic; 33 extended)
Outside interfaces:
  Ethernet1/0, Ethernet1/1
Inside interfaces:
  FastEthernet0/0.5, FastEthernet0/0.6, FastEthernet0/0.7
Hits: 130905600  Misses: 888526

>Еще у Вас на интерефейсе встречаются ошибки.

Вроде их не так уж и много по сравнению с общим количеством пакетов? Или это все-таки сильно влияет на загрузку?