Коллеги, всем доброго!Помогите решить проблему.
Есть 2801 с каналом 512 Кбт загрузка процессора 100% постоянно! NATa НЕТ!, перезагрузки НЕ помогают. Я в ШОКЕ!
sm-ptv-c2801#sh processes cpu history
sm-ptv-c2801 09:38:00 AM Friday Feb 6 2009 EET
999999999999999999999999999999999999999999999999999999999999
999999999999999999999999998888899999999999999999999999999999
100 ************************************************************
90 ************************************************************
80 ************************************************************
70 ************************************************************
60 ************************************************************
50 ************************************************************
40 ************************************************************
30 ************************************************************
20 ************************************************************
10 ************************************************************
0....5....1....1....2....2....3....3....4....4....5....5....6
0 5 0 5 0 5 0 5 0 5 0
CPU% per second (last 60 seconds)
999999999999999999999999999999999999999999999999999999999999
999999999999999999999999999999999999999999999999999999999999
100 ############################################################
90 ############################################################
80 ############################################################
70 ############################################################
60 ############################################################
50 ############################################################
40 ############################################################
30 ############################################################
20 ############################################################
10 ############################################################
0....5....1....1....2....2....3....3....4....4....5....5....6
0 5 0 5 0 5 0 5 0 5 0
CPU% per minute (last 60 minutes)
* = maximum CPU% # = average CPU%
9999999999999
9999999999999
100 #############
90 #############
80 #############
70 #############
60 #############
50 #############
40 #############
30 #############
20 #############
10 #############
0....5....1....1....2....2....3....3....4....4....5....5....6....6....7..
0 5 0 5 0 5 0 5 0 5 0 5 0
CPU% per hour (last 72 hours)
* = maximum CPU% # = average CPU%Иос обновил, на последний доступный, на предыдущем, была такая же ерунда
sm-ptv-c2801#sh ver
Cisco IOS Software, 2801 Software (C2801-ADVIPSERVICESK9-M), Version 12.4(23), RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2008 by Cisco Systems, Inc.
Compiled Sat 08-Nov-08 22:58 by prod_rel_teamROM: System Bootstrap, Version 12.4(13r)T, RELEASE SOFTWARE (fc1)
sm-ptv-c2801 uptime is 13 hours, 55 minutes
System returned to ROM by power-on
System restarted at 19:44:00 EET Thu Feb 5 2009
System image file is "flash:c2801-advipservicesk9-mz.124-23.bin"Ни один процесс, явно не выжирает ресурсы:
sm-ptv-c2801#sh processes cpu sort 5sec | e 0.00% 0.00% 0.00%
CPU utilization for five seconds: 99%/98%; one minute: 99%; five minutes: 99%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
227 811340 1563146 519 0.24% 0.18% 0.16% 0 PPP manager
178 10188 850 11985 0.16% 0.01% 0.00% 0 Syslog Traps
2 45716 10034 4556 0.08% 0.02% 0.00% 0 Load Meter
57 893040 280533 3183 0.08% 0.13% 0.16% 0 IP Input
109 151120 480360 314 0.08% 0.04% 0.06% 0 RBSCP Background
228 932904 1563147 596 0.08% 0.10% 0.09% 0 PPP Events
5 80320 6658 12063 0.00% 0.08% 0.06% 0 Check heaps
34 147268 50303 2927 0.00% 0.01% 0.00% 0 Per-Second Jobs
63 2644 257 10287 0.00% 0.02% 0.07% 194 SSH Process
67 48136 195901 245 0.00% 0.01% 0.00% 0 SSS Feature Time
81 152864 89952 1699 0.00% 0.01% 0.00% 0 CEF process
141 96756 2465 39251 0.00% 0.00% 0.03% 0 crypto sw pk pro
189 31260 877 35644 0.00% 0.05% 0.00% 0 Per-minute Jobs
218 102876 482719 213 0.00% 0.03% 0.02% 0 FR Broadcast Outинтерфейсы:
sm-ptv-c2801#sh int summary
*: interface is up
IHQ: pkts in input hold queue IQD: pkts dropped from input queue
OHQ: pkts in output hold queue OQD: pkts dropped from output queue
RXBS: rx rate (bits/sec) RXPS: rx rate (pkts/sec)
TXBS: tx rate (bits/sec) TXPS: tx rate (pkts/sec)
TRTL: throttle countInterface IHQ IQD OHQ OQD RXBS RXPS TXBS TXPS TRTL
------------------------------------------------------------------------
* FastEthernet0/0 0 0 0 0 9000 9 26000 6 0
FastEthernet0/0.3 - - - - - - - - -
* FastEthernet0/0.7 - - - - - - - - -
* FastEthernet0/0.15 - - - - - - - - -
* FastEthernet0/1 0 1 0 0 36000 8 12000 7 0
Serial0/1/0 0 0 0 0 0 0 0 0 0
Serial0/1/0.206 - - - - - - - - -
Serial0/1/1 0 0 0 0 0 0 0 0 0
Serial0/2/0 0 0 0 0 0 0 0 0 0
Serial0/2/1 0 0 0 0 0 0 0 0 0
* Tunnel118 0 0 0 55 46000 8 5000 9 0
NOTE:No separate counters are maintained for subinterfaces
Hence Details of subinterface are not shownDDOs атаки не наблюдатся
sm-ptv-c2801#sh ip traffic
IP statistics:
Rcvd: 712695 total, 254671 local destination
0 format errors, 0 checksum errors, 15867 bad hop count
0 unknown protocol, 0 not a gateway
0 security failures, 0 bad options, 0 with options
Opts: 0 end, 0 nop, 0 basic security, 0 loose source route
0 timestamp, 0 extended security, 0 record route
0 stream ID, 0 strict source route, 0 alert, 0 cipso, 0 ump
0 other
Frags: 24921 reassembled, 1477 timeouts, 0 couldn't reassemble
1878 fragmented, 3791 fragments, 0 couldn't fragment
Bcast: 95829 received, 0 sent
Mcast: 0 received, 0 sent
Sent: 71725 generated, 532204 forwarded
Drop: 8 encapsulation failed, 0 unresolved, 0 no adjacency
341 no route, 0 unicast RPF, 0 forced drop
0 options denied
Drop: 0 packets with source IP address zero
Drop: 0 packets with internal loop back IP address
0 physical broadcastICMP statistics:
Rcvd: 0 format errors, 0 checksum errors, 0 redirects, 3046 unreachable
47789 echo, 0 echo reply, 0 mask requests, 0 mask replies, 0 quench
0 parameter, 0 timestamp, 0 info request, 0 other
0 irdp solicitations, 0 irdp advertisements
Sent: 0 redirects, 9671 unreachable, 2 echo, 47789 echo reply
0 mask requests, 0 mask replies, 0 quench, 0 timestamp
0 info reply, 612 time exceeded, 0 parameter problem
0 irdp solicitations, 0 irdp advertisementsBGP statistics:
Rcvd: 0 total, 0 opens, 0 notifications, 0 updates
0 keepalives, 0 route-refresh, 0 unrecognized
Sent: 0 total, 0 opens, 0 notifications, 0 updates
0 keepalives, 0 route-refreshTCP statistics:
Rcvd: 7143 total, 0 checksum errors, 4 no port
Sent: 8106 totalIP-EIGRP statistics:
Rcvd: 0 total
Sent: 0 totalPIMv2 statistics: Sent/Received
Total: 0/0, 0 checksum errors, 0 format errors
Registers: 0/0 (0 non-rp, 0 non-sm-group), Register Stops: 0/0, Hellos: 0/0
Join/Prunes: 0/0, Asserts: 0/0, grafts: 0/0
Bootstraps: 0/0, Candidate_RP_Advertisements: 0/0
Queue drops: 0
State-Refresh: 0/0IGMP statistics: Sent/Received
Total: 0/0, Format errors: 0/0, Checksum errors: 0/0
Host Queries: 0/0, Host Reports: 0/0, Host Leaves: 0/0
DVMRP: 0/0, PIM: 0/0
Queue drops: 0UDP statistics:
Rcvd: 96536 total, 0 checksum errors, 95808 no port
Sent: 5549 total, 0 forwarded broadcastsOSPF statistics:
Rcvd: 0 total, 0 checksum errors
0 hello, 0 database desc, 0 link state req
0 link state updates, 0 link state acksSent: 0 total
0 hello, 0 database desc, 0 link state req
0 link state updates, 0 link state acksARP statistics:
Rcvd: 6604 requests, 11 replies, 0 reverse, 0 other
Sent: 11 requests, 4554 replies (1604 proxy), 0 reverseКакие могут быть идеи? Выручайте!
>[оверквотинг удален]
> 0 link state updates,
>0 link state acks
>
>ARP statistics:
> Rcvd: 6604 requests, 11 replies, 0 reverse, 0 other
> Sent: 11 requests, 4554 replies (1604 proxy), 0 reverse
>
>
>
>Какие могут быть идеи? Выручайте!Маршрутизация есть динамическая? Какая?
>>[оверквотинг удален]
>Маршрутизация есть динамическая? Какая?Исключительно статика
>>>[оверквотинг удален]
>>Маршрутизация есть динамическая? Какая?
>
>Исключительно статикаЗамерь sh int summ при макс. загрузке. Возможно траф флудинг
>>>[оверквотинг удален]
>>Маршрутизация есть динамическая? Какая?
>
>Исключительно статикаsh cef not-cef
sh ip cef sum
sh ip cef switching statistics
>>>>[оверквотинг удален]
>>>Маршрутизация есть динамическая? Какая?
>>
>>Исключительно статика
>
>sh cef not-cefsm-ptv-c2801#sh cef not-cef-switched
CEF Packets passed on to next switching layer
Slot No_adj No_encap Unsupp'ted Redirect Receive Options Access Frag
RP 4 0 0 0 560946 0 0 0
>sh ip cef sumsm-ptv-c2801#sh ip cef sum
IP CEF with switching (Table Version 51), flags=0x0
46 routes, 0 reresolve, 0 unresolved (0 old, 0 new), peak 7
9 instant recursive resolutions, 0 used background process
46 leaves, 25 nodes, 32992 bytes, 70 inserts, 24 invalidations
0 load sharing elements, 0 bytes, 0 references
universal per-destination load sharing algorithm, id BABF628E
3(0) CEF resets, 1 revisions of existing leaves
Resolution Timer: Exponential (currently 1s, peak 2s)
1 in-place/0 aborted modifications
refcounts: 6803 leaf, 6656 nodeTable epoch: 0 (46 entries at this epoch)
Adjacency Table has 14 adjacencies
>sh ip cef switching statistics
такой команды нет... возможные варинаты на sh ip cef ?
sm-ptv-c2801#sh ip cef ?
A.B.C.D prefix of entries to show
Async Async interface
BVI Bridge-Group Virtual Interface
CDMA-Ix CDMA Ix interface
CTunnel CTunnel interface
Dialer Dialer interface
FastEthernet FastEthernet IEEE 802.3
Group-Async Async Group interface
Lex Lex interface
Loopback Loopback interface
MFR Multilink Frame Relay bundle interface
Multilink Multilink-group interface
Null Null interface
Serial Serial
Tunnel Tunnel interface
Vif PGM Multicast Host interface
Virtual-PPP Virtual PPP interface
Virtual-Template Virtual Template interface
Virtual-TokenRing Virtual TokenRing
adjacency Display all prefixes resolving through adjacency
detail Display full information
epoch Display epoch information
events Show CEF table events
exact-route Display exact route for a session
inconsistency Show table inconsistency information
non-recursive Display non-recursive routes only
summary CEF table summary
traffic Display traffic statistics
unresolved Display unresolved routes only
vrf Show VPN Routing/Forwarding instance CEF table
| Output modifiers
<cr>
Покажите:
sh int Tunnel118
>Покажите:
>sh int Tunnel118sm-ptv-c2801#sh int tu 118
Tunnel118 is up, line protocol is up
Hardware is Tunnel
Description: Tun118 sm-c3660 10.84.253.14
Internet address is 10.84.239.214/30
MTU 1514 bytes, BW 9 Kbit/sec, DLY 500000 usec,
reliability 255/255, txload 56/255, rxload 170/255
Encapsulation TUNNEL, loopback not set
Keepalive not set
Tunnel source 10.84.253.14 (FastEthernet0/1), destination 10.250.84.100
Tunnel protocol/transport GRE/IP
Key disabled, sequencing disabled
Checksumming of packets disabled
Tunnel TTL 255
Fast tunneling enabled
Tunnel transmit bandwidth 8000 (kbps)
Tunnel receive bandwidth 8000 (kbps)
Last input 00:00:00, output 00:00:00, output hang never
Last clearing of "show interface" counters never
Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 55
Queueing strategy: fifo
Output queue: 0/0 (size/max)
30 second input rate 6000 bits/sec, 5 packets/sec
30 second output rate 2000 bits/sec, 4 packets/sec
944527 packets input, 291200592 bytes, 0 no buffer
Received 0 broadcasts, 0 runts, 0 giants, 0 throttles
0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored, 0 abort
896027 packets output, 120846521 bytes, 0 underruns
0 output errors, 0 collisions, 0 interface resets
0 unknown protocol drops
0 output buffer failures, 0 output buffers swapped out
>>Покажите:
>>sh int Tunnel118
>
>sm-ptv-c2801#sh int tu 118
>Tunnel118 is up, line protocol is up
> Hardware is TunnelВроде все нормально, можно посмотреть:
sh int | i (protocol is up|broadcast)
>
>Вроде все нормально, можно посмотреть:
>
>sh int | i (protocol is up|broadcast)sm-ptv-c2801#sh int | i (protocol is up|broadcast)
FastEthernet0/0 is up, line protocol is up
Received 692235 broadcasts, 0 runts, 0 giants, 0 throttles
FastEthernet0/0.7 is up, line protocol is up
FastEthernet0/0.15 is up, line protocol is up
FastEthernet0/1 is up, line protocol is up
Received 5219 broadcasts, 0 runts, 0 giants, 0 throttles
Broadcast queue 0/64, broadcasts sent/dropped 0/0, interface broadcasts 0
Received 0 broadcasts, 0 runts, 0 giants, 0 throttles
Received 0 broadcasts, 0 runts, 0 giants, 0 throttles
Received 0 broadcasts, 0 runts, 0 giants, 0 throttles
Received 0 broadcasts, 0 runts, 0 giants, 0 throttles
Tunnel118 is up, line protocol is up
Received 0 broadcasts, 0 runts, 0 giants, 0 throttles
Вроде ничего военного, есть бродкасты, на интерфейсе, который смотрит во внутреннюю сетку, но не смертельно
Есть подозрение что у вас проблемы с фрагментацией.
КАк организован выход в инет? КАкие значения MTU на интерфейсах?
Ваша статистика говорит про проблемы с фрагментацией:
>Frags: 24921 reassembled, 1477 timeouts, 0 couldn't reassemble
> 1878 fragmented, 3791 fragments, 0 couldn't fragmentВаша кошка, собирая фрагменты, использует процессор. Отсюда такая высокая загрузка. Вполне возможно что что-то еще, но советую начать с изучения проблемы фрагментации.
>Ваша кошка, собирая фрагменты, использует процессор. Отсюда такая высокая загрузка. Вполне возможно
>что что-то еще, но советую начать с изучения проблемы фрагментации.Мысль очень здравая, попробую покрутить в этом направлении, спасибо!
>Ваша статистика говорит про проблемы с фрагментацией:
>>Frags: 24921 reassembled, 1477 timeouts, 0 couldn't reassemble
>> 1878 fragmented, 3791 fragments, 0 couldn't fragment
>
>Ваша кошка, собирая фрагменты, использует процессор. Отсюда такая высокая загрузка. Вполне возможно
>что что-то еще, но советую начать с изучения проблемы фрагментации.С другой стороны.. посмотрел:
sm-ptv-c2801#sh ver
sm-ptv-c2801#sh version
Cisco IOS Software, 2801 Software (C2801-ADVIPSERVICESK9-M), Version 12.4(23), RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2008 by Cisco Systems, Inc.
Compiled Sat 08-Nov-08 22:58 by prod_rel_teamROM: System Bootstrap, Version 12.4(13r)T, RELEASE SOFTWARE (fc1)
sm-ptv-c2801 uptime is 3 days, 13 hours, 19 minutes
sm-ptv-c2801#sh ip traffic
IP statistics:
Rcvd: 3174972 total, 876846 local destination
0 format errors, 0 checksum errors, 96952 bad hop count
0 unknown protocol, 0 not a gateway
0 security failures, 0 bad options, 0 with options
Opts: 0 end, 0 nop, 0 basic security, 0 loose source route
0 timestamp, 0 extended security, 0 record route
0 stream ID, 0 strict source route, 0 alert, 0 cipso, 0 ump
0 other
Frags: 104089 reassembled, 6343 timeouts, 0 couldn't reassemble
7378 fragmented, 14871 fragments, 0 couldn't fragmentПолучается 7 тысяч фрагментов, за 3 с половиной суток работы... Понятно, что процессор будет занят такими процессами, но так, что бы полностью? Ну не очень верится. Проверил на других подобных маршрутизаторах, там такая же песня, но средняя загрузка не превышает 3%
>Есть подозрение что у вас проблемы с фрагментацией.
>КАк организован выход в инет? КАкие значения MTU на интерфейсах?на туннельном стоят
ip mtu 1420
>[оверквотинг удален]
> 0 link state updates,
>0 link state acks
>
>ARP statistics:
> Rcvd: 6604 requests, 11 replies, 0 reverse, 0 other
> Sent: 11 requests, 4554 replies (1604 proxy), 0 reverse
>
>
>
>Какие могут быть идеи? Выручайте!вероятно как и сказали выше проблемы с фрагментацией (по нормальному ее быть не должно иначе роутер будет много работать процессором), так же возможно, что на интерфейсе Tunnel118 много трафика коммутируется процессором маршрутизатора.
Tunnel118