приветствую! с прошедшими и наступающими всех! а у меня проблема - сабж. выглядит это так. в какой-то момент времени резко начинает расти нагрузка проца. доходит до 100% и циска практически перестает отвечать на запросы. на циске включен ip cef. логи включены: logging history debugging
logging trap debugging. но в них никаких сообщений, кроме проскакивающих периодически вот таких:%AMDP2_FE-6-EXCESSCOLL: Ethernet1/2 TDR=1, TRC=0
однако зависания с ними по времени не связаны. периодичности тоже никакой - то две недели работает нормально, то по два раза за день виснет. в каком направлении копать? может, что-то еще показать?
sh proc cpu во время возрастания нагрузки...
ну и sh run...
>sh proc cpu во время возрастания нагрузки...
>ну и sh run...не всегда удается получить sh proc cpu. приходится просто перегружать железку, чтобы юзеры не обижались.
но больше всего жрет IP Input, насколько я помню.
А консольный доступ сделать нельзя?
Тогда посмотри, что за траффик идет. Может какой вирус чего-то сканировать пытается, вот роутер и ох$$евает немного...
>А консольный доступ сделать нельзя?можно. но нет времени. потому что юзеры тут же начинают звонить. поэтому приходится действовать просто - off, on. :)
Ну минут 15 они я думаю смогут подождать, это же не online банковские переводы ;)
>>А консольный доступ сделать нельзя?
>
>можно. но нет времени. потому что юзеры тут же начинают звонить. поэтому
>приходится действовать просто - off, on. :)Добавьте в конфиг интерфейсов, если еще нету
no ip unreachables
Может частично помочь..
>Добавьте в конфиг интерфейсов, если еще нету
>
>no ip unreachables
>
>Может частично помочь..на всех интерфейсах включена эта опция.
нашел одну проблемку. для одной машины были открыт нат на проксе. а эта машина слала кучу запросов по 135 порту. закрыл вчера это правило в нате - сутки циска держится.
Это вирус аля msblast... Поди XP у юзера стоит?
>Это вирус аля msblast... Поди XP у юзера стоит?нет, там сервак win2000
>>Это вирус аля msblast... Поди XP у юзера стоит?
>
>нет, там сервак win20002 sh_ вот видишь - это 2 больщые разницы! ;)
2 pych влкючите netflow(на всех интерфейсах ip route-cache flow) и посмотрите кто постоянно/периодически пытается вылезть по всевозможным адресам по портам 138, 139, 445. Проверьте какая ОС стоит на хостах - если XP то тогда вирус, а если win2000 тогда уж не знаю что - наверно просто балуются...
>Проверьте какая ОС стоит на хостах - если XP то тогда
>вирус, а если win2000 тогда уж не знаю что - наверно
>просто балуются...нашел еще несколько машин в сети, которые гонят запросы по 135 порту на кучу ip. почитал в инете кое-что. рекомендация прозаичная - поставить апдейты на винду. поставили на пару машин (обе win2000) - запросы исчезли. видимо, все-таки какая-то хрень на них водилась. все-таки проблема оказалась несколько шире, чем пробоема с циской. :))) я с win2000 мало общаюсь. xp у нас все обновляются из инета. а вот на win2000 как-то мало внимание обращали. посмотреть же статистику по netflow (она у меня включена) проблематично, т.к. циска торчит в инет, а за ней еще и прокся находится, так что все запросы с одного ip идут. смотрел на линухе iptraf - там и вычислил машины, спамящие по 135 порту.
ладно, винда есть винда. :) но почему циска не справлялась с этим?
Встречный вопрос - а почему модель 2610XM а не 1005 к примеру?
>Встречный вопрос - а почему модель 2610XM а не 1005 к примеру?
>до появления этого самого win2000 сервака (сейчас я вспоминаю, что первые проблемы с циской и его появление практически совпадают по времени) таких заморочек не было. неужели один сервак может завалить всего-навсего кучей запросов циску, пусть и не самую мощную?
>ладно, винда есть винда. :) но почему циска не справлялась с этим?
>Видимо, нат у циски все-таки слабое место. Скорее всего, кончалась память, которую сжирал демон ната. Видимо, надо уменьшать таймауты, это должно помогать до какой-то степени..
>>ладно, винда есть винда. :) но почему циска не справлялась с этим?
>>
>
>Видимо, нат у циски все-таки слабое место. Скорее всего, кончалась память, которую
>сжирал демон ната. Видимо, надо уменьшать таймауты, это должно помогать до
>какой-то степени..нат на проксе был прописан, а не на циске. циску же похоже заваливал IP Input, сжиравший все ресурсы ее проца.
>>>ладно, винда есть винда. :) но почему циска не справлялась с этим?
>>>
>>
>>Видимо, нат у циски все-таки слабое место. Скорее всего, кончалась память, которую
>>сжирал демон ната. Видимо, надо уменьшать таймауты, это должно помогать до
>>какой-то степени..
>
>нат на проксе был прописан, а не на циске. циску же похоже
>заваливал IP Input, сжиравший все ресурсы ее проца.Пардон, читаю невнимательно :-)
А ширина каналов какая? Полная десятка?
Посмотрите ради любопытсва sh int switching
Там есть данные об обработке пакетов. Switching path:Process - это пакеты, обработанные на процессоре, Switching path:Fast - обсичтанные CEF-ом. В нормально работающей циске Process в примерно 10 раз меньше Fast.
Первый пакет потока данных циска, независимо от CEF-а или route-cache обсчитывает на проце. Соответсвенно завалив ее кучаей пакетов в разные стороны, можно заставить ее обсичтывать весть поток процессором, что она может и не потянуть. На 2600 не мерял, но 1721 с CEF-ом тянет 10 при 20% загрузке, а без него - 2,5 мегабита с 90-процентной.
FastEthernet0/0
Throttle count 0
Drops RP 632 SP 0
SPD Flushes Fast 0 SSE 0
SPD Aggress Fast 0
SPD Priority Inputs 106 Drops 0Protocol Path Pkts In Chars In Pkts Out Chars Out
Other Process 0 0 9131 547860
Cache misses 0
Fast 0 0 0 0
Auton/SSE 0 0 0 0
IP Process 2541247 201710762 2401807 493318008
Cache misses 24
Fast 12282205 3111380846 12349232 2859731799
Auton/SSE 0 0 0 0
ARP Process 14834 890040 789 47340
Cache misses 0
Fast 0 0 0 0
Auton/SSE 0 0 0 0
Ethernet1/1
Throttle count 0
Drops RP 0 SP 0
SPD Flushes Fast 0 SSE 0
SPD Aggress Fast 0
SPD Priority Inputs 0 Drops 0Protocol Path Pkts In Chars In Pkts Out Chars Out
Other Process 0 0 9133 547980
Cache misses 0
Fast 0 0 0 0
Auton/SSE 0 0 0 0
IP Process 2983 336241 1397 129801
Cache misses 2378
Fast 1284139 760609307 1218372 600168479
Auton/SSE 0 0 0 0
ARP Process 87 5220 91 5460
Cache misses 0
Fast 0 0 0 0
Auton/SSE 0 0 0 0
Ethernet1/2
Throttle count 0
Drops RP 327 SP 0
SPD Flushes Fast 0 SSE 0
SPD Aggress Fast 0
SPD Priority Inputs 0 Drops 0Protocol Path Pkts In Chars In Pkts Out Chars Out
Other Process 0 0 9133 547980
Cache misses 0
Fast 0 0 0 0
Auton/SSE 0 0 0 0
IP Process 4429054 579062235 4589194 326420501
Cache misses 11589
Fast 11095066 2115675861 11053780 2498124154
Auton/SSE 0 0 0 0
ARP Process 84 5040 86 5160
Cache misses 0
Fast 0 0 0 0
Auton/SSE 0 0 0 0
А sh proc cpu sorted 1min покажитес sh int switching вроде нормально. Fast где-то в 12 раз больше soft -)
CPU utilization for five seconds: 24%/11%; one minute: 32%; five minutes: 33%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
31 10732230 4637086 2314 11.71% 12.92% 12.58% 0 IP Input
63 341239 1672696 204 0.57% 0.49% 0.49% 0 IP NAT Ager
68 188296 52321 3598 0.16% 0.35% 0.39% 0 SNMP ENGINE
66 66672 104011 641 0.32% 0.19% 0.17% 0 IP SNMP
3 19185 1546 12409 0.08% 0.17% 0.04% 66 Virtual Exec
71 91917 514825 178 0.16% 0.13% 0.15% 0 NAT MIB Helper
4 74121 11274 6574 0.00% 0.08% 0.06% 0 Check heaps
67 34184 52320 653 0.16% 0.08% 0.07% 0 PDU DISPATCHER
48 33335 1543 21604 0.00% 0.02% 0.00% 0 IP Cache Ager
26 40874 1561 26184 0.00% 0.02% 0.00% 0 Per-minute Jobs
22 6078 92260 65 0.00% 0.02% 0.01% 0 Per-Second Jobs
37 9033 8129 1111 0.00% 0.01% 0.00% 0 TCP Protocols
42 9956 2053 4849 0.00% 0.00% 0.00% 0 IP Background
11 8506 16535 514 0.00% 0.00% 0.00% 0 ARP Input
72 2177 92673 23 0.00% 0.00% 0.00% 0 NTP
14 4 2 2000 0.00% 0.00% 0.00% 0 Entity MIB API
15 0 1 0 0.00% 0.00% 0.00% 0 SERIAL A'detect
16 1040 92252 11 0.00% 0.00% 0.00% 0 GraphIt
17 0 2 0 0.00% 0.00% 0.00% 0 Dialer event
18 0 1 0 0.00% 0.00% 0.00% 0 Critical Bkgnd
19 1830 12307 148 0.00% 0.00% 0.00% 0 Net Background
20 36 90 400 0.00% 0.00% 0.00% 0 Logger
21 1593 92248 17 0.00% 0.00% 0.00% 0 TTY Background
12 613 22734 26 0.00% 0.00% 0.00% 0 HC Counter Timer
23 0 2 0 0.00% 0.00% 0.00% 0 SM Monitor
24 0 1 0 0.00% 0.00% 0.00% 0 Net Input
25 1168 18518 63 0.00% 0.00% 0.00% 0 Compute load avg
27 0 2 0 0.00% 0.00% 0.00% 0 AAA Server
28 0 1 0 0.00% 0.00% 0.00% 0 AAA ACCT Proc
29 0 1 0 0.00% 0.00% 0.00% 0 ACCT Periodic Pr
30 0 2 0 0.00% 0.00% 0.00% 0 AAA Dictionary R
10 53 3087 17 0.00% 0.00% 0.00% 0 Environmental mo
32 0 1 0 0.00% 0.00% 0.00% 0 ICMP event handl
33 0 1 0 0.00% 0.00% 0.00% 0 IP Flow Backgrou
34 0 3 0 0.00% 0.00% 0.00% 0 PPP Hooks
35 0 1 0 0.00% 0.00% 0.00% 0 X.25 Encaps Mana
9 0 2 0 0.00% 0.00% 0.00% 0 AAA high-capacit
38 0 1 0 0.00% 0.00% 0.00% 0 Socket Timers
39 0 310 0 0.00% 0.00% 0.00% 0 HTTP CORE
40 0 2 0 0.00% 0.00% 0.00% 0 PPP IP Route
41 0 2 0 0.00% 0.00% 0.00% 0 PPP IPCP
13 0 2 0 0.00% 0.00% 0.00% 0 DDR Timers
43 361 1550 232 0.00% 0.00% 0.00% 0 IP RIB Update
44 2181 1544 1412 0.00% 0.00% 0.00% 0 Adj Manager
45 0 1 0 0.00% 0.00% 0.00% 0 Asy FS Helper
46 0 1 0 0.00% 0.00% 0.00% 0 RARP Input
47 0 2 0 0.00% 0.00% 0.00% 0 DHCPD Receive
8 0 2 0 0.00% 0.00% 0.00% 0 Serial Backgroun
49 0 1 0 0.00% 0.00% 0.00% 0 COPS
50 0 2 0 0.00% 0.00% 0.00% 0 PPP Bind
51 0 1 0 0.00% 0.00% 0.00% 0 PAD InCall
52 4 2 2000 0.00% 0.00% 0.00% 0 X.25 Background
53 4 2 2000 0.00% 0.00% 0.00% 0 LOCAL AAA
54 0 2 0 0.00% 0.00% 0.00% 0 ENABLE AAA
55 0 2 0 0.00% 0.00% 0.00% 0 LINE AAA
56 0 2 0 0.00% 0.00% 0.00% 0 TPLUS
58 48 3706 12 0.00% 0.00% 0.00% 0 CRM_CALL_UPDATE_
59 0 2 0 0.00% 0.00% 0.00% 0 AAA SEND STOP EV
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
60 0 1 0 0.00% 0.00% 0.00% 0 Syslog Traps
61 24 1544 15 0.00% 0.00% 0.00% 0 SAA Event Proces
62 7271 141692 51 0.00% 0.00% 0.00% 0 CEF process
7 0 2 0 0.00% 0.00% 0.00% 0 Timers
64 180 3212 56 0.00% 0.00% 0.00% 0 CEF Scanner
65 0 2 0 0.00% 0.00% 0.00% 0 SNMP Timers
6 0 1 0 0.00% 0.00% 0.00% 0 AAA_SERVER_DEADT
5 148 128 1156 0.00% 0.00% 0.00% 0 Pool Manager
2 580 18517 31 0.00% 0.00% 0.00% 0 Load Meter
69 1895 21 90238 0.00% 0.00% 0.00% 0 SNMP ConfCopyPro
70 45 17 2647 0.00% 0.00% 0.00% 0 SNMP Traps
36 1068 9764 109 0.00% 0.00% 0.00% 0 TCP Timer
1 8 18 444 0.00% 0.00% 0.00% 0 Chunk Manager
73 20 772 25 0.00% 0.00% 0.00% 0 DHCPD Timer
74 353 26216 13 0.00% 0.00% 0.00% 0 DHCPD Database
Ну и теперь sh int :-) Поток через порты интересно посмотреть.
Хотя в данный момент у вас все нормально.
FastEthernet0/0 is up, line protocol is up
Hardware is AmdFE, address is 000d.edd1.c140 (bia 000d.edd1.c140)
MTU 1500 bytes, BW 100000 Kbit, DLY 100 usec,
reliability 255/255, txload 6/255, rxload 1/255
Encapsulation ARPA, loopback not set
Keepalive set (10 sec)
Full-duplex, 100Mb/s, 100BaseTX/FX
ARP type: ARPA, ARP Timeout 04:00:00
Last input 00:00:00, output 00:00:00, output hang never
Last clearing of "show interface" counters never
Input queue: 0/75/632/0 (size/max/drops/flushes); Total output drops: 0
Queueing strategy: fifo
Output queue: 0/40 (size/max)
5 minute input rate 425000 bits/sec, 347 packets/sec
5 minute output rate 2697000 bits/sec, 351 packets/sec
15838389 packets input, 3453357472 bytes
Received 15255 broadcasts, 0 runts, 0 giants, 0 throttles
0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
0 watchdog
0 input packets with dribble condition detected
15772137 packets output, 15167842 bytes, 0 underruns
0 output errors, 0 collisions, 1 interface resets
0 babbles, 0 late collision, 0 deferred
14 lost carrier, 0 no carrier
0 output buffer failures, 0 output buffers swapped out
Ethernet1/1 is up, line protocol is up
Hardware is AmdP2, address is 000d.edd1.c151 (bia 000d.edd1.c151)
MTU 1500 bytes, BW 10000 Kbit, DLY 1000 usec,
reliability 255/255, txload 1/255, rxload 2/255
Encapsulation ARPA, loopback not set
Keepalive set (10 sec)
ARP type: ARPA, ARP Timeout 04:00:00
Last input 00:02:00, output 00:00:00, output hang never
Last clearing of "show interface" counters never
Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 0
Queueing strategy: fifo
Output queue: 0/40 (size/max)
5 minute input rate 89000 bits/sec, 17 packets/sec
5 minute output rate 17000 bits/sec, 17 packets/sec
1338262 packets input, 789609970 bytes, 0 no buffer
Received 0 broadcasts, 0 runts, 0 giants, 0 throttles
0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
0 input packets with dribble condition detected
1275451 packets output, 610441800 bytes, 0 underruns
0 output errors, 45619 collisions, 1 interface resets
0 babbles, 0 late collision, 26685 deferred
0 lost carrier, 0 no carrier
0 output buffer failures, 0 output buffers swapped out
Ethernet1/2 is up, line protocol is up
Hardware is AmdP2, address is 000d.edd1.c152 (bia 000d.edd1.c152)
MTU 1500 bytes, BW 10000 Kbit, DLY 1000 usec,
reliability 255/255, txload 10/255, rxload 66/255
Encapsulation ARPA, loopback not set
Keepalive set (10 sec)
ARP type: ARPA, ARP Timeout 04:00:00
Last input 00:00:00, output 00:00:00, output hang never
Last clearing of "show interface" counters never
Input queue: 0/75/327/0 (size/max/drops/flushes); Total output drops: 51704
Queueing strategy: fifo
Output queue: 0/40 (size/max)
5 minute input rate 2597000 bits/sec, 349 packets/sec
5 minute output rate 415000 bits/sec, 350 packets/sec
16547586 packets input, 3622733092 bytes, 0 no buffer
Received 0 broadcasts, 0 runts, 0 giants, 0 throttles
620 input errors, 0 CRC, 0 frame, 0 overrun, 620 ignored
0 input packets with dribble condition detected
16665717 packets output, 2957069893 bytes, 0 underruns
167 output errors, 3360072 collisions, 1 interface resets
0 babbles, 0 late collision, 842619 deferred
0 lost carrier, 0 no carrier
0 output buffer failures, 0 output buffers swapped outда, сейчас на самом деле все в порядке. ждем, будут ли проблемы в будущем... :)
и спасибо за помощь и подсказки!!! :)