 Большая загрузка cpu Cisco 7609 RSP720-3CXL,  Luxor, 23-Сен-10, 15:07 [смотреть все]Имеется Cisco 7609 с мозгами RSP720-3CXL-GE, и ethernet модулем на 48 гигабитных SFP WS-X6748-SFP c плиткой WS-F6700-DFC3CXL. Все это хозяйство испытвает проблемы от высокой загрузки CPU, это при том что нагрузка на нее подана детская, а именно:
1) Принимает full-view от двух провайдеров. Поток трафика в пики гигабит на входящий, 500 мегабит исходящий
2) Подняты 3 L2-транка (протокол Lacp) два с агрегационными узлами и один с интернет провайдером
3) Подключены еще 4 слабонагруженных узла.
Итого на ethernet модуле используются 11 портов из 48. С общей нагрузкой в пиках не более 6 Гигабит/с
4) Явлется транзитом для тунелированного трафика GRE в 1 Гбит/с
5) Мультикаст маршрутизатор, доля мультикаст трафика очень мала чтобы на нее грешить.
NAT-ом практически не занимается (занатил несколько сервером и пару рабочих компов для технических нужд) в пиках не более 2000 трансляций.CEF включен на всех ip интерфейсах.
Из security используются технологии ip arp inspection и ip dhcp snooping. Загрузка вечерами под 80%, что очень много для такого маленького потока трафика. У меня на порядки загруженней узлах стоит cisco 3750 и загрузка выше 40 не поднимается (правда без BGP). Cisco7609#sh ver
Cisco IOS Software, c7600rsp72043_rp Software (c7600rsp72043_rp-ADVENTERPRISEK9-M), Version 12.2(33)SRE2, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2010 by Cisco Systems, Inc.
Compiled Thu 05-Aug-10 20:01 by prod_rel_team ROM: System Bootstrap, Version 12.2(33r)SRD5, RELEASE SOFTWARE (fc1)
BOOTLDR: Cisco IOS Software, c7600rsp72043_rp Software (c7600rsp72043_rp-ADVENTERPRISEK9-M), Version 12.2(33)SRE2, RELEASE SOFTWARE (fc1) Cisco7609 uptime is 1 week, 5 days, 19 hours, 21 minutes
Uptime for this control processor is 1 week, 5 days, 19 hours, 18 minutes
System returned to ROM by power cycle (SP by power on)
System restarted at 19:31:33 MSK Fri Sep 10 2010
System image file is "bootdisk:c7600rsp72043-adventerprisek9-mz.122-33.SRE2.bin"
Last reload type: Normal Reload
This product contains cryptographic features and is subject to United
States and local country laws governing import, export, transfer and
use. Delivery of Cisco cryptographic products does not imply
third-party authority to import, export, distribute or use encryption.
Importers, exporters, distributors and users are responsible for
compliance with U.S. and local country laws. By using this product you
agree to comply with applicable laws and regulations. If you are unable
to comply with U.S. and local laws, return this product immediately.
A summary of U.S. laws governing Cisco cryptographic products may be found at:
http://www.cisco.com/wwl/export/crypto/tool/stqrg.html If you require further assistance please contact us by sending email to
export@cisco.com. Cisco CISCO7609-S (M8500) processor (revision 1.0) with 1900544K/131072K bytes of memory.
Processor board ID FOX1417GET5
BASEBOARD: RSP720
CPU: MPC8548_E, Version: 2.0, (0x80390020)
CORE: E500, Version: 2.0, (0x80210020)
CPU:1200MHz, CCB:400MHz, DDR:200MHz,
L1: D-cache 32 kB enabled
I-cache 32 kB enabled Last reset from power-on
33 Virtual Ethernet interfaces
50 Gigabit Ethernet interfaces
3964K bytes of non-volatile configuration memory. 507024K bytes of Internal ATA PCMCIA card (Sector size 512 bytes).
Configuration register is 0x2102 Cisco7609#show module
Mod Ports Card Type Model Serial No.
--- ----- -------------------------------------- ------------------ -----------
4 48 CEF720 48 port 1000mb SFP WS-X6748-SFP SAL1418GWB6
5 2 Route Switch Processor 720 (Active) RSP720-3CXL-GE JAE1324C48K Mod MAC addresses Hw Fw Sw Status
--- ---------------------------------- ------ ------------ ------------ -------
4 5475.d004.1740 to 5475.d004.176f 2.3 12.2(18r)S1 12.2(33)SRE2 Ok
5 001c.584d.1560 to 001c.584d.1563 5.9 12.2(33r)SRD 12.2(33)SRE2 Ok Mod Sub-Module Model Serial Hw Status
---- --------------------------- ------------------ ----------- ------- -------
4 Distributed Forwarding Card WS-F6700-DFC3CXL SAL1415F8M4 1.6 Ok
5 Policy Feature Card 3 7600-PFC3CXL JAE1324BX1P 1.1 Ok
5 C7600 MSFC4 Daughterboard 7600-MSFC4 JAE1324C4G1 1.4 Ok Mod Online Diag Status
---- -------------------
4 Pass
5 Pass Cisco7609#sh ip traffic
IP statistics:
Rcvd: 1871719490 total, 12808541 local destination
50 format errors, 20688 checksum errors, 392289527 bad hop count
1 unknown protocol, 4202 not a gateway
0 security failures, 0 bad options, 6485 with options
Opts: 26 end, 26 nop, 0 basic security, 0 loose source route
0 timestamp, 0 extended security, 0 record route
0 stream ID, 0 strict source route, 6459 alert, 0 cipso, 0 ump
0 other
Frags: 4165 reassembled, 460 timeouts, 2240 couldn't reassemble
20941 fragmented, 0 couldn't fragment
Bcast: 387697 received, 148 sent
Mcast: 2412965 received, 976858 sent
Sent: 401500357 generated, 584309911 forwarded
Drop: 17173 encapsulation failed, 0 unresolved, 0 no adjacency
5217 no route, 0 unicast RPF, 0 forced drop, 0 unsupported-addr
0 options denied, 0 source IP address zero ICMP statistics:
Rcvd: 10 format errors, 676 checksum errors, 1185 redirects, 480 unreachable
5276686 echo, 183 echo reply, 0 mask requests, 0 mask replies, 1 quench
0 parameter, 0 timestamp, 0 info request, 0 other
0 irdp solicitations, 0 irdp advertisements
Sent: 5766 redirects, 4075496 unreachable, 270 echo, 5276686 echo reply
0 mask requests, 0 mask replies, 0 quench, 0 timestamp
0 info reply, 387604338 time exceeded, 0 parameter problem
0 irdp solicitations, 0 irdp advertisements BGP statistics:
Rcvd: 3747473 total, 5 opens, 1 notifications, 3670173 updates
77294 keepalives, 0 route-refresh, 0 unrecognized
Sent: 77074 total, 5 opens, 2 notifications, 0 updates
77067 keepalives, 0 route-refresh EIGRP-IPv4 statistics:
Rcvd: 0 total
Sent: 0 total TCP statistics:
Rcvd: 2819912 total, 27 checksum errors, 5611 no port
Sent: 2700690 total PIMv2 statistics: Sent/Received
Total: 90187/36081, 0 checksum errors, 0 format errors
Registers: 0/0 (0 non-rp, 0 non-sm-group), Register Stops: 0/0, Hellos: 72148/36081
Join/Prunes: 18039/0, Asserts: 0/0, grafts: 0/0
Bootstraps: 0/0, Candidate_RP_Advertisements: 0/0
Queue drops: 0
State-Refresh: 0/0 IGMP statistics: Sent/Received
Total: 40798/39327, Format errors: 0/0, Checksum errors: 0/0
Host Queries: 17752/23398, Host Reports: 23044/10, Host Leaves: 0/4418
DVMRP: 2/2, PIM: 0/11499
Queue drops: 0 UDP statistics:
Rcvd: 2385517 total, 1 checksum errors, 203152 no port
Sent: 1058998 total, 166871 forwarded broadcasts OSPF statistics:
Last clearing of OSPF traffic counters never Rcvd: 2248347 total, 0 checksum errors
530039 hello, 164 database desc, 17 link state req
1234397 link state updates, 483691 link state acks Sent: 635843 total
111975 hello, 171 database desc, 9 link state req
19891 link state updates, 503802 link state acks Probe statistics:
Rcvd: 0 address requests, 0 address replies
0 proxy name requests, 0 where-is requests, 0 other
Sent: 0 address requests, 0 address replies (0 proxy)
0 proxy name replies, 0 where-is replies ARP statistics:
Rcvd: 846757 requests, 210797 replies, 0 reverse, 0 other
Sent: 631131 requests, 79489 replies (100 proxy), 0 reverse
Drop due to input queue full: 0
|
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, lumenous, 15:14 , 23-Сен-10 (1)
>[оверквотинг удален]
> 0 proxy name requests,
>0 where-is requests, 0 other
> Sent: 0 address requests, 0 address replies (0 proxy)
> 0 proxy name replies,
>0 where-is replies
>
>ARP statistics:
> Rcvd: 846757 requests, 210797 replies, 0 reverse, 0 other
> Sent: 631131 requests, 79489 replies (100 proxy), 0 reverse
> Drop due to input queue full: 0 IP statistics:
Rcvd: 1871719490 total, 12808541 local destination
50 format errors, 20688 checksum errors, 392289527 bad hop count Я бы на это обратил внимание в первую очередь.
Получается примерно каждый пятый пакет (bad hop count).
Не знаю что это за ошибка, но возможно такие пакеты отправляются на CPU, что и вызывает рост нагрузки.
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, littlevik, 10:25 , 24-Сен-10 (2)
покажите show platform hardware capacity forwarding | i 72 bits.
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, Luxor, 16:15 , 24-Сен-10 (3)
>покажите show platform hardware capacity forwarding | i 72 bits. Спасибо за отклик :)
Вот,
Cisco7609#show platform hardware capacity forwarding | i 72 bits.
4 72 bits (IPv4, MPLS, EoM) 524288 334763 64%
5 72 bits (IPv4, MPLS, EoM) 524288 334763 64% Вот еще интересная инфа
Total packets Processed - это я так понимаю пакеты подвергшиеся программной маршрутизации... почему так много не понятно. CEF включен глобально и на интерфейсах. Cisco7609#sh mls statistics Statistics for Earl in Module 4 L2 Forwarding Engine
Total packets Switched : 506104864933 L3 Forwarding Engine
Total packets Processed : 461895106147 @ 473477 pps
Total packets L3 Switched : 385529276132 @ 373724 pps Total Packets Bridged : 25407680785
Total Packets FIB Switched : 385347381385
Total Packets ACL Routed : 0
Total Packets Netflow Switched : 181894747
Total Mcast Packets Switched/Routed : 127494056
Total ip packets with TOS changed : 12453455261
Total ip packets with COS changed : 8982507966
Total non ip packets COS changed : 171
Total packets dropped by ACL : 6421546
Total packets dropped by Policing : 0
Total packets exceeding CIR : 0
Total packets exceeding PIR : 0 Errors
MAC/IP length inconsistencies : 704
Short IP packets received : 0
IP header checksum errors : 91544
No-route packet drops : 39454073
TTL failures : 786398
MTU failures : 0
Statistics for Earl in Module 5
L2 Forwarding Engine
Total packets Switched : 100416011356 L3 Forwarding Engine
Total packets Processed : 50369808893 @ 58834 pps
Total packets L3 Switched : 619718 @ 3 pps Total Packets Bridged : 49952981864
Total Packets FIB Switched : 619718
Total Packets ACL Routed : 0
Total Packets Netflow Switched : 0
Total Mcast Packets Switched/Routed : 637064
Total ip packets with TOS changed : 2
Total ip packets with COS changed : 7
Total non ip packets COS changed : 0
Total packets dropped by ACL : 30828
Total packets dropped by Policing : 0
Total packets exceeding CIR : 0
Total packets exceeding PIR : 0 Errors
MAC/IP length inconsistencies : 0
Short IP packets received : 0
IP header checksum errors : 0
No-route packet drops : 149
TTL failures : 0
MTU failures : 0 Total packets L3 Processed by all Modules: 512264915040 @ 532311 pps
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, lumenous, 16:24 , 24-Сен-10 (4)
>[оверквотинг удален]
> : 149
>
> TTL failures
>
> : 0
> MTU failures
>
> : 0
>
>Total packets L3 Processed by all Modules: 512264915040 @ 532311 pps Sh ibc еще наберите.
И еще, у вас есть дефолтовый маршрут 0.0.0.0 0.0.0.0 в null0 ?
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, Luxor, 16:39 , 24-Сен-10 (5)
>[оверквотинг удален]
>> TTL failures
>>
>> : 0
>> MTU failures
>>
>> : 0
>>
>>Total packets L3 Processed by all Modules: 512264915040 @ 532311 pps
>
>Sh ibc еще наберите. Cisco7609#show ibc
Interface information:
Interface IBC0/0(idb 0x18382714)
5 minute rx rate 39204000 bits/sec, 57809 packets/sec
5 minute tx rate 93862000 bits/sec, 116337 packets/sec
50118335407 packets input, 4253966574512 bytes
50093016190 broadcasts received
50435967819 packets output, 4276107034850 bytes
3346809764 broadcasts sent
0 Bridge Packet loopback drops
49634762488 Packets CEF Switched, 491 Packets Fast Switched
0 Packets SLB Switched, 0 Packets CWAN Switched
Label switched pkts dropped: 0 Pkts dropped during dma: 11709525
Invalid pkts dropped: 0 Pkts dropped(not cwan consumed): 290967
IPSEC pkts dropped: 1511
Xconnect pkts processed: 0, dropped: 0
Xconnect pkt reflection drops: 0
Total paks copied for process level 0
Total short paks sent in route cache 2131671943
Total throttle drops 5743138 Input queue drops 5880
total spd packets classified (474639711 low, 2562275 medium, 5418010 high)
total spd packets dropped (11704194 low, 273 medium, 5058 high)
spd prio pkts allowed in due to selective throttling (0 med, 0 high)
IBC resets = 1; last at 12:33:14.612 MSK Fri Sep 10 2010 Driver Level Counters: (Cumulative, Zeroed only at Reset)
Frames Bytes
Rx(0) 19852363 3780145874
Rx(1) 3468535463 4156886273
Tx(0) 3774881026 2610200775 Input Drop Frame Count
Rx0 = 0 Rx1 = 141259
Per Queue Receive Errors:
FRME OFLW BUFE NOENP DISCRD DISABLE BADCOUNT
Rx0 0 0 0 0 0 0 0
Rx1 0 0 0 13338 0 0 0
Tx Errors/State:
One Collision Error = 0 More Collisions = 0
No Encap Error = 0 Deferred Error = 0
Loss Carrier Error = 0 Late Collision Error = 0
Excessive Collisions = 0 Buffer Error = 0
Tx Freeze Count = 0 Tx Intrpt Serv timeout= 1
Tx Flow State = FLOW_ON
Tx Flow Off Count = 0 Tx Flow On Count = 0
Counters collected at Idb:
Is input throttled = 0 Throttle Count = 0
Rx Resource Errors = 0 Input Drops = 432234
Input Errors = 72005
Output Drops = 0 Giants/Runts = 0/0
Dma Mem Error = 0 Input Overrun = 0 Hash match table for multicast (in use 0, maximum 64 entries):
>И еще, у вас есть дефолтовый маршрут 0.0.0.0 0.0.0.0 в null0 ?
не было. установил данный маршрут, ситуация не поменялась
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, zzeka, 10:23 , 13-Май-11 (6)
> не было. установил данный маршрут, ситуация не поменялась Добрый день, испытываем аналогичные проблемы на 7604 RSP720, только у нас WS6724 с CFC. При получении full view начинает ходить через RP чем создает хорошую нагрузку на процессор + дропается часть траффика.
Хотелось бы узнать вы проблему решили или нет? Если да, то как?
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, Sybertuk, 10:53 , 13-Май-11 (7)
>> не было. установил данный маршрут, ситуация не поменялась
> Добрый день, испытываем аналогичные проблемы на 7604 RSP720, только у нас WS6724
> с CFC. При получении full view начинает ходить через RP чем
> создает хорошую нагрузку на процессор + дропается часть траффика.
> Хотелось бы узнать вы проблему решили или нет? Если да, то как? Привет
У вас проблема другого рода. У вас супервизор не XL-ный, ваши мозги аппаратно могут обработать только 256к маршрутов, а этого мало для современной таблицы full-view bgp, у меня full-view на данный момент 353456. Когда хотят на таком железе принимать full-view покупают мозги XL, например RSP720-3CXL.
Можете убедиться что при приеме full view исчерпываются аппаратные возможности платформы например так:
включить прием full-view и посмотреть sh platform hardware capacity forwarding
К слову мозги RSP720-3CXL могут обрабатывать аппаратно 1 млн маршрутов
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, zzeka, 11:13 , 13-Май-11 (8)
>>> не было. установил данный маршрут, ситуация не поменялась
>> Добрый день, испытываем аналогичные проблемы на 7604 RSP720, только у нас WS6724
>> с CFC. При получении full view начинает ходить через RP чем
>> создает хорошую нагрузку на процессор + дропается часть траффика.
>> Хотелось бы узнать вы проблему решили или нет? Если да, то как?
> Привет
> У вас проблема другого рода. У вас супервизор не XL-ный,Привет!
Да нет, у нас тоже XL :)
В MLS CEF префиксы видно, но трафик всеравно попадает в RP. Что видно во всяких netdr и на ibc. Router#sh module
Mod Ports Card Type Model
--- ----- -------------------------------------- ------------------
1 2 Route Switch Processor 720 (Active) RSP720-3CXL-GE
2 4 CEF720 4 port 10-Gigabit Ethernet WS-X6704-10GE
4 24 CEF720 24 port 1000mb SFP WS-X6724-SFP
Mod Sub-Module Model Hw Status
---- --------------------------- ------------------ ----------- ------- -------
1 Policy Feature Card 3 7600-PFC3CXL 1.0 Ok
1 C7600 MSFC4 Daughterboard 7600-MSFC4 1.5 Ok
2 Centralized Forwarding Card WS-F6700-CFC 2.0 PwrDown
4 Centralized Forwarding Card WS-F6700-CFC 2.0 Ok
Mod Online Diag Status
---- -------------------
1 Pass
2 Not Applicable
4 Pass Карта с 10G выключена по питанию.
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, Sybertuk, 11:19 , 13-Май-11 (9)
>[оверквотинг удален]
> 2 Centralized Forwarding Card WS-F6700-CFC
> 2.0 PwrDown
> 4 Centralized Forwarding Card WS-F6700-CFC
> 2.0 Ok
> Mod Online Diag Status
> ---- -------------------
> 1 Pass
> 2 Not Applicable
> 4 Pass
> Карта с 10G выключена по питанию.включите full-view bgp покажите sh platform hardware capacity forwarding.
покажите sh ver.
А когда принимаете только default-route bgp подобных проблем не испытываете ?
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, Sybertuk, 11:22 , 13-Май-11 (10)
>[оверквотинг удален]
>> 2.0 Ok
>> Mod Online Diag Status
>> ---- -------------------
>> 1 Pass
>> 2 Not Applicable
>> 4 Pass
>> Карта с 10G выключена по питанию.
> включите full-view bgp покажите sh platform hardware capacity forwarding.
> покажите sh ver.
> А когда принимаете только default-route bgp подобных проблем не испытываете ?покажите еще при включенном full-view: sh ibc, show platform hardware capacity
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, zzeka, 11:40 , 13-Май-11 (11)
>>[оверквотинг удален]
>> включите full-view bgp покажите sh platform hardware capacity forwarding.
>> покажите sh ver.
>> А когда принимаете только default-route bgp подобных проблем не испытываете ?
> покажите еще при включенном full-view: sh ibc, show platform hardware capacity Для воспроизведения проблемы заливать full-view целиком ненужно.
При принятии префиксов короче чем /13 проблем нет.
Далее при "подливании" префиксов по /20 начинаются проблемы. Лечится командой clear cef linecard до перезагрузки коробки либо начала заливки еще более длинных префиксов..
При изначальной заливке full-view с длинной до /24 проблема воспроизводится тоже. #sh ver
Cisco IOS Software, c7600rsp72043_rp Software (c7600rsp72043_rp-ADVIPSERVICES-M), Version 12.2(33)SRE3, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2011 by Cisco Systems, Inc.
Compiled Tue 25-Jan-11 14:16 by prod_rel_team ROM: System Bootstrap, Version 12.2(33r)SRD5, RELEASE SOFTWARE (fc1)
BOOTLDR: Cisco IOS Software, c7600rsp72043_rp Software (c7600rsp72043_rp-ADVIPSERVICES-M), Version 12.2(33)SRE3, RELEASE SOFTWARE (fc1) CR-TCMS uptime is 5 hours, 8 minutes
Uptime for this control processor is 5 hours, 8 minutes
System returned to ROM by reload (SP by reload)
System restarted at ----
System image file is "bootdisk:c7600rsp72043-advipservices-mz.122-33.SRE3.bin"
Last reload type: Normal Reload Cisco CISCO7604 (M8500) processor (revision 2.0) with 1900544K/131072K bytes of memory.
Processor board ID ---------
BASEBOARD: RSP720
CPU: MPC8548_E, Version: 2.1, (-----)
CORE: E500, Version: 2.2, (-----)
CPU:1200MHz, CCB:400MHz, DDR:200MHz,
L1: D-cache 32 kB enabled
I-cache 32 kB enabled Last reset from power-on
4 Virtual Ethernet interfaces
26 Gigabit Ethernet interfaces
4 Ten Gigabit Ethernet interfaces
3964K bytes of non-volatile configuration memory. 507024K bytes of Internal ATA PCMCIA card (Sector size 512 bytes).
Configuration register is 0x2102 В момент проблемы: #sh ibc brief
Interface information:
Interface IBC0/0(idb 0x181AA710)
5 minute rx rate 153499000 bits/sec, 36463 packets/sec
5 minute tx rate 315414000 bits/sec, 72949 packets/sec
624008538 packets input, 458401704059 bytes
623985454 broadcasts received
623833234 packets output, 457842981528 bytes
94107356 broadcasts sent
0 Bridge Packet loopback drops
622808027 Packets CEF Switched, 1 Packets Fast Switched
0 Packets SLB Switched, 0 Packets CWAN Switched
Label switched pkts dropped: 0 Pkts dropped during dma: 173487
Invalid pkts dropped: 0 Pkts dropped(not cwan consumed): 0
IPSEC pkts: 20873
Xconnect pkts processed: 0, dropped: 0
Xconnect pkt reflection drops: 0
Total paks copied for process level 0
Total short paks sent in route cache 63166188
Total throttle drops 160489 Input queue drops 433
total spd packets classified (835463 low, 290090 medium, 22989 high)
total spd packets dropped (161780 low, 11707 medium, 0 high)
spd prio pkts allowed in due to selective throttling (0 med, 0 high)
IBC resets = 1; После clear cef linecard (кол-во префиксов то же):
sh ibc brief
Interface information:
Interface IBC0/0(idb 0x181AA710)
5 minute rx rate 4000 bits/sec, 5 packets/sec
5 minute tx rate 7000 bits/sec, 9 packets/sec
20247418 packets input, 13949092692 bytes
20243329 broadcasts received
20242416 packets output, 13912652019 bytes
12067605 broadcasts sent
0 Bridge Packet loopback drops
20138314 Packets CEF Switched, 0 Packets Fast Switched
0 Packets SLB Switched, 0 Packets CWAN Switched
Label switched pkts dropped: 0 Pkts dropped during dma: 0
Invalid pkts dropped: 0 Pkts dropped(not cwan consumed): 0
IPSEC pkts: 25
Xconnect pkts processed: 0, dropped: 0
Xconnect pkt reflection drops: 0
Total paks copied for process level 0
Total short paks sent in route cache 2573389
Total throttle drops 0 Input queue drops 0
total spd packets classified (49833 low, 46001 medium, 4062 high)
total spd packets dropped (0 low, 0 medium, 0 high)
spd prio pkts allowed in due to selective throttling (0 med, 0 high)
IBC resets = 1; У нас как и у автора темы во все стороны etherchannel настроены по 2-4G, есть подозрение что есть связь какая-то, у него тоже через RP трафик бегает похоже. Поэтому и спросил чем у него история закончилась.
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, Sybertuk, 12:01 , 13-Май-11 (12)
>[оверквотинг удален]
> Total throttle drops 0 Input queue drops 0
> total spd packets classified (49833 low, 46001 medium, 4062 high)
> total spd packets dropped (0 low, 0 medium, 0 high)
> spd prio pkts allowed in due to selective throttling (0 med,
> 0 high)
> IBC resets = 1;
> У нас как и у автора темы во все стороны etherchannel настроены
> по 2-4G, есть подозрение что есть связь какая-то, у него тоже
> через RP трафик бегает похоже. Поэтому и спросил чем у него
> история закончилась.Автор темы я :) У меня была проблема в том 7600 бомбили с интернета большим количеством icmp сообщений, как известно icmp обрабатывается программно, из-за этого центральынй процессор был загружен на 100%, я ограничил трафик icmp и воцарился мир и согласие :) вот эти данные:
>5 minute rx rate 153499000 bits/sec, 36463 packets/sec
>5 minute tx rate 315414000 bits/sec, 72949 packets/sec наводят на мысль о том она у вас занимается фрагментацией пакетов, так как количество отправленных пакетов в два раза больше количества принятых... может это наведет вас на мысль. Еще мне пришлось мигрировать с софта SRE на SRD, из-за багов с мультикаст маршрутизацией, вообще сложилось впечатление что SRE еще сырой, как вариант поплотнее поизучайте найденные баги в SRE3, и если есть возможность перепрыгните на ветку SRD, c ней я пока на серьезные баги не натыкался
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, zzeka, 12:22 , 13-Май-11 (13)
>[оверквотинг удален]
> вот эти данные:
>>5 minute rx rate 153499000 bits/sec, 36463 packets/sec
>>5 minute tx rate 315414000 bits/sec, 72949 packets/sec
> наводят на мысль о том она у вас занимается фрагментацией пакетов, так
> как количество отправленных пакетов в два раза больше количества принятых... может
> это наведет вас на мысль. Еще мне пришлось мигрировать с софта
> SRE на SRD, из-за багов с мультикаст маршрутизацией, вообще сложилось впечатление
> что SRE еще сырой, как вариант поплотнее поизучайте найденные баги в
> SRE3, и если есть возможность перепрыгните на ветку SRD, c ней
> я пока на серьезные баги не натыкался Спасибо за ответ! :)
Мы пробовали SRD6,SRB7 и даже 15.1S2, проблема не уходит.
По поводу фрагментации тоже были мысли, но по дампу видно что идут пакеты с разным length от 64 и до 1500.
Будет дальше мучить TAC.
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, Sybertuk, 12:40 , 13-Май-11 (14)
>[оверквотинг удален]
>> это наведет вас на мысль. Еще мне пришлось мигрировать с софта
>> SRE на SRD, из-за багов с мультикаст маршрутизацией, вообще сложилось впечатление
>> что SRE еще сырой, как вариант поплотнее поизучайте найденные баги в
>> SRE3, и если есть возможность перепрыгните на ветку SRD, c ней
>> я пока на серьезные баги не натыкался
> Спасибо за ответ! :)
> Мы пробовали SRD6,SRB7 и даже 15.1S2, проблема не уходит.
> По поводу фрагментации тоже были мысли, но по дампу видно что идут
> пакеты с разным length от 64 и до 1500.
> Будет дальше мучить TAC.Покажите пожалуйста еще вот это show platform hardware pfc mode.
Вы меня зантриговали проблемой, сообщите пожалуйста когда выясните в чем дело, а то у меня сон нарушится :)
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, zzeka, 12:45 , 13-Май-11 (15)
> Покажите пожалуйста еще вот это show platform hardware pfc mode.
> Вы меня зантриговали проблемой, сообщите пожалуйста когда выясните в чем дело, а
> то у меня сон нарушится :) #sh platform hardware pfc mode
PFC operating mode : PFC3CXL Я вам письмо еще на почту написал(ту которая в профиле). - Большая загрузка cpu Cisco 7609 RSP720-3CXL, AndyO, 16:33 , 17-Дек-11 (16)
>> Покажите пожалуйста еще вот это show platform hardware pfc mode.
>> Вы меня зантриговали проблемой, сообщите пожалуйста когда выясните в чем дело, а
>> то у меня сон нарушится :)
> #sh platform hardware pfc mode
> PFC operating mode : PFC3CXL
> Я вам письмо еще на почту написал(ту которая в профиле).Скажите, Вы, случайно, в BGP к фильтрафии маршрутов не привлекаете, экстендед ACL?
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, zzeka, 05:43 , 19-Дек-11 (17)
>>> Покажите пожалуйста еще вот это show platform hardware pfc mode.
>>> Вы меня зантриговали проблемой, сообщите пожалуйста когда выясните в чем дело, а
>>> то у меня сон нарушится :)
>> #sh platform hardware pfc mode
>> PFC operating mode : PFC3CXL
>> Я вам письмо еще на почту написал(ту которая в профиле).
> Скажите, Вы, случайно, в BGP к фильтрафии маршрутов не привлекаете, экстендед ACL? Нет, только префикс листы.
По проблеме TAC предложил нам RMA. Но в итоге сами решили проблему командой
"remote command switch test mls cef tcam-shadow off".
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, thousandrich, 13:53 , 11-Янв-12 (18)
>[оверквотинг удален]
>>>> Вы меня зантриговали проблемой, сообщите пожалуйста когда выясните в чем дело, а
>>>> то у меня сон нарушится :)
>>> #sh platform hardware pfc mode
>>> PFC operating mode : PFC3CXL
>>> Я вам письмо еще на почту написал(ту которая в профиле).
>> Скажите, Вы, случайно, в BGP к фильтрафии маршрутов не привлекаете, экстендед ACL?
> Нет, только префикс листы.
> По проблеме TAC предложил нам RMA. Но в итоге сами решили проблему
> командой
> "remote command switch test mls cef tcam-shadow off".Добрый день. Проблема такая же. Железо почти такое же. Только clear cef linecard не помогает, помогает clear ip route. Уточните, пожалуйста, как вы пришли к команде "remote command switch test mls cef tcam-shadow off" и что она означает, гугл невнятное что-то предлагает. Спасибо. - Большая загрузка cpu Cisco 7609 RSP720-3CXL, zzeka, 04:10 , 13-Янв-12 (19)
>>[оверквотинг удален]
>> По проблеме TAC предложил нам RMA. Но в итоге сами решили проблему
>> командой
>> "remote command switch test mls cef tcam-shadow off".
> Добрый день.
> Проблема такая же. Железо почти такое же. Только clear cef linecard не
> помогает, помогает clear ip route. Уточните, пожалуйста, как вы пришли
> к команде "remote command switch test mls cef tcam-shadow off" и
> что она означает, гугл невнятное что-то предлагает.
> Спасибо.День добрый! Насколько я помню, нам clear ip route не помогал. А команду нашли методом дедукции и пристального изучения cli. Насколько мы поняли она отключает некую буферизацию при синхронизации между RP и SP, что приводит к несколько замедленной заливке маршрутов в SP. Команда работает только до перезагрузки коробки. PS. У нас было видно что в SP не все в порядке с маршрутами в выводе "show mls cef inconsistency now" (Команда ломает форвардинг примерно на 1-2 минуты, пердупреждений не выдает!!!)
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, DioszU, 03:27 , 22-Янв-12 (20)
Таже проблема
Когда тарфик идет чер sup все отлично
Как только пустить трафик черер linecard загрузка полнаяЛечит команда clear cef linecard
Через сутки Загрузка опять растет
Или же если пир перезапустить загрузка сразу большая Люди подскажите куда копать ????
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, fantom, 10:29 , 23-Янв-12 (21)
> Таже проблема
> Когда тарфик идет чер sup все отлично
> Как только пустить трафик черер linecard загрузка полная
> Лечит команда clear cef linecard
> Через сутки Загрузка опять растет
> Или же если пир перезапустить загрузка сразу большая
> Люди подскажите куда копать ????Может в сторону ограничений вашей linecard?
Она dcef поддерживает?
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, DioszU, 14:12 , 23-Янв-12 (22)
тут дело не в ограничениях
к примеру
сделал clear cef linecard
загрузка 5% стабильно держится
перезапускаю bgp пир загрузка 100 процентов
делаю clear cef linecard - загрузка опять 5%
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, zzeka, 09:01 , 29-Апр-13 (24)
> тут дело не в ограничениях
> к примеру
> сделал clear cef linecard
> загрузка 5% стабильно держится
> перезапускаю bgp пир загрузка 100 процентов
> делаю clear cef linecard - загрузка опять 5% Вот тут похожие сиптомы описываются:
https://supportforums.cisco.com/thread/2109068 Лечат попрежнему - либо clear cef linecard, либо отключением tcam shadow.
- Большая загрузка cpu Cisco 7609 RSP720-3CXL, sproot, 05:39 , 05-Мрт-12 (23)
У нас было тоже самое, проблему решила команда:
mls rate-limit unicast ip icmp redirect 1000
|
Версия для распечатки
