Имеется Cisco 7609 с мозгами RSP720-3CXL-GE, и ethernet модулем на 48 гигабитных SFP WS-X6748-SFP c плиткой WS-F6700-DFC3CXL. Все это хозяйство испытвает проблемы от высокой загрузки CPU, это при том что нагрузка на нее подана детская, а именно:
1) Принимает full-view от двух провайдеров. Поток трафика в пики гигабит на входящий, 500 мегабит исходящий
2) Подняты 3 L2-транка (протокол Lacp) два с агрегационными узлами и один с интернет провайдером
3) Подключены еще 4 слабонагруженных узла.
Итого на ethernet модуле используются 11 портов из 48. С общей нагрузкой в пиках не более 6 Гигабит/с
4) Явлется транзитом для тунелированного трафика GRE в 1 Гбит/с
5) Мультикаст маршрутизатор, доля мультикаст трафика очень мала чтобы на нее грешить.
NAT-ом практически не занимается (занатил несколько сервером и пару рабочих компов для технических нужд) в пиках не более 2000 трансляций.

CEF включен на всех ip интерфейсах.
Из security используются технологии ip arp inspection и ip dhcp snooping.

Загрузка вечерами под 80%, что очень много для такого маленького потока трафика. У меня на порядки загруженней узлах стоит cisco 3750 и загрузка выше 40 не поднимается (правда без BGP).

Cisco7609#sh ver
Cisco IOS Software, c7600rsp72043_rp Software (c7600rsp72043_rp-ADVENTERPRISEK9-M), Version 12.2(33)SRE2, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2010 by Cisco Systems, Inc.
Compiled Thu 05-Aug-10 20:01 by prod_rel_team

ROM: System Bootstrap, Version 12.2(33r)SRD5, RELEASE SOFTWARE (fc1)
BOOTLDR: Cisco IOS Software, c7600rsp72043_rp Software (c7600rsp72043_rp-ADVENTERPRISEK9-M), Version 12.2(33)SRE2, RELEASE SOFTWARE (fc1)

Cisco7609 uptime is 1 week, 5 days, 19 hours, 21 minutes
Uptime for this control processor is 1 week, 5 days, 19 hours, 18 minutes
System returned to ROM by  power cycle (SP by power on)
System restarted at 19:31:33 MSK Fri Sep 10 2010
System image file is "bootdisk:c7600rsp72043-adventerprisek9-mz.122-33.SRE2.bin"
Last reload type: Normal Reload

This product contains cryptographic features and is subject to United
States and local country laws governing import, export, transfer and
use. Delivery of Cisco cryptographic products does not imply
third-party authority to import, export, distribute or use encryption.
Importers, exporters, distributors and users are responsible for
compliance with U.S. and local country laws. By using this product you
agree to comply with applicable laws and regulations. If you are unable
to comply with U.S. and local laws, return this product immediately.

A summary of U.S. laws governing Cisco cryptographic products may be found at:
http://www.cisco.com/wwl/export/crypto/tool/stqrg.html

If you require further assistance please contact us by sending email to
export@cisco.com.

Cisco CISCO7609-S (M8500) processor (revision 1.0) with 1900544K/131072K bytes of memory.
Processor board ID FOX1417GET5
BASEBOARD: RSP720
CPU: MPC8548_E, Version: 2.0, (0x80390020)
CORE: E500, Version: 2.0, (0x80210020)
CPU:1200MHz, CCB:400MHz, DDR:200MHz,
L1:    D-cache 32 kB enabled
        I-cache 32 kB enabled

Last reset from power-on
33 Virtual Ethernet interfaces
50 Gigabit Ethernet interfaces
3964K bytes of non-volatile configuration memory.

507024K bytes of Internal ATA PCMCIA card (Sector size 512 bytes).
Configuration register is 0x2102

Cisco7609#show module
Mod Ports Card Type                              Model              Serial No.
--- ----- -------------------------------------- ------------------ -----------
  4   48  CEF720 48 port 1000mb SFP              WS-X6748-SFP       SAL1418GWB6
  5    2  Route Switch Processor 720 (Active)    RSP720-3CXL-GE     JAE1324C48K

Mod MAC addresses                       Hw    Fw           Sw           Status
--- ---------------------------------- ------ ------------ ------------ -------
  4  5475.d004.1740 to 5475.d004.176f   2.3   12.2(18r)S1  12.2(33)SRE2 Ok
  5  001c.584d.1560 to 001c.584d.1563   5.9   12.2(33r)SRD 12.2(33)SRE2 Ok

Mod  Sub-Module                  Model              Serial       Hw     Status
---- --------------------------- ------------------ ----------- ------- -------
  4  Distributed Forwarding Card WS-F6700-DFC3CXL   SAL1415F8M4  1.6    Ok
  5  Policy Feature Card 3       7600-PFC3CXL       JAE1324BX1P  1.1    Ok
  5  C7600 MSFC4 Daughterboard   7600-MSFC4         JAE1324C4G1  1.4    Ok

Mod  Online Diag Status
---- -------------------
  4  Pass
  5  Pass

Cisco7609#sh ip traffic
IP statistics:
  Rcvd:  1871719490 total, 12808541 local destination
         50 format errors, 20688 checksum errors, 392289527 bad hop count
         1 unknown protocol, 4202 not a gateway
         0 security failures, 0 bad options, 6485 with options
  Opts:  26 end, 26 nop, 0 basic security, 0 loose source route
         0 timestamp, 0 extended security, 0 record route
         0 stream ID, 0 strict source route, 6459 alert, 0 cipso, 0 ump
         0 other
  Frags: 4165 reassembled, 460 timeouts, 2240 couldn't reassemble
         20941 fragmented, 0 couldn't fragment
  Bcast: 387697 received, 148 sent
  Mcast: 2412965 received, 976858 sent
  Sent:  401500357 generated, 584309911 forwarded
  Drop:  17173 encapsulation failed, 0 unresolved, 0 no adjacency
         5217 no route, 0 unicast RPF, 0 forced drop, 0 unsupported-addr
         0 options denied, 0 source IP address zero

ICMP statistics:
  Rcvd: 10 format errors, 676 checksum errors, 1185 redirects, 480 unreachable
        5276686 echo, 183 echo reply, 0 mask requests, 0 mask replies, 1 quench
        0 parameter, 0 timestamp, 0 info request, 0 other
        0 irdp solicitations, 0 irdp advertisements
  Sent: 5766 redirects, 4075496 unreachable, 270 echo, 5276686 echo reply
        0 mask requests, 0 mask replies, 0 quench, 0 timestamp
        0 info reply, 387604338 time exceeded, 0 parameter problem
        0 irdp solicitations, 0 irdp advertisements

BGP statistics:
  Rcvd: 3747473 total, 5 opens, 1 notifications, 3670173 updates
        77294 keepalives, 0 route-refresh, 0 unrecognized
  Sent: 77074 total, 5 opens, 2 notifications, 0 updates
        77067 keepalives, 0 route-refresh

EIGRP-IPv4 statistics:
  Rcvd: 0 total
  Sent: 0 total

TCP statistics:
  Rcvd: 2819912 total, 27 checksum errors, 5611 no port
  Sent: 2700690 total

PIMv2 statistics: Sent/Received
  Total: 90187/36081, 0 checksum errors, 0 format errors
  Registers: 0/0 (0 non-rp, 0 non-sm-group), Register Stops: 0/0,  Hellos: 72148/36081
  Join/Prunes: 18039/0, Asserts: 0/0, grafts: 0/0
  Bootstraps: 0/0, Candidate_RP_Advertisements: 0/0
  Queue drops: 0
  State-Refresh: 0/0

IGMP statistics: Sent/Received
  Total: 40798/39327, Format errors: 0/0, Checksum errors: 0/0
  Host Queries: 17752/23398, Host Reports: 23044/10, Host Leaves: 0/4418
  DVMRP: 2/2, PIM: 0/11499
  Queue drops: 0

UDP statistics:
  Rcvd: 2385517 total, 1 checksum errors, 203152 no port
  Sent: 1058998 total, 166871 forwarded broadcasts

OSPF statistics:
  Last clearing of OSPF traffic counters never

  Rcvd: 2248347 total, 0 checksum errors
        530039 hello, 164 database desc, 17 link state req
        1234397 link state updates, 483691 link state acks

  Sent: 635843 total
        111975 hello, 171 database desc, 9 link state req
        19891 link state updates, 503802 link state acks

Probe statistics:
  Rcvd: 0 address requests, 0 address replies
        0 proxy name requests, 0 where-is requests, 0 other
  Sent: 0 address requests, 0 address replies (0 proxy)
        0 proxy name replies, 0 where-is replies

ARP statistics:
  Rcvd: 846757 requests, 210797 replies, 0 reverse, 0 other
  Sent: 631131 requests, 79489 replies (100 proxy), 0 reverse
  Drop due to input queue full: 0

• Большая загрузка cpu Cisco 7609 RSP720-3CXL,lumenous, 15:14 , 23-Сен-10
• Большая загрузка cpu Cisco 7609 RSP720-3CXL,littlevik, 10:25 , 24-Сен-10
  • Большая загрузка cpu Cisco 7609 RSP720-3CXL,Luxor, 16:15 , 24-Сен-10
    • Большая загрузка cpu Cisco 7609 RSP720-3CXL,lumenous, 16:24 , 24-Сен-10
      • Большая загрузка cpu Cisco 7609 RSP720-3CXL,Luxor, 16:39 , 24-Сен-10
        • Большая загрузка cpu Cisco 7609 RSP720-3CXL,zzeka, 10:23 , 13-Май-11
          • Большая загрузка cpu Cisco 7609 RSP720-3CXL,Sybertuk, 10:53 , 13-Май-11
            • Большая загрузка cpu Cisco 7609 RSP720-3CXL,zzeka, 11:13 , 13-Май-11
              • Большая загрузка cpu Cisco 7609 RSP720-3CXL,Sybertuk, 11:19 , 13-Май-11
                • Большая загрузка cpu Cisco 7609 RSP720-3CXL,Sybertuk, 11:22 , 13-Май-11
                  • Большая загрузка cpu Cisco 7609 RSP720-3CXL,zzeka, 11:40 , 13-Май-11
                    • Большая загрузка cpu Cisco 7609 RSP720-3CXL,Sybertuk, 12:01 , 13-Май-11
                      • Большая загрузка cpu Cisco 7609 RSP720-3CXL,zzeka, 12:22 , 13-Май-11
                        • Большая загрузка cpu Cisco 7609 RSP720-3CXL,Sybertuk, 12:40 , 13-Май-11
                          • Большая загрузка cpu Cisco 7609 RSP720-3CXL,zzeka, 12:45 , 13-Май-11
                            • Большая загрузка cpu Cisco 7609 RSP720-3CXL,AndyO, 16:33 , 17-Дек-11
                              • Большая загрузка cpu Cisco 7609 RSP720-3CXL,zzeka, 05:43 , 19-Дек-11
                                • Большая загрузка cpu Cisco 7609 RSP720-3CXL,thousandrich, 13:53 , 11-Янв-12
                                  • Большая загрузка cpu Cisco 7609 RSP720-3CXL,zzeka, 04:10 , 13-Янв-12
                                    • Большая загрузка cpu Cisco 7609 RSP720-3CXL,DioszU, 03:27 , 22-Янв-12
                                      • Большая загрузка cpu Cisco 7609 RSP720-3CXL,fantom, 10:29 , 23-Янв-12
                                        • Большая загрузка cpu Cisco 7609 RSP720-3CXL,DioszU, 14:12 , 23-Янв-12
                                          • Большая загрузка cpu Cisco 7609 RSP720-3CXL,zzeka, 09:01 , 29-Апр-13
• Большая загрузка cpu Cisco 7609 RSP720-3CXL,sproot, 05:39 , 05-Мрт-12

>[оверквотинг удален]
>        0 proxy name requests,
>0 where-is requests, 0 other
>  Sent: 0 address requests, 0 address replies (0 proxy)
>        0 proxy name replies,
>0 where-is replies
>
>ARP statistics:
>  Rcvd: 846757 requests, 210797 replies, 0 reverse, 0 other
>  Sent: 631131 requests, 79489 replies (100 proxy), 0 reverse
>  Drop due to input queue full: 0

IP statistics:
  Rcvd:  1871719490 total, 12808541 local destination
         50 format errors, 20688 checksum errors, 392289527 bad hop count

Я бы на это обратил внимание в первую очередь.
Получается примерно каждый пятый пакет (bad hop count).
Не знаю что это за ошибка, но возможно такие пакеты отправляются на CPU, что и вызывает рост нагрузки.

покажите show platform hardware capacity forwarding | i 72 bits.

>покажите show platform hardware capacity forwarding | i 72 bits.

Спасибо за отклик :)
Вот,
Cisco7609#show platform hardware capacity forwarding | i 72 bits.
   4                     72 bits (IPv4, MPLS, EoM)      524288      334763     64%
   5                     72 bits (IPv4, MPLS, EoM)      524288      334763     64%

Вот еще интересная инфа
Total packets Processed  - это я так понимаю пакеты подвергшиеся программной маршрутизации... почему так много не понятно. CEF включен глобально и на интерфейсах.

Cisco7609#sh mls statistics

Statistics for Earl in Module 4

L2 Forwarding Engine
  Total packets Switched                : 506104864933

L3 Forwarding Engine
  Total packets Processed               : 461895106147 @ 473477 pps
  Total packets L3 Switched             : 385529276132 @ 373724 pps

  Total Packets Bridged                 : 25407680785
  Total Packets FIB Switched            : 385347381385
  Total Packets ACL Routed              : 0
  Total Packets Netflow Switched        : 181894747
  Total Mcast Packets Switched/Routed   : 127494056
  Total ip packets with TOS changed     : 12453455261
  Total ip packets with COS changed     : 8982507966
  Total non ip packets COS changed      : 171
  Total packets dropped by ACL          : 6421546
  Total packets dropped by Policing     : 0
  Total packets exceeding CIR           : 0
  Total packets exceeding PIR           : 0

Errors
  MAC/IP length inconsistencies         : 704
  Short IP packets received             : 0
  IP header checksum errors             : 91544
  No-route packet drops                 : 39454073
  TTL failures                          : 786398
  MTU failures                          : 0

Statistics for Earl in Module 5

L2 Forwarding Engine
  Total packets Switched                : 100416011356

L3 Forwarding Engine
  Total packets Processed               : 50369808893 @ 58834 pps
  Total packets L3 Switched             : 619718 @ 3 pps

  Total Packets Bridged                 : 49952981864
  Total Packets FIB Switched            : 619718
  Total Packets ACL Routed              : 0
  Total Packets Netflow Switched        : 0
  Total Mcast Packets Switched/Routed   : 637064
  Total ip packets with TOS changed     : 2
  Total ip packets with COS changed     : 7
  Total non ip packets COS changed      : 0
  Total packets dropped by ACL          : 30828
  Total packets dropped by Policing     : 0
  Total packets exceeding CIR           : 0
  Total packets exceeding PIR           : 0

Errors
  MAC/IP length inconsistencies         : 0
  Short IP packets received             : 0
  IP header checksum errors             : 0
  No-route packet drops                 : 149
  TTL failures                          : 0
  MTU failures                          : 0

Total packets L3 Processed by all Modules: 512264915040 @ 532311 pps

>[оверквотинг удален]
>         : 149
>
>  TTL failures        
>          
>      : 0
>  MTU failures        
>          
>      : 0
>
>Total packets L3 Processed by all Modules: 512264915040 @ 532311 pps

Sh ibc еще наберите.
И еще, у вас есть дефолтовый маршрут 0.0.0.0 0.0.0.0 в null0 ?

>[оверквотинг удален]
>>  TTL failures        
>>          
>>      : 0
>>  MTU failures        
>>          
>>      : 0
>>
>>Total packets L3 Processed by all Modules: 512264915040 @ 532311 pps
>
>Sh ibc еще наберите.

Cisco7609#show ibc
Interface information:
        Interface IBC0/0(idb 0x18382714)
        5 minute rx rate 39204000 bits/sec, 57809 packets/sec
        5 minute tx rate 93862000 bits/sec, 116337 packets/sec
        50118335407 packets input, 4253966574512 bytes
        50093016190 broadcasts received
        50435967819 packets output, 4276107034850 bytes
        3346809764 broadcasts sent
        0 Bridge Packet loopback drops
        49634762488 Packets CEF Switched, 491 Packets Fast Switched
        0 Packets SLB Switched, 0 Packets CWAN Switched
        Label switched pkts dropped: 0    Pkts dropped during dma: 11709525
        Invalid pkts dropped: 0    Pkts dropped(not cwan consumed): 290967
        IPSEC pkts dropped: 1511
        Xconnect pkts processed: 0, dropped: 0
        Xconnect pkt reflection drops: 0
        Total paks copied for process level 0
        Total short paks sent in route cache 2131671943
        Total throttle drops 5743138    Input queue drops 5880
        total spd packets classified (474639711 low, 2562275 medium, 5418010 high)
        total spd packets dropped (11704194 low, 273 medium, 5058 high)
        spd prio pkts allowed in due to selective throttling (0 med, 0 high)
        IBC resets   = 1; last at 12:33:14.612 MSK Fri Sep 10 2010

Driver Level Counters: (Cumulative, Zeroed only at Reset)
          Frames          Bytes
  Rx(0)   19852363        3780145874
  Rx(1)   3468535463      4156886273
  Tx(0)   3774881026      2610200775

Input Drop Frame Count
     Rx0 = 0                Rx1 = 141259
Per Queue Receive Errors:
     FRME   OFLW   BUFE   NOENP  DISCRD DISABLE BADCOUNT
Rx0 0      0      0      0      0        0    0
Rx1 0      0      0      13338  0        0    0

  Tx Errors/State:
   One Collision Error   = 0            More Collisions       = 0
   No Encap Error        = 0            Deferred Error        = 0
   Loss Carrier Error    = 0            Late Collision Error  = 0
   Excessive Collisions  = 0            Buffer Error          = 0
   Tx Freeze Count       = 0            Tx Intrpt Serv timeout= 1
   Tx Flow State         = FLOW_ON
   Tx Flow Off Count     = 0            Tx Flow On Count      = 0

  Counters collected at Idb:
   Is input throttled    = 0            Throttle Count        = 0
   Rx Resource Errors    = 0            Input Drops           = 432234
   Input Errors           = 72005
   Output Drops          = 0            Giants/Runts          = 0/0
   Dma Mem Error         = 0            Input Overrun         = 0

Hash match table for multicast (in use 0, maximum 64 entries):

>И еще, у вас есть дефолтовый маршрут 0.0.0.0 0.0.0.0 в null0 ?

не было. установил данный маршрут, ситуация не поменялась

> не было. установил данный маршрут, ситуация не поменялась

Добрый день, испытываем аналогичные проблемы на 7604 RSP720, только у нас WS6724 с CFC. При получении full view начинает ходить через RP чем создает хорошую нагрузку на процессор + дропается часть траффика.
Хотелось бы узнать вы проблему решили или нет? Если да, то как?

>> не было. установил данный маршрут, ситуация не поменялась
> Добрый день, испытываем аналогичные проблемы на 7604 RSP720, только у нас WS6724
> с CFC. При получении full view начинает ходить через RP чем
> создает хорошую нагрузку на процессор + дропается часть траффика.
> Хотелось бы узнать вы проблему решили или нет? Если да, то как?

Привет
У вас проблема другого рода. У вас супервизор не XL-ный, ваши мозги аппаратно могут обработать только 256к маршрутов, а этого мало для современной таблицы full-view bgp, у меня full-view на данный момент 353456. Когда хотят на таком железе принимать full-view покупают мозги XL, например RSP720-3CXL.
Можете убедиться что при приеме full view исчерпываются аппаратные возможности платформы например так:
включить прием full-view и посмотреть sh platform hardware capacity forwarding
К слову мозги RSP720-3CXL могут обрабатывать аппаратно 1 млн маршрутов

>>> не было. установил данный маршрут, ситуация не поменялась
>> Добрый день, испытываем аналогичные проблемы на 7604 RSP720, только у нас WS6724
>> с CFC. При получении full view начинает ходить через RP чем
>> создает хорошую нагрузку на процессор + дропается часть траффика.
>> Хотелось бы узнать вы проблему решили или нет? Если да, то как?
> Привет
> У вас проблема другого рода. У вас супервизор не XL-ный,

Привет!
Да нет, у нас тоже XL :)
В MLS CEF префиксы видно, но трафик всеравно попадает в RP. Что видно во всяких netdr и на  ibc.

Router#sh module
Mod Ports Card Type                              Model            
--- ----- -------------------------------------- ------------------
  1    2  Route Switch Processor 720 (Active)    RSP720-3CXL-GE    
  2    4  CEF720 4 port 10-Gigabit Ethernet      WS-X6704-10GE      
  4   24  CEF720 24 port 1000mb SFP              WS-X6724-SFP      

Mod  Sub-Module                  Model               Hw     Status
---- --------------------------- ------------------ ----------- ------- -------
  1  Policy Feature Card 3       7600-PFC3CXL         1.0    Ok
  1  C7600 MSFC4 Daughterboard   7600-MSFC4           1.5    Ok
  2  Centralized Forwarding Card WS-F6700-CFC         2.0    PwrDown
  4  Centralized Forwarding Card WS-F6700-CFC         2.0    Ok

Mod  Online Diag Status
---- -------------------
  1  Pass
  2  Not Applicable
  4  Pass

Карта с 10G выключена по питанию.

>[оверквотинг удален]
>   2  Centralized Forwarding Card WS-F6700-CFC    
>     2.0    PwrDown
>   4  Centralized Forwarding Card WS-F6700-CFC    
>     2.0    Ok
> Mod  Online Diag Status
> ---- -------------------
>   1  Pass
>   2  Not Applicable
>   4  Pass
> Карта с 10G выключена по питанию.

включите full-view bgp покажите sh platform hardware capacity forwarding.
покажите sh ver.
А когда принимаете только default-route bgp подобных проблем не испытываете ?

>[оверквотинг удален]
>>     2.0    Ok
>> Mod  Online Diag Status
>> ---- -------------------
>>   1  Pass
>>   2  Not Applicable
>>   4  Pass
>> Карта с 10G выключена по питанию.
> включите full-view bgp покажите sh platform hardware capacity forwarding.
> покажите sh ver.
> А когда принимаете только default-route bgp подобных проблем не испытываете ?

покажите еще при включенном full-view: sh ibc, show platform hardware capacity

>>[оверквотинг удален]
>> включите full-view bgp покажите sh platform hardware capacity forwarding.
>> покажите sh ver.
>> А когда принимаете только default-route bgp подобных проблем не испытываете ?
> покажите еще при включенном full-view: sh ibc, show platform hardware capacity

Для воспроизведения проблемы заливать full-view целиком ненужно.
При принятии префиксов короче чем /13 проблем нет.
Далее при "подливании" префиксов по /20 начинаются проблемы. Лечится командой clear cef linecard до перезагрузки коробки либо начала заливки еще более длинных префиксов..
При изначальной заливке full-view с длинной до /24 проблема воспроизводится тоже.

#sh ver
Cisco IOS Software, c7600rsp72043_rp Software (c7600rsp72043_rp-ADVIPSERVICES-M), Version 12.2(33)SRE3, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2011 by Cisco Systems, Inc.
Compiled Tue 25-Jan-11 14:16 by prod_rel_team

ROM: System Bootstrap, Version 12.2(33r)SRD5, RELEASE SOFTWARE (fc1)
BOOTLDR: Cisco IOS Software, c7600rsp72043_rp Software (c7600rsp72043_rp-ADVIPSERVICES-M), Version 12.2(33)SRE3, RELEASE SOFTWARE (fc1)

CR-TCMS uptime is 5 hours, 8 minutes
Uptime for this control processor is 5 hours, 8 minutes
System returned to ROM by reload (SP by reload)
System restarted at ----
System image file is "bootdisk:c7600rsp72043-advipservices-mz.122-33.SRE3.bin"
Last reload type: Normal Reload

Cisco CISCO7604 (M8500) processor (revision 2.0) with 1900544K/131072K bytes of memory.
Processor board ID ---------
BASEBOARD: RSP720
CPU: MPC8548_E, Version: 2.1, (-----)
CORE: E500, Version: 2.2, (-----)
CPU:1200MHz, CCB:400MHz, DDR:200MHz,
L1:    D-cache 32 kB enabled
        I-cache 32 kB enabled

Last reset from power-on
4 Virtual Ethernet interfaces
26 Gigabit Ethernet interfaces
4 Ten Gigabit Ethernet interfaces
3964K bytes of non-volatile configuration memory.

507024K bytes of Internal ATA PCMCIA card (Sector size 512 bytes).
Configuration register is 0x2102

В момент проблемы:

#sh ibc brief
Interface information:
    Interface IBC0/0(idb 0x181AA710)
    5 minute rx rate 153499000 bits/sec, 36463 packets/sec
    5 minute tx rate 315414000 bits/sec, 72949 packets/sec
    624008538 packets input, 458401704059 bytes
    623985454 broadcasts received
    623833234 packets output, 457842981528 bytes
    94107356 broadcasts sent
    0 Bridge Packet loopback drops
    622808027 Packets CEF Switched, 1 Packets Fast Switched
    0 Packets SLB Switched, 0 Packets CWAN Switched
    Label switched pkts dropped: 0    Pkts dropped during dma: 173487
    Invalid pkts dropped: 0    Pkts dropped(not cwan consumed): 0
    IPSEC pkts: 20873
    Xconnect pkts processed: 0, dropped: 0
    Xconnect pkt reflection drops: 0
    Total paks copied for process level 0
    Total short paks sent in route cache 63166188
    Total throttle drops 160489    Input queue drops 433
    total spd packets classified (835463 low, 290090 medium, 22989 high)
    total spd packets dropped (161780 low, 11707 medium, 0 high)
    spd prio pkts allowed in due to selective throttling (0 med, 0 high)
    IBC resets   = 1;

После clear cef linecard (кол-во префиксов то же):
sh ibc brief
Interface information:
    Interface IBC0/0(idb 0x181AA710)
    5 minute rx rate 4000 bits/sec, 5 packets/sec
    5 minute tx rate 7000 bits/sec, 9 packets/sec
    20247418 packets input, 13949092692 bytes
    20243329 broadcasts received
    20242416 packets output, 13912652019 bytes
    12067605 broadcasts sent
    0 Bridge Packet loopback drops
    20138314 Packets CEF Switched, 0 Packets Fast Switched
    0 Packets SLB Switched, 0 Packets CWAN Switched
    Label switched pkts dropped: 0    Pkts dropped during dma: 0
    Invalid pkts dropped: 0    Pkts dropped(not cwan consumed): 0
    IPSEC pkts: 25
    Xconnect pkts processed: 0, dropped: 0
    Xconnect pkt reflection drops: 0
    Total paks copied for process level 0
    Total short paks sent in route cache 2573389
    Total throttle drops 0    Input queue drops 0
    total spd packets classified (49833 low, 46001 medium, 4062 high)
    total spd packets dropped (0 low, 0 medium, 0 high)
    spd prio pkts allowed in due to selective throttling (0 med, 0 high)
    IBC resets   = 1;

У нас как и у автора темы во все стороны etherchannel настроены по 2-4G, есть подозрение что есть связь какая-то, у него тоже через RP трафик бегает похоже. Поэтому и спросил чем у него история закончилась.

>[оверквотинг удален]
>  Total throttle drops 0    Input queue drops 0
>  total spd packets classified (49833 low, 46001 medium, 4062 high)
>  total spd packets dropped (0 low, 0 medium, 0 high)
>  spd prio pkts allowed in due to selective throttling (0 med,
> 0 high)
>  IBC resets   = 1;
> У нас как и у автора темы во все стороны etherchannel настроены
> по 2-4G, есть подозрение что есть связь какая-то, у него тоже
> через RP трафик бегает похоже. Поэтому и спросил чем у него
> история закончилась.

Автор темы я :) У меня была проблема в том 7600 бомбили с интернета большим количеством icmp сообщений, как известно icmp обрабатывается программно, из-за этого центральынй процессор был загружен на 100%, я ограничил трафик icmp и воцарился мир и согласие :)

вот эти данные:
>5 minute rx rate 153499000 bits/sec, 36463 packets/sec
>5 minute tx rate 315414000 bits/sec, 72949 packets/sec

наводят на мысль о том она у вас занимается фрагментацией пакетов, так как количество отправленных пакетов в два раза больше количества принятых... может это наведет вас на мысль. Еще мне пришлось мигрировать с софта SRE на SRD, из-за багов с мультикаст маршрутизацией, вообще сложилось впечатление что SRE еще сырой, как вариант поплотнее поизучайте найденные баги в SRE3, и если есть возможность перепрыгните на ветку SRD, c ней я пока на серьезные баги не натыкался

>[оверквотинг удален]
> вот эти данные:
>>5 minute rx rate 153499000 bits/sec, 36463 packets/sec
>>5 minute tx rate 315414000 bits/sec, 72949 packets/sec
> наводят на мысль о том она у вас занимается фрагментацией пакетов, так
> как количество отправленных пакетов в два раза больше количества принятых... может
> это наведет вас на мысль. Еще мне пришлось мигрировать с софта
> SRE на SRD, из-за багов с мультикаст маршрутизацией, вообще сложилось впечатление
> что SRE еще сырой, как вариант поплотнее поизучайте найденные баги в
> SRE3, и если есть возможность перепрыгните на ветку SRD, c ней
> я пока на серьезные баги не натыкался

Спасибо за ответ! :)
Мы пробовали SRD6,SRB7 и даже 15.1S2, проблема не уходит.
По поводу фрагментации тоже были мысли, но по дампу видно что идут пакеты с разным length от 64 и до 1500.
Будет дальше мучить TAC.

>[оверквотинг удален]
>> это наведет вас на мысль. Еще мне пришлось мигрировать с софта
>> SRE на SRD, из-за багов с мультикаст маршрутизацией, вообще сложилось впечатление
>> что SRE еще сырой, как вариант поплотнее поизучайте найденные баги в
>> SRE3, и если есть возможность перепрыгните на ветку SRD, c ней
>> я пока на серьезные баги не натыкался
> Спасибо за ответ! :)
> Мы пробовали SRD6,SRB7 и даже 15.1S2, проблема не уходит.
> По поводу фрагментации тоже были мысли, но по дампу видно что идут
> пакеты с разным length от 64 и до 1500.
> Будет дальше мучить TAC.

Покажите пожалуйста еще вот это show platform hardware pfc mode.
Вы меня зантриговали проблемой, сообщите пожалуйста когда выясните в чем дело, а то у меня сон нарушится :)

> Покажите пожалуйста еще вот это show platform hardware pfc mode.
> Вы меня зантриговали проблемой, сообщите пожалуйста когда выясните в чем дело, а
> то у меня сон нарушится :)

#sh platform hardware pfc mode
PFC operating mode : PFC3CXL

Я вам письмо еще на почту написал(ту которая в профиле).

>> Покажите пожалуйста еще вот это show platform hardware pfc mode.
>> Вы меня зантриговали проблемой, сообщите пожалуйста когда выясните в чем дело, а
>> то у меня сон нарушится :)
> #sh platform hardware pfc mode
> PFC operating mode : PFC3CXL
> Я вам письмо еще на почту написал(ту которая в профиле).

Скажите, Вы, случайно, в BGP к фильтрафии маршрутов не привлекаете, экстендед ACL?

>>> Покажите пожалуйста еще вот это show platform hardware pfc mode.
>>> Вы меня зантриговали проблемой, сообщите пожалуйста когда выясните в чем дело, а
>>> то у меня сон нарушится :)
>> #sh platform hardware pfc mode
>> PFC operating mode : PFC3CXL
>> Я вам письмо еще на почту написал(ту которая в профиле).
> Скажите, Вы, случайно, в BGP к фильтрафии маршрутов не привлекаете, экстендед ACL?

Нет, только префикс листы.
По проблеме TAC предложил нам RMA. Но в итоге сами решили проблему командой
"remote command switch test mls cef tcam-shadow off".

>[оверквотинг удален]
>>>> Вы меня зантриговали проблемой, сообщите пожалуйста когда выясните в чем дело, а
>>>> то у меня сон нарушится :)
>>> #sh platform hardware pfc mode
>>> PFC operating mode : PFC3CXL
>>> Я вам письмо еще на почту написал(ту которая в профиле).
>> Скажите, Вы, случайно, в BGP к фильтрафии маршрутов не привлекаете, экстендед ACL?
> Нет, только префикс листы.
> По проблеме TAC предложил нам RMA. Но в итоге сами решили проблему
> командой
> "remote command switch test mls cef tcam-shadow off".

Добрый день.

Проблема такая же. Железо почти такое же. Только clear cef linecard не помогает, помогает  clear ip route. Уточните, пожалуйста, как вы пришли к команде "remote command switch test mls cef tcam-shadow off" и что она означает, гугл невнятное что-то предлагает.

Спасибо.

>>[оверквотинг удален]
>> По проблеме TAC предложил нам RMA. Но в итоге сами решили проблему
>> командой
>> "remote command switch test mls cef tcam-shadow off".
> Добрый день.
> Проблема такая же. Железо почти такое же. Только clear cef linecard не
> помогает, помогает  clear ip route. Уточните, пожалуйста, как вы пришли
> к команде "remote command switch test mls cef tcam-shadow off" и
> что она означает, гугл невнятное что-то предлагает.
> Спасибо.

День добрый!

Насколько я помню, нам clear ip route не помогал. А команду нашли методом дедукции и пристального изучения cli. Насколько мы поняли она отключает некую буферизацию при синхронизации между RP и SP, что приводит к несколько замедленной заливке маршрутов в SP. Команда работает только до перезагрузки коробки.

PS. У нас было видно что в SP не все в порядке с маршрутами в выводе "show mls cef inconsistency now" (Команда ломает форвардинг примерно на 1-2 минуты, пердупреждений не выдает!!!)

Таже проблема
Когда тарфик идет чер sup все отлично
Как только пустить трафик черер linecard загрузка полная

Лечит команда clear cef linecard
Через сутки Загрузка опять растет
Или же если пир перезапустить загрузка сразу большая

Люди подскажите куда копать ????

> Таже проблема
> Когда тарфик идет чер sup все отлично
> Как только пустить трафик черер linecard загрузка полная
> Лечит команда clear cef linecard
> Через сутки Загрузка опять растет
> Или же если пир перезапустить загрузка сразу большая
> Люди подскажите куда копать ????

Может в сторону ограничений вашей linecard?
Она dcef поддерживает?

тут дело не в ограничениях
к примеру
сделал  clear cef linecard
загрузка 5% стабильно держится
перезапускаю bgp пир загрузка 100 процентов
делаю  clear cef linecard - загрузка опять 5%

> тут дело не в ограничениях
> к примеру
> сделал  clear cef linecard
> загрузка 5% стабильно держится
> перезапускаю bgp пир загрузка 100 процентов
> делаю  clear cef linecard - загрузка опять 5%

Вот тут похожие сиптомы описываются:
https://supportforums.cisco.com/thread/2109068

Лечат попрежнему - либо clear cef linecard, либо отключением tcam shadow.

У нас было тоже самое, проблему решила команда:
mls rate-limit unicast ip icmp redirect 1000