Столкнулся со следующей проблемой: время от времени наблюдаются пропадания трафика на маршрутизаторе - пропадает интернет, не пингуется сам маршрутизатор. Пропадание длится 5-10 сек, а далее все восстанавливается. Туннели как правило выдерживают такие скачки, а вот голосовые конференции по скайпу например падают. В целом работа фирмы ОЧЕНЬ зависит от качества канала и такие пропадания создают проблемы.
Подскажите пожалуйста где хоть копать? Логи чистые, IOS 12.4(15)T9, загрузки процессора более 20% не было, трафик больше 4Мб практически не поднимается.
#sho proc cpu history что показывает?
#sho int {интерфейс в инет и лан}
>
>#sho proc cpu history что показывает?
>#sho int {интерфейс в инет и лан}Железко то какая?
Ну, и еще:
sh logging
После восстановления связи....
И увеличте, на время logging buffer size...
conf t
logg buf 16384 i
>Столкнулся со следующей проблемой: время от времени наблюдаются пропадания трафика на маршрутизатореотключи по максимуму всё автоопределение на портах, скорости, дуплекса, STP и VTP на коммутаторах, dynamic desireable, залупи в коммутатор статическую привязку mac-адреса маршрутизатора на порт.
Железка Cisco 1811Логи чистые, там сообщения только от ip sla и моих скриптов в event manager.
Log Buffer (51200 bytes):
063282: Mar 30 04:28:24.316 Athens: %TRACKING-5-STATE: 1 rtr 1 reachability Up->Down
063283: Mar 30 04:28:44.505 Athens: %HA_EM-3-FMPD_SMTP: Error occured when sending mail to SMTP server: mail.####### : error in reply from SMTP server
063284: Mar 30 04:28:44.505 Athens: %HA_EM-3-FMPD_ERROR: Error executing applet MailOnISP1Down statement 2.1
063289: Mar 30 04:32:24.333 Athens: %TRACKING-5-STATE: 1 rtr 1 reachability Down->Up
063319: Mar 30 05:01:24.387 Athens: %TRACKING-5-STATE: 1 rtr 1 reachability Up->Down
063320: Mar 30 05:01:44.467 Athens: %HA_EM-3-FMPD_SMTP: Error occured when sending mail to SMTP server: mail.####### : error in reply from SMTP server
063321: Mar 30 05:01:44.467 Athens: %HA_EM-3-FMPD_ERROR: Error executing applet MailOnISP1Down statement 2.1
063323: Mar 30 05:02:54.397 Athens: %TRACKING-5-STATE: 1 rtr 1 reachability Down->Up
Интерфейсы:Локальный
#sh int vlan 1
Vlan1 is up, line protocol is up
Hardware is EtherSVI, address is 001d.a20b.b314 (bia 001d.a20b.b314)
Internet address is 172.20.1.1/24
MTU 1500 bytes, BW 100000 Kbit/sec, DLY 100 usec,
reliability 255/255, txload 5/255, rxload 1/255
Encapsulation ARPA, loopback not set
ARP type: ARPA, ARP Timeout 04:00:00
Last input 00:00:00, output never, output hang never
Last clearing of "show interface" counters never
Input queue: 1/75/18609/0 (size/max/drops/flushes); Total output drops: 0
Queueing strategy: fifo
Output queue: 0/40 (size/max)
5 minute input rate 162000 bits/sec, 202 packets/sec
5 minute output rate 2170000 bits/sec, 275 packets/sec
533647149 packets input, 1507384246 bytes, 0 no buffer
Received 1919341 broadcasts, 0 runts, 0 giants, 0 throttles
0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
581743960 packets output, 2913301600 bytes, 0 underruns
0 output errors, 1 interface resets
27 unknown protocol drops
0 output buffer failures, 0 output buffers swapped outИнтернет
#sh int fa0
FastEthernet0 is up, line protocol is up
Hardware is PQ3_TSEC, address is 001d.a20b.b314 (bia 001d.a20b.b314)
Internet address is #.#.#.#/#
MTU 1500 bytes, BW 5120 Kbit/sec, DLY 100 usec,
reliability 255/255, txload 7/255, rxload 90/255
Encapsulation ARPA, loopback not set
Keepalive set (10 sec)
Full-duplex, 100Mb/s, 100BaseTX/FX
ARP type: ARPA, ARP Timeout 04:00:00
Last input 00:00:00, output 00:00:00, output hang never
Last clearing of "show interface" counters never
Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 0
Queueing strategy: weighted fair
Output queue: 0/1000/64/0 (size/max total/threshold/drops)
Conversations 0/2/256 (active/max active/max total)
Reserved Conversations 0/0 (allocated/max allocated)
Available Bandwidth 3840 kilobits/sec
5 minute input rate 1811000 bits/sec, 235 packets/sec
5 minute output rate 150000 bits/sec, 170 packets/sec
500140244 packets input, 882103577 bytes
Received 6872834 broadcasts, 0 runts, 0 giants, 68 throttles
0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
0 watchdog
0 input packets with dribble condition detected
440648934 packets output, 381004524 bytes, 0 underruns
0 output errors, 0 collisions, 2 interface resets
486020 unknown protocol drops
0 babbles, 0 late collision, 0 deferred
0 lost carrier, 0 no carrier
0 output buffer failures, 0 output buffers swapped out
На интернет адресе выключил cdp и выставил вручную duplex, а вот с локальным проблема.
vlan как я понимаю чисто виртуальный. Физически у меня это сидит на fa2. sh int fa2 не показывает ничего. Попытка на нем выставить duplex не увенчалась успехом, говорит что надо обязательно мне выставить там speed auto, я єто сделал, но duplex, так и не дало выставить.#sh int fa2
FastEthernet2 is up, line protocol is up
Hardware is FastEthernet, address is 001d.a20b.b316 (bia 001d.a20b.b316)
MTU 1500 bytes, BW 100000 Kbit/sec, DLY 100 usec,
reliability 255/255, txload 4/255, rxload 3/255
Encapsulation ARPA, loopback not set
Keepalive set (10 sec)
Full-duplex, 100Mb/s
ARP type: ARPA, ARP Timeout 04:00:00
Last input 00:00:01, output never, output hang never
Last clearing of "show interface" counters never
Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 0
Queueing strategy: fifo
Output queue: 0/40 (size/max)
5 minute input rate 1225000 bits/sec, 414 packets/sec
5 minute output rate 1705000 bits/sec, 404 packets/sec
526801338 packets input, 3247420833 bytes, 0 no buffer
Received 1889486 broadcasts, 0 runts, 0 giants, 0 throttles
0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
0 input packets with dribble condition detected
570701676 packets output, 2353185385 bytes, 0 underruns
0 output errors, 0 collisions, 2 interface resets
1417 unknown protocol drops
0 babbles, 0 late collision, 0 deferred
0 lost carrier, 0 no carrier
0 output buffer failures, 0 output buffers swapped out
Cisco пришлось перегрузить, по собственной вине. Теперь вопрос повторятся ли такие приколы, как только повториться. Обязательно посмотрю sh proc cpu history и наличие ошибок на портах.
Еще появилась идея, не может ли быть это связано с netflow? Хочу попытатся найти закономерность.
Еще одно, такие проблемы раньше были после обновлениея на прошивку 12.4(20), после чего сделали даунгрейд на 12.4(15), а также добавили ОЗУ, так как циска не справлялась, память заканчивалась и она вообще переставала реагировать на весь мир, хотя трафик через себя пускала и инет был.
>#sh int vlan 1
>Input queue: 1/75/18609/0 (size/max/drops/flushes); Total output drops: 0что у тебя на вилан накручено?
#sho run int vl 1
interface Vlan1
ip address 172.20.1.1 255.255.255.0
ip access-group 100 in
no ip redirects
no ip unreachables
ip flow ingress
ip flow egress
ip nat inside
ip virtual-reassembly
ip route-cache flow
ip tcp adjust-mss 1300
ip policy route-map TEST
service-policy input InetOut
end#sh policy-map InetOut
Policy Map InetOut
Class Voice
set precedence 6
Class Controls
set precedence 5
Class Tunnels
set precedence 4
Class class-default
set precedence 0class-map match-any Controls
match protocol dns
match protocol ssh
match access-group name acl_RDP
class-map match-any Voice
match protocol h323
match protocol rtcp
match protocol rtp
match protocol rtsp
match protocol skinny
match protocol skype
match protocol vdolive
match access-group name acl_VoIP
match protocol sip
match protocol vofr
match ip rtp 16384 16383
class-map match-any Tunnels
match protocol ipsec
match protocol l2tp
match protocol pptp
match access-group name acl_VPN
ip access-list extended acl_RDP
permit tcp any any eq 3389
ip access-list extended acl_VPN
permit ip host #.#.#.# any
permit ip any host #.#.#.#
ip access-list extended acl_VoIP
permit udp any any eq 5060
permit udp any any eq 5061
permit tcp any any eq 5061
permit udp any any range 10000 32767
permit udp any any eq 4569
permit udp any any eq 5036
permit udp any any eq 2727
permit udp any any eq 11720
permit tcp any any eq 11720
permit tcp any any eq 1720
permit udp any any eq ntp
permit udp any any range 1718 1719
permit tcp any any range 1718 1719Собственно конфиг сам выдумывал. Надо было в первую очередь всевозможный голосовой трафик пропустить. А он у нас очень разной природы может быть, от LinkSys и Sipura, до простого скайпа, плюс куча всякой фигни с непонятными протоколами использующие веб и т.д.
Так что тут все что вычитал насчет VoIP.
а войс окрашивать до маршрутера ничем нельзя? - это разгрузило бы рутер...Менял бы ToS до маршрутера, а на нем просто смотрел только на ToS...
>а войс окрашивать до маршрутера ничем нельзя? - это разгрузило бы рутер...
>
>Менял бы ToS до маршрутера, а на нем просто смотрел только на ToS...Был такой вариант, но чем его окрасить не придумали. Вариант на конечных станциях даже не рассматривали, как неблагодарный и непрактичный. А в самой сети 3 основных свича, и только один умный, который впринципе используеться как "глупый". Тем более что я загрузки проца более 20% не видел ни в cacti, ни в sh proc cpu history.
посмотри тогда еще #sho ip cefу тебя cef вообще включен?
cef выключеня сейчас написал скрипт, который засечет точное время пропадания маршрутизатора. а потом хочу на netflow глянуть шел ли через него в этот момент трафик. Жду года это случится.
Может что-то забивает маршрутизатор в эти моменты, или он таки висит.
>cef выключен
>Простите а зачем включен?? от него плохо?
>>cef выключен
>>
>
>Простите а зачем включен?? от него плохо?Что делает eem ?
Отслеживает изменение SLA и делает cle ip nat tr forc ?Если да, отключайте и смотрите прерывание повторяются или нет .
не помню что б я специально cef трогал, видимо до меня выключили.а вот за SLA все верно. только в логах во время пропадания циски нету упоминания о траках. попробую убить єто на время. Просто без єтой команды, переключений на разервный канал нормально не происходит.
>не помню что б я специально cef трогал, видимо до меня выключили.
>
>
>а вот за SLA все верно. только в логах во время пропадания
>циски нету упоминания о траках. попробую убить єто на время. Просто
>без єтой команды, переключений на разервный канал нормально не происходит.Незнаю должен ли он быть у тебя, но может попробовать включить? - оно всетаки оч сильно производительности добавляет...
>Столкнулся со следующей проблемой: время от времени наблюдаются пропадания трафика на маршрутизаторе
>- пропадает интернет, не пингуется сам маршрутизатор. Пропадание длится 5-10 сек,
>а далее все восстанавливается. Туннели как правило выдерживают такие скачки, а
>вот голосовые конференции по скайпу например падают. В целом работа фирмы
>ОЧЕНЬ зависит от качества канала и такие пропадания создают проблемы.
>Подскажите пожалуйста где хоть копать? Логи чистые, IOS 12.4(15)T9, загрузки процессора более
>20% не было, трафик больше 4Мб практически не поднимается.sh arp на интерфейсе в момент пропадания связи
Болел, поэтому ничего не писал.
Сейчас продолжил следить за Cisco. Пропадания сильно сократились, в сутки может раза три случиться, раньше чаще.
Пока понять в чем же ж таки проблема не удалось. Пока попытаюсь разобраться с clear ip nat tr forc.
sh arp в момент пропадания врядли. если успею, так как циско пропадает секунд на 30, и пока я замечу и зайду, все закончится.
>Болел, поэтому ничего не писал.
>Сейчас продолжил следить за Cisco. Пропадания сильно сократились, в сутки может раза
>три случиться, раньше чаще.
>Пока понять в чем же ж таки проблема не удалось. Пока попытаюсь
>разобраться с clear ip nat tr forc.
>sh arp в момент пропадания врядли. если успею, так как циско пропадает
>секунд на 30, и пока я замечу и зайду, все закончится.
>Все-таки идея посмотреть данные с netflow хорошая..
Я тоже так думал, но как оказалось статистика при снятии с циски береться в сумме за определенный промежуток времени. А у меня он стоял 15 мин, так что я ничего не увидел.
Появилась мысль, что проблема в каком-то переполнении. Или пока он скидывает за 15 мин информацию о трафике, которой дофига насобырывается, циске стает плохо.
Вчера поправил интервал до 3х минут. Слежу за развитием событий.
Пропадания не регулярные, и даже неделю их не было.
Проверял идею по поводу броадкастов (такая проблема уже была, когда кто-то из програмистов что-то решил протестировать в локальной сети). WireShark в момент пропадания кроме кучи arp who has <cisco ip> ничего не показал.
Но заметил четкое соответствие между пропаданиями циски и временем снятия netflow.
Вопрос, как можно уменьшить єтим нагрузку на циску? Как я понимаю мой сервер чисто ждет пока циска ему что-то отправит, и все интервали которые на нем выставляються не влияют на маршрутизатор, или єто не так?
>Пропадания не регулярные, и даже неделю их не было.
>Проверял идею по поводу броадкастов (такая проблема уже была, когда кто-то из програмистов что-то решил протестировать в локальной сети). WireShark в момент пропадания кроме кучи arp who has <cisco ip> ничего не показал.
>Но заметил четкое соответствие между пропаданиями циски и временем снятия netflow.
>Вопрос, как можно уменьшить єтим нагрузку на циску? Как я понимаю мой
>сервер чисто ждет пока циска ему что-то отправит, и все интервали
>которые на нем выставляються не влияют на маршрутизатор, или єто не
>так?Что у вас собирает netflow? Покажите конфиг cisco, связанный с flow
interface Vlan1
ip address a.a.a.a 255.255.255.0
ip access-group 100 in
no ip redirects
no ip unreachables
ip flow ingress
ip flow egress
ip nat inside
ip virtual-reassembly
ip route-cache flow
ip tcp adjust-mss 1300
ip policy route-map TEST
service-policy input InetOutip flow-export source Vlan1
ip flow-export version 5
ip flow-export destination b.b.b.b 20001
ip flow-top-talkers
top 100
sort-by bytes
cache-timeout 60000access-list 100 deny udp any any eq bootps
access-list 100 deny ip host 255.255.255.255 any
access-list 100 deny ip 127.0.0.0 0.255.255.255 any
access-list 100 permit ip any anyСбор осуществляєтся на CentOS с помощью flow-tools и скрипта експорта єтого в mysql
Вот настройки flow-capture:
OPTIONS="-n 287 -R /usr/local/bin/flow-export.sh -e 2 -N 0 -S 5 -w /var/flow-tools 0/0/20001"
Огромное спасибо всем кто пытался помочь. Проблема с железом. Циска благополучно умерла и не проснулась. Однажды утром трафик начал вообще круто пропадать, а после ребута она не загрузилась до сих пор. Вошла в роммон и ругается на железки. Если кто в курсе что делать с таким вот:%SMC-2-BAD_ID_HW: Failed Identification Test in 0/-1/-1 [7
/0]The module in 0/-1/-1 in this router may not be a genuine
Cisco product. Cisco warranties and support programs only
apply to genuine Cisco products. If Cisco determines that
your insertion of non-Cisco memory, WIC cards, AIM cards,
Network Modules, SPA cards, GBICs or other modules into a
Cisco product is the cause of a support issue, Cisco may
deny support under your warranty or under a Cisco support
program such as SmartNet.буду признателен. В гугле вопросов много, но нет ответов. На офф сайте ссылки на закрытые ресурсы.