Здравствуйте!Предыстория. Есть кольцо, построенное на основе Cisco Catalyst версий 2950, 2960, 3550, 3560. STP, portfast, portfast bpduguard. Есть сообщения MAC_FLAP на центральном каталисте. При проверке узлов, указанных во FLAP ничего особенного не выявлено, разве что пару плат поменяли.
Проблема. По окончании рабочего дня, когда все выключают компы, а в последнее время даже раньше, происходит шторм пакетов (до 10000 pps) в одном из VLAN (самом большом). Если разомкнуть кольцо, задушив один и портов на кольце, шторма не происходит.
Вопрос. В чем может быть дело? Подрабатывает какое-то сетевое оборудование? Баг в прошивке (каталисты-то старые)?
P.S. Искал петлю долгое время, но не нашел. Сбивает то, что при разомкнутом вручную кольце все работает нормально, а, по идее, в случае петли должно штормить.
Спасибо.
Как искали?
> Как искали?- wireshark в promiscuous mode во VLAN для изучения необычных пакетов;
- проверка узлов, указанных в MAC_FLAP;
- изучение портов на underrun и прочих ошибок;
- включение portfast bpduguard на всех каталистах;
- для борьбы с arp broadcast установил время жизни arp 5 мин, частично помогло;
- отключение поэтапное узлов, начиная с последнего в цепочке, в надежде на то, что
шторм прекратится - для выявления каталиста, с которого начинается шторм.Сеть динамична, т.е. присутствуют подключения модемов/роутеров на которых могут быть петли. При этом каталист такие порты не рубит, ибо петля не между портами каталиста, а на одном и том же порту. Обычно в этом случае падает пропускная способность порта и народ сам жалуется.
MAC_FLAP появляются с завидным упрямством, причем время появления - утром, при включении компов или вечером, когда все выключаются. Есть подозрение, что гадят модемы ZyXEL SHDSL, ибо при отключении портов, MAC_FLAP пропадали. Но, т.к. там работают люди, приходилось включать порты вновь.
В качестве одного из mac, который скачет по портам, часто выступает mac центрального каталиста. Собственно, сообщение на нем и появляется.
>[оверквотинг удален]
> Сеть динамична, т.е. присутствуют подключения модемов/роутеров на которых могут быть петли.
> При этом каталист такие порты не рубит, ибо петля не между
> портами каталиста, а на одном и том же порту. Обычно в
> этом случае падает пропускная способность порта и народ сам жалуется.
> MAC_FLAP появляются с завидным упрямством, причем время появления - утром, при включении
> компов или вечером, когда все выключаются. Есть подозрение, что гадят модемы
> ZyXEL SHDSL, ибо при отключении портов, MAC_FLAP пропадали. Но, т.к. там
> работают люди, приходилось включать порты вновь.
> В качестве одного из mac, который скачет по портам, часто выступает mac
> центрального каталиста. Собственно, сообщение на нем и появляется.Логи? Конфиг центрального каталиста?
>[оверквотинг удален]
>> При этом каталист такие порты не рубит, ибо петля не между
>> портами каталиста, а на одном и том же порту. Обычно в
>> этом случае падает пропускная способность порта и народ сам жалуется.
>> MAC_FLAP появляются с завидным упрямством, причем время появления - утром, при включении
>> компов или вечером, когда все выключаются. Есть подозрение, что гадят модемы
>> ZyXEL SHDSL, ибо при отключении портов, MAC_FLAP пропадали. Но, т.к. там
>> работают люди, приходилось включать порты вновь.
>> В качестве одного из mac, который скачет по портам, часто выступает mac
>> центрального каталиста. Собственно, сообщение на нем и появляется.
> Логи? Конфиг центрального каталиста?Конфиг поскипанный:
system mtu routing 1500
!
ip subnet-zero
ip routing
ip dhcp snooping vlan 2-1024
ip dhcp snooping
ipv6 unicast-routing
!
!
spanning-tree mode pvst
spanning-tree portfast default
spanning-tree portfast bpduguard default
spanning-tree extend system-id
spanning-tree vlan 1-1024 priority 24576
!
vlan internal allocation policy ascending
!
interface GigabitEthernet0/28
switchport trunk encapsulation dot1q
switchport mode trunk
ip dhcp snooping trust
!
interface Vlan1
no ip address
shutdown
!
interface Vlan3
ip address X.X.1.1 255.255.255.0
no ip redirects
no ip unreachables
no ip proxy-arp
no ip route-cache cef
no ip route-cache
no ip mroute-cache
!
interface Vlan5
ip address X.X.80.1 255.255.248.0
no ip redirects
no ip unreachables
no ip proxy-arp
no ip route-cache cef
no ip route-cache
no ip mroute-cache
arp timeout 300
!
ip classless
no ip forward-protocol udp
ip route 0.0.0.0 0.0.0.0 X.X.X.X
no ip http server
no ip http secure-server
!
endКусок лога:
001916: Aug 6 15:31:44: %SW_MATM-4-MACFLAP_NOTIF: Host 448a.5b5a.67c1 in vlan 5 is flapping between port Gi0/22 and port Gi0/9
001917: Aug 6 15:31:58: %SW_MATM-4-MACFLAP_NOTIF: Host 74d4.358a.9f64 in vlan 5 is flapping between port Gi0/5 and port Gi0/9
001918: Aug 6 15:31:59: %SW_MATM-4-MACFLAP_NOTIF: Host 448a.5b5a.67c1 in vlan 5 is flapping between port Gi0/22 and port Gi0/9
001919: Aug 6 15:32:04: %SW_MATM-4-MACFLAP_NOTIF: Host 7824.af39.5296 in vlan 5 is flapping between port Gi0/9 and port Gi0/1
001920: Aug 6 15:32:13: %SW_MATM-4-MACFLAP_NOTIF: Host 448a.5b5a.67c1 in vlan 5 is flapping between port Gi0/22 and port Gi0/9
001921: Aug 6 15:32:14: %SW_MATM-4-MACFLAP_NOTIF: Host 74d4.358a.9f64 in vlan 5 is flapping between port Gi0/5 and port Gi0/9
001922: Aug 6 15:32:28: %SW_MATM-4-MACFLAP_NOTIF: Host 448a.5b5a.67c1 in vlan 5 is flapping between port Gi0/22 and port Gi0/9
001923: Aug 6 15:32:30: %SW_MATM-4-MACFLAP_NOTIF: Host 74d4.358a.9f64 in vlan 5 is flapping between port Gi0/5 and port Gi0/9Других сообщений на центральном каталисте нет. Хосты с указанными mac имеют большой underrun. Эти FLAP вылезли во время последнего шторма, раньше их не было. Vlan 5 и есть тот самый проблемный VLAN. Другие VLAN не страдают, ну кроме как дополнительной нагрузки на trunk-портах.
На одном каталисте в логах есть:
005940: Aug 7 09:49:21: %SW_MATM-4-MACFLAP_NOTIF: Host 3cdf.1ec4.61c4 in vlan 5 is flapping between port Gi0/24 and port Gi0/28
005941: Aug 7 09:55:29: %SW_MATM-4-MACFLAP_NOTIF: Host 3cdf.1ec4.61c4 in vlan 5 is flapping between port Gi0/24 and port Gi0/28
005942: Aug 7 10:04:53: %SW_MATM-4-MACFLAP_NOTIF: Host 3cdf.1ec4.61c4 in vlan 5 is flapping between port Gi0/24 and port Gi0/28
005943: Aug 7 10:05:14: %SW_MATM-4-MACFLAP_NOTIF: Host 3cdf.1ec4.61c4 in vlan 5 is flapping between port Gi0/24 and port Gi0/28
005944: Aug 7 10:06:54: %SW_MATM-4-MACFLAP_NOTIF: Host 3cdf.1ec4.61c4 in vlan 5 is flapping between port Gi0/24 and port Gi0/28Это mac центрального каталиста.
Вообще, схема - звезда, на одном из лучей висит кольцо по всему городу. Так вот, второй лог говорит о том, что mac центрального каталиста появляется на луче в центре здвезды (где он и должен быть) и где-то на кольце. Если запустить mac trace, то mac центрального каталиста там, где и должен быть - в центре звезды.
Если кольцо не разрывать руками (shutdown порта), STP нормально отрабатывает и разрывает кольцо в дальней точке. Но при этом - гарантированный шторм в конце дня.
> Вообще, схема - звезда, на одном из лучей висит кольцо по всему
> городу.А по логам у вас получается как минимум 3 кольца. Причем все три приходят в один порт на ядро и уходят по трем разным портам.
У вас есть карта вашей сети? Вы можете точно сказать, что и где воткнуто? Мне это не нужно, это нужно вам, чтобы понять откуда у вас приходят проблемы.Судя по тому, что у вас на весь город получается всего один VLAN в котором "варится" паблик сетка с маской /21, то проблемы у вас будут всегда.
1. Дробите сетку на более мелкие подсети. Не хотите терять IP на сеть и бродкасты - переводите на pppoe.
2. Разносите клиентов по VLAN. Если есть "юрики", то их в любом случае не "варить" в одном VLAN c "хомяками".
3. Все порты, которые техники не подключали - в состояние shutdown или в несколько различных VLAN (по районам, по кварталам и т.п.).
4. Для тестоых включений и проверки оборудования заведите отдельный VLAN.P.S.: Вам реально на ядре нужен portfast default? Зачем?
>> Вообще, схема - звезда, на одном из лучей висит кольцо по всему
>> городу.
> А по логам у вас получается как минимум 3 кольца. Причем все
> три приходят в один порт на ядро и уходят по трем
> разным портам.Gi0/9 - это луч, идущий на кольцо. Остальные порты: на них каталисты, на которых реально сидят компы. Т.е. получается что пакеты от указанных хостов появляются на кольце.
Схема - звезда, на одном из лучей - кольцо. Я проверял два FLAP-а, обычные компы, один шнурок, много underrun на интерфейсе, один mac адрес на порту, обычная для хоста загрузка канала.
Если бы колец было три, шторм бы не прекращался. Как только я размыкаю кольцо, проблема исчезает. Правда, FLAP-ы бывают, но mac-и разные, я каждый раз проверяю инцидент. Делаю трассировку и mac там где и должен быть. Из документации по каталистам получается, что иногда при большой нагрузке на сеть происходят FLAP-ы, такое бывает и тогда, когда мобильное устройство перемещается между hot spot-ами. Также FLAP-ы бывают в случае неверно функционирующего сетевого оборудования. Последнее весьма вероятно. Устройство просто гадит пакетами. Кстати, появление FLAP-ов соответствует приходу и уходу персонала на работу.
> У вас есть карта вашей сети? Вы можете точно сказать, что и
> где воткнуто? Мне это не нужно, это нужно вам, чтобы понять
> откуда у вас приходят проблемы.Карта, конечно, есть. Все коммутаторы я один и ставил.
> Судя по тому, что у вас на весь город получается всего один
> VLAN в котором "варится" паблик сетка с маской /21, то проблемы
> у вас будут всегда.Уточню, проблема в корпоративной, внутренней сети. Провайдерская часть существует отдельно и с ней все в порядке, там, естественно, маршрутизация и коммерческий трафик изолирован.
> 1. Дробите сетку на более мелкие подсети. Не хотите терять IP на
> сеть и бродкасты - переводите на pppoe.
> 2. Разносите клиентов по VLAN. Если есть "юрики", то их в любом
> случае не "варить" в одном VLAN c "хомяками".Корпоративная сеть поделена на VLAN-ы: бухи, админы, сервера, оборудование и т.д. В паблике порядке 210 компов, они находятся в разных частях города (офисы компании).
> 3. Все порты, которые техники не подключали - в состояние shutdown или
> в несколько различных VLAN (по районам, по кварталам и т.п.).
> 4. Для тестоых включений и проверки оборудования заведите отдельный VLAN.Бывает втыкают модемы в паблик, для настроек. Кто-то wifi себе делает, за что потом наказывается. Эти проблемы решаются.
> P.S.: Вам реально на ядре нужен portfast default? Зачем?
Порядка 40 каталистов входят в состав ядра. Расположены в разных частях города. Подключены по оптике через конвертеры, т.к. не на всех каталистах есть возможность использовать SFP с оптикой.
Каталисты сидят на trunk-портах, обычные компы - access и каждый в своем VLAN-е. Чтобы обеспечить быстрый запуск хоста используется portfast. Если каталист обнаруживает петлю между своими портами, он ее отключает, ибо STP работает в любом случае. Но если на один порт повесить какой-нибудь дешевый хаб и уже на нем сделать петлю, то получается проблема.
На trunk-ах portfast отключен по умолчанию.
На следующей неделе думаю включить в обе стороны кольца storm control unicast и посмотреть на какой стороне шторм появится. Потом думаю потрошить конкретную ветку.
Отдаю предпочтение гадящему оборудованию, которое и вызывает шторм. За 15 лет на каталисты ни разу не грешил, всегда честно работают.
Коммутаторы никогда не перегружаются, только в случае потери питания.
1.
Поищите сервер c вируталками такое часто бывает от неправильно настроенного etherchennel со стороны гипервизора.2.
Попробуйте storm-control на транках, только в качестве action пишите трап (чтобы он вам порты не поклал),так найдете крысу. Ну а там уже решите куда дальше двигаться.Мимо темы:
Вы перечислили кучу свичей часть из них держит 4096 vlan, а у вас мастер руками вбит только по 1024.
spanning-tree etherchannel guard misconfig, хотя вроде эта команда должна быть по умолчаню.
P.S. Кольцо на втором уровне не самая лучшая идея в принципе. У вас половина свичей Layer3 переходите на routed access и большей части проблема второго уровня у вас не будет в принципе.
> 1.
> Поищите сервер c вируталками такое часто бывает от неправильно настроенного etherchennel
> со стороны гипервизора.Есть какие-нибудь признаки сервера с виртуалкой, чтобы в wireshark его поймать?
> 2.
> Попробуйте storm-control на транках, только в качестве action пишите трап (чтобы он
> вам порты не поклал),так найдете крысу. Ну а там уже решите
> куда дальше двигаться.А если без trap? По-умолчанию, вроде как broadcast-трафик ограничивается, но порт не блокируется. Должна быть запись в логах, а логи я собираю централизовано. SNMP-сервера нет.
> Вы перечислили кучу свичей часть из них держит 4096 vlan, а у
> вас мастер руками вбит только по 1024.Активных VLAN штук 30, номера до 1000. Остальные не используются и по VTP не распространяются.
> P.S. Кольцо на втором уровне не самая лучшая идея в принципе. У
> вас половина свичей Layer3 переходите на routed access и большей части
> проблема второго уровня у вас не будет в принципе.Придется сегментировать сеть на еще большее количество сегментов, чтобы маршрутизировать их. На DHCP-сервере прописывать новые сети, и т.д... Это все усложнит. Плюс поднимать OSPF (сейчас static route). Усложнение - не лучшее решение.
Плюс у нас ipv6 поднят, готовлюсь внедрить массово.
Видимо, придется снова покоммутаторно проверять один за одним.
> А если без trap? По-умолчанию, вроде как broadcast-трафик ограничивается, но порт не
> блокируется. Должна быть запись в логах, а логи я собираю централизовано.
> SNMP-сервера нет.action trap, syslog сообщение тоже порождает если я правильно помню.
> Придется сегментировать сеть на еще большее количество сегментов,Учитывая что проблемы вы уже имеете - да придется.
> чтобы маршрутизировать
> их. На DHCP-сервере прописывать новые сети, и т.д... Это все усложнит.
> Плюс поднимать OSPF (сейчас static route). Усложнение - не лучшее решение.Шторм каждый день - это не лучшее решение.
> Плюс у нас ipv6 поднят, готовлюсь внедрить массово.Причем тут это? У вас явно проблемы с бардаком на L2.
> Видимо, придется снова покоммутаторно проверять один за одним.Повторяю большими буквами: используйте storm-control
Дело ваше.
>> чтобы маршрутизировать
>> их. На DHCP-сервере прописывать новые сети, и т.д... Это все усложнит.
>> Плюс поднимать OSPF (сейчас static route). Усложнение - не лучшее решение.
> Шторм каждый день - это не лучшее решение.Когда второй линк из кольца задавлен, проблем нет.
>> Плюс у нас ipv6 поднят, готовлюсь внедрить массово.
> Причем тут это? У вас явно проблемы с бардаком на L2.А это еще дополнительная ip-сегментация... Помимо ipv4. Будет ад из ip-сетей.
К тому же... Надо чтобы два компа удаленно расположенных были видны друг другу по сети, банально через Сетевое окружение винды. Если маршрутизировать, то никакой видимости не будет. Опять же, штатный виндовый фаервол настроен так, чтобы блокировать все, что не из него сети. Удаленный комп априори не из него сети, поэтому будут проблемы. И это то, что приходит на вскидку. Принтеры общие и т.д. Доступ к ресурсам корпоративной сети прописан по ip, опять же - все слетит ибо поменяются адреса. Системы видео наблюдения.
>>> Плюс у нас ipv6 поднят, готовлюсь внедрить массово.
>> Причем тут это? У вас явно проблемы с бардаком на L2.
> А это еще дополнительная ip-сегментация... Помимо ipv4. Будет ад из ip-сетей.Как скажете.
> К тому же... Надо чтобы два компа удаленно расположенных были видны друг
> другу по сети, банально через Сетевое окружение винды...Так вы "телекоммуникационная компания" или "корпоративная сеть" в колхозе?
Принципы построения сети не то чтобы диаметрально противоположные, но очень сильно отличаются особенно на уровне доступа - "почти всем" кроме физики.
>>>> Плюс у нас ipv6 поднят, готовлюсь внедрить массово.
>>> Причем тут это? У вас явно проблемы с бардаком на L2.
>> А это еще дополнительная ip-сегментация... Помимо ipv4. Будет ад из ip-сетей.
> Как скажете.
>> К тому же... Надо чтобы два компа удаленно расположенных были видны друг
>> другу по сети, банально через Сетевое окружение винды...
> Так вы "телекоммуникационная компания" или "корпоративная сеть" в колхозе?Корпоративная сеть телекоммуникационной компании. Фразу "колхоз" пропущу.
>> Сеть динамична, т.е. присутствуют подключения модемов/роутеров на которых могут быть петли. >> При этом каталист такие порты не рубит, ибо петля не между портами каталиста, а на одном и
>> том же порту. Обычно в этом случае падает пропускная способность порта и народ сам жалуется.Включаете в сеть L2 сегменты в которых неизвестно что происходит?
Или я чего-то не понял?
>>> Сеть динамична, т.е. присутствуют подключения модемов/роутеров на которых могут быть петли. >> При этом каталист такие порты не рубит, ибо петля не между портами каталиста, а на одном и
>>> том же порту. Обычно в этом случае падает пропускная способность порта и народ сам жалуется.
> Включаете в сеть L2 сегменты в которых неизвестно что происходит?
> Или я чего-то не понял?У нас телекоммуникационная компания. Иногда обслуживающий персонал включает модемы и роутеры для проверки или настройки, бывают казусы. Ядро не модифицируется.
>> Включаете в сеть L2 сегменты в которых неизвестно что происходит?
>> Или я чего-то не понял?
> У нас телекоммуникационная компания.Нормально...
> Иногда обслуживающий персонал включает модемы и роутеры
> для проверки или настройки, бывают казусы. Ядро не модифицируется.Бегите оттуда.
>>> Включаете в сеть L2 сегменты в которых неизвестно что происходит?
>>> Или я чего-то не понял?
>> У нас телекоммуникационная компания.
> Нормально...Сарказм? :)
>> Иногда обслуживающий персонал включает модемы и роутеры
>> для проверки или настройки, бывают казусы. Ядро не модифицируется.
> Бегите оттуда.Некуда бежать, моя задача заставить все работать. Видимо, придется еще port security добавить.
Была бы везде 3560, было бы проще, она сообщает о FLAP, порт сразу бы нашелся.
>>>> Включаете в сеть L2 сегменты в которых неизвестно что происходит?
>>>> Или я чего-то не понял?
>>> У нас телекоммуникационная компания.
>> Нормально...
> Сарказм? :)Я бы сказал крайняя степень удивления.
>>>>> Включаете в сеть L2 сегменты в которых неизвестно что происходит?
>>>>> Или я чего-то не понял?
>>>> У нас телекоммуникационная компания.
>>> Нормально...
>> Сарказм? :)
> Я бы сказал крайняя степень удивления.Чему?
Очень похоже что превышена максимальная длина L2 участка pvst в семь коммутаторов.
Читайте rfc и всё такое.P.S. STP в сети оператора - зло.
> Очень похоже что превышена максимальная длина L2 участка pvst в семь
> коммутаторов.
> Читайте rfc и всё такое.
> P.S. STP в сети оператора - зло.Прощу прощения, забыл уточнить, компания телекоммуникационная, но эта сеть - корпоративная, внутренняя. С провайдерской частью все в порядке.
А что насчёт первой части?
> А что насчёт первой части?Участок - это от корневого до последнего на кольце, где его разрывает STP? Если так, то 6 коммутаторов. Думаю, если бы я превысил лимит, были бы записи в логах.
> Думаю, если бы я превысил лимит, были бы записи в логах.Нет, настолько далеко за вас коммутаторы думать не будут.
>[оверквотинг удален]
> Проблема. По окончании рабочего дня, когда все выключают компы, а в последнее
> время даже раньше, происходит шторм пакетов (до 10000 pps) в одном
> из VLAN (самом большом). Если разомкнуть кольцо, задушив один и портов
> на кольце, шторма не происходит.
> Вопрос. В чем может быть дело? Подрабатывает какое-то сетевое оборудование? Баг в
> прошивке (каталисты-то старые)?
> P.S. Искал петлю долгое время, но не нашел. Сбивает то, что при
> разомкнутом вручную кольце все работает нормально, а, по идее, в случае
> петли должно штормить.
> Спасибо.Здравствуйте.
В сети случаем не используете SCCM с включенным "Wake Up Proxy" ?http://www.windows-noob.com/forums/index.php?/topic/8427-wak.../
https://supportforums.cisco.com/discussion/11835361/mac-addr...
Нам разок пришлось такое на сети почувствовать, при закрытых ICMP на компьютерах.
Mac-flap происходил повсеместно :-(
> Здравствуйте.
> В сети случаем не используете SCCM с включенным "Wake Up Proxy" ?
> Mac-flap происходил повсеместно :-(Проблема локализована, кольца нет. На одном из линков два SHDSL роутера ZyXEL и комп (удаленное подключение к корпоративке). Обновил прошивку на каждом, не помогло. Поэтому, либо подрабатывает сетевая плата компа, либо в одном из модемов аппаратные проблемы.
Больше склоняюсь к тому, что проблема в сетевой плате, когда комп выключен.