https://www.opennet.ru/openforum/vsluhforumID1/97667.html Добрый день всем!<br>Тестовая лаборатория: Всё представленные здесь машины являются виртуальными и подняты в двух средах VMware Sphera ( то есть PC1 Serv1 это одна VMware Sphera а PC2 Serv2 находятся в другом железном сервере с VMware Spherа).<br><br> Есть проблема по работе Openvswitch с vxlan а именно хочу пробросить сеть (L2) с одной локации в другую посредством поднятия на двух локациях по серверу (Server1, Server2) с двумя сетевыми карточками. Одна сетевая карточка у каждого сервера смотрит в WAN другая в LAN (LAN интерфейсы на обоих серверах без IP адресов) ... <br>Схема такая:<br>PC1(ip 192.168.21.101)====ens224(без ip) Server1_CentOS8 ens160(ip 192.168.13.19)--------ens160(ip 192.168.13.20) Server2_CentOS8 ens224 (без ip)===== LAN (192.168.21.0/24) PC2(ip 192.168.21.100)<br>PC1 и PC2 тестовые машины с которых я пытаюсь пинговать (с PC1 PC2 и наоборот)<br><br>Настраиваю Openvswitch vxlan <br>on Server1 config:<br>ovs-vsctl add-br bridge22<br>ovs-vsctl add-port bridge22 vxlan22 -- set interface vxlan22 type=vxlan options:ke https://www.opennet.ru/openforum/vsluhforumID1/97667.html#7 Fri, 18 Dec 2020 15:01:31 GMT Всё заработало!!!<br>Сначала на отдельных железных серверах (без Vmware) - тут было всё банально... Надо было отключить файервол в гостевых операционных системах (на Server1 и Server2). И сразу всё заработало!<br><br>Отсюда сразу пали подозрения на Vmware (как и сказал StreSS.t )<br><br>Включил на виртуальных свичах Vmwarы к которым подключены сетевые интерфейсы Server1 и Server2 режим promiscuous mode (согласно документации https://kb.vmware.com/s/article/1004099) и всё заработало!<br> <br>Огромное спасибо StreSS.t за помощь!<br><br><br><br> https://www.opennet.ru/openforum/vsluhforumID1/97667.html#6 Thu, 17 Dec 2020 15:16:02 GMT &gt;[оверквотинг удален]<br>&gt; Уже создал всё это хозяйство на отдельных двух старых железных компах у <br>&gt; каждого из которых по две сетевухи... К сожалению тот же результат.... <br>&gt; По поводу роутинга... то внешние интерфейсы этих двух серверов (на которых порождается <br>&gt; VXLAN, а это Server1 и Server2) находятся в одной сети. И <br>&gt; я просто убрал на обоих серверах шлюзы по умолчанию...<br>&gt; То есть пакетикам некуда тут деться (в том смысле что они не <br>&gt; валят хрен знает куда)... Да я и вижу(tcpdump) что на внешние <br>&gt; интерфейсы приходят пакетики завернутые в VXLAN то есть всё идёт куда <br>&gt; надо. на бридж эти пакетики попадают а вот назад <br>&gt; не возвращаются...<br><br>Уточнение!!!<br>Пакетики возвращаются на внешний интерфейс сервера с которого они (пакетики) были отправлены, но именно на бридж с которого они изначально исходили нет...<br> https://www.opennet.ru/openforum/vsluhforumID1/97667.html#5 Thu, 17 Dec 2020 13:32:55 GMT &gt; Ну и таблицу роутинга проверьте что там тоже все верно и что <br>&gt; пакет идет по тому пути который вы одидаете.<br><br>Уже создал всё это хозяйство на отдельных двух старых железных компах у каждого из которых по две сетевухи... К сожалению тот же результат....<br>По поводу роутинга... то внешние интерфейсы этих двух серверов (на которых порождается VXLAN, а это Server1 и Server2) находятся в одной сети. И я просто убрал на обоих серверах шлюзы по умолчанию...<br>То есть пакетикам некуда тут деться (в том смысле что они не валят хрен знает куда)... Да я и вижу(tcpdump) что на внешние интерфейсы приходят пакетики завернутые в VXLAN то есть всё идёт куда надо. на бридж эти пакетики попадают а вот назад не возвращаются... <br> https://www.opennet.ru/openforum/vsluhforumID1/97667.html#4 Thu, 03 Dec 2020 10:29:55 GMT Ну и таблицу роутинга проверьте что там тоже все верно и что пакет идет по тому пути который вы одидаете.<br> https://www.opennet.ru/openforum/vsluhforumID1/97667.html#3 Thu, 03 Dec 2020 10:28:35 GMT Даже при одно интерфейсе варя считает себя умной и изучает маки внутри вм, а т.к. они талбицу маков держит у себя то получается что трафик не доходит до интерфейса.<br>Много раз уже натыкались в разных конфигурациях. Переведите бридж в хаб и проверьте.<br> https://www.opennet.ru/openforum/vsluhforumID1/97667.html#2 Wed, 02 Dec 2020 14:44:35 GMT &gt; Варя плохо переваривает linux bridge с установленными утилитами вари <br>&gt; https://communities.vmware.com/t5/ESXi-Discussions/Linux-Bridge-Between-vSwitches/m-p/1169166 <br>&gt; После перевода в режим hub работает, но есть шанс сломать варе мозг <br><br>По ссылке была статейка, которая гласит:<br>In speaking with the linux-bridging mailing list, I understand where the issue lays.<br><br>The issue is in VMwares vSwitches- when a vSwitch has more than one pNIC in it, the second pNIC (even if standby in an active/passive fail over) replicates back the arp requests, causing the linux bridge to incorrectly update its mac table.<br><br>The recourse is one of a couple things:<br><br> Remove the second pNIC from the vSwitch; of course compromising redundancy.<br><br> Replace the built in vSwitch with a Cisco 1000V (unconfirmed, but assumed to work)<br><br> Replace the Linux bridge with an arp proxy / ip forward.<br><br>If any one else has suggestions, I'm all ears. My understanding is vmware has stated no intention on changing this behavor (he https://www.opennet.ru/openforum/vsluhforumID1/97667.html#1 Tue, 01 Dec 2020 18:41:10 GMT Варя плохо переваривает linux bridge с установленными утилитами вари<br>https://communities.vmware.com/t5/ESXi-Discussions/Linux-Bridge-Between-vSwitches/m-p/1169166<br>После перевода в режим hub работает, но есть шанс сломать варе мозг<br>