URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID6
Нить номер: 21504
[ Назад ]
Исходное сообщение
"2821+2 туннеля+OSPF=мистика"
Отправлено Dmitry , 25-Авг-10 06:57 
Здравствуйте уважаемые коллеги!
Столкнулся с “мистической” проблемой на своей железке.
Суть, если упростить, в следующем, есть туннельная циска 2821, к ней подходят 2 провайдера. Через этих провайдеров проложено 2 IPinIP туннеля к удаленной циске, за которой находится локалка 192.168.7.0/24. Поднят ospf, который нормально отрабатывает.
За 2821 стоит свитч, который так же по ospf “снюхан” с ней. На свитче в отдельном vlan’е висит подсеть 192.168.100.0/24

Прикладываю конфиг (убрал все лишнее)
Код:

Current configuration : 36911 bytes
!
! Last configuration change at 12:54:09 PCTime Wed Aug 25 2010 by rroot
!
version 15.1
service timestamps debug datetime msec
service timestamps log datetime msec
service password-encryption
!
hostname gw-tun
!
boot-start-marker
boot-end-marker
!
logging buffered 51200 warnings
!
aaa new-model
!
!
aaa authentication login default local
aaa authentication login sdm_vpn_xauth_ml_2 group radius
aaa authentication ppp default group radius
aaa authorization network default group radius
!
!
!
!
!
aaa session-id common
!
clock timezone PCTime 10
clock summer-time PCTime recurring last Sun Mar 3:00 last Sun Oct 3:00
!
dot11 syslog
no ip source-route
!
!
ip cef
!
!
no ipv6 cef
!
multilink bundle-name authenticated
!
!
!
!
vpdn enable
vpdn aaa attribute nas-ip-address vpdn-nas
vpdn aaa attribute nas-port physical-channel-id
!!
voice-card 0
!
!
!
!
crypto ikev2 diagnose error 50
!
!
ip ssh version 2
!
!
interface Tunnel115
  description Tunnel-To-RP37(VDC) (192.168.7.0)
  bandwidth 800
  ip address 172.21.7.1 255.255.255.252
  ip ospf authentication message-digest
  ip ospf authentication-key XXXXXXXX
  tunnel source 95.154.106.1
  tunnel mode ipip
  tunnel destination 86.102.77.212
!
interface Tunnel116
  description Tunnel-To-RP37(VDC)-Reserve (192.168.7.0)
  bandwidth 500
  ip address 172.21.7.5 255.255.255.252
  ip ospf authentication message-digest
  ip ospf authentication-key XXXXXXXXX
  tunnel source 82.194.167.230
  tunnel mode ipip
  tunnel destination 194.67.48.178
!
interface GigabitEthernet0/0
  description To-Uplink-Switch
  no ip address
  no ip proxy-arp
  ip virtual-reassembly
  duplex auto
  speed auto
!
interface GigabitEthernet0/0.101
  description Vostok-Telecom
  encapsulation dot1Q 101
  ip address 82.194.167.230 255.255.255.240
!

interface GigabitEthernet0/0.150
  encapsulation dot1Q 150
  ip address 95.154.106.1 255.255.255.252
  ip policy route-map TT-MA
!
interface GigabitEthernet0/0.223
  description To-Cat4k
  encapsulation dot1Q 223
  ip address 10.5.3.1 255.255.255.252
  ip ospf authentication message-digest
!
interface GigabitEthernet0/0.261
encapsulation dot1Q 261
  ip address 172.19.15.10 255.255.255.252
  ip access-group OUT-Filter in
  ip flow ingress
  ip flow egress
!
interface GigabitEthernet0/1
  description $ES_LAN$
  ip address dhcp
  shutdown
  duplex auto
  speed auto
!
router ospf 1
  router-id 10.5.3.1
  log-adjacency-changes
  area 0 authentication message-digest
  redistribute connected subnets route-map OSPF
  redistribute static subnets route-map OSPF
  passive-interface default
  no passive-interface GigabitEthernet0/0.223
  no passive-interface Tunnel115
  no passive-interface Tunnel116
network 10.5.3.0 0.0.0.3 area 0
network 172.21.7.0 0.0.0.7 area 0
!
ip local policy route-map Out-Via-In
no ip forward-protocol nd
ip http server
no ip http secure-server
!
!
ip route 0.0.0.0 0.0.0.0 172.19.15.9
!
ip access-list standard OSPF-Local-List
  permit 10.1.1.16 0.0.0.15
  permit 10.1.4.0 0.0.0.31
  permit 10.1.4.64 0.0.0.31
  permit 10.1.3.0 0.0.0.63
  permit 10.5.3.0 0.0.0.7
  permit 10.10.8.0 0.0.0.3
  permit 192.168.11.0 0.0.0.255
  permit 192.168.19.0 0.0.0.255
  permit 10.0.10.0 0.0.0.3
  permit 192.168.80.0 0.0.0.255
  permit 192.168.90.0 0.0.0.255
  permit 192.168.91.0 0.0.0.255
  permit 192.168.5.0 0.0.0.255
  permit 192.168.254.0 0.0.0.255
  deny any
!
access-list 100 permit ip host 86.102.61.89 any
access-list 101 permit ip 95.154.106.0 0.0.0.15 any
access-list 102 permit ip host 82.194.167.230 any
!
!
!
route-map OSPF permit 10
  match ip address OSPF-Local-List
!
route-map Out-Via-In permit 10
  match ip address 100
  set ip next-hop 86.102.61.81
!
route-map Out-Via-In permit 20
  match ip address 101
  set ip next-hop 172.19.15.9
!
route-map Out-Via-In permit 30
  match ip address 102
  set ip next-hop 82.194.167.225
!
!
!
control-plane
!
!
!
mgcp fax t38 ecm
!
!
!
!
banner motd ^C
^C
!
line con 0
line aux 0
line vty 0 4
transport input ssh
!
scheduler allocate 20000 1000
ntp update-calendar
ntp server 91.194.10.40
!
webvpn gateway gateway_1
end


При поднятом основном линке все чудно:

Код:

gw-tun#show ip ospf neighbor

Neighbor ID Pri State Dead Time Address Interface
172.21.7.2 0 FULL/ - 00:00:30 172.21.7.6 Tunnel116
172.21.7.2 0 FULL/ - 00:00:36 172.21.7.2 Tunnel115
10.5.0.3 1 FULL/DR 00:00:31 10.5.3.2 GigabitEthernet0/0.223


Маршрут в системе есть и все ходит отлично
Код:

gw-tun#show ip route 192.168.7.1
Routing entry for 192.168.7.0/24
    Known via "ospf 1", distance 110, metric 20, type extern 2, forward metric 125
    Last update from 172.21.7.2 on Tunnel115, 00:01:21 ago
    Routing Descriptor Blocks:
    * 172.21.7.2, from 172.21.7.2, 00:01:21 ago, via Tunnel115
            Route metric is 20, traffic share count is 1

gw-rp37#show ip route 192.168.100.233
Routing entry for 192.168.100.0/24
    Known via "ospf 1", distance 110, metric 20, type extern 2, forward metric 101
    Last update from 172.21.7.1 on Tunnel0, 00:00:06 ago
    Routing Descriptor Blocks:
    * 172.21.7.1, from 10.5.0.3, 00:00:06 ago, via Tunnel0
            Route metric is 20, traffic share count is 1


Код:

Трассировка маршрута к 192.168.7.1 с максимальным числом прыжков 30

    1 <1 мс 7 ms 3 ms 192.168.100.1
    2 <1 мс <1 мс <1 мс 10.5.3.1
    3 15 ms 14 ms 14 ms 172.21.7.2
    4 13 ms 13 ms 14 ms 192.168.7.1


Но вот если “положить” основной тунель, тут-то и начинается чертовщина.
OSPF отрабатывает нормально, маршруты изменяются на резервные

Код:

gw-tun#show ip route 192.168.7.1
Routing entry for 192.168.7.0/24
    Known via "ospf 1", distance 110, metric 20, type extern 2, forward metric 200
    Last update from 172.21.7.6 on Tunnel116, 00:00:12 ago
    Routing Descriptor Blocks:
    * 172.21.7.6, from 172.21.7.2, 00:00:12 ago, via Tunnel116
            Route metric is 20, traffic share count is 1


gw-rp37#show ip route 192.168.100.233
Routing entry for 192.168.100.0/24
    Known via "ospf 1", distance 110, metric 20, type extern 2, forward metric 201
    Last update from 172.21.7.5 on Tunnel3, 00:00:07 ago
    Routing Descriptor Blocks:
    * 172.21.7.5, from 10.5.0.3, 00:00:07 ago, via Tunnel3
            Route metric is 20, traffic share count is 1


Маршрутизаторы прекрасно видят друг друга

Код:

gw-tun#traceroute 192.168.7.1

Type escape sequence to abort.
Tracing the route to rp.vdc.ru (192.168.7.1)

    1 172.21.7.6 144 msec 136 msec 144 msec
    2 rp.vdc.ru (192.168.7.1) 140 msec 152 msec 136 msec


Но вот из сети “ЗА” 2821 пакеты не идут, хотя до нее доходят

Код:

Трассировка маршрута к 192.168.7.1 с максимальным числом прыжков 30

    1 1 ms <1 мс <1 мс 192.168.100.1
    2 <1 мс <1 мс <1 мс 10.5.3.1
    3 * * * Превышен интервал ожидания для запроса.
    4 * * * Превышен интервал ожидания для запроса.

И с обратной стороны:
gw-rp37#traceroute 192.168.100.233

Type escape sequence to abort.
Tracing the route to 192.168.100.233

    1 172.21.7.5 144 msec 156 msec 144 msec
    2 * * *
    3 * * *


Т.е. затык явно на 2821. Ибо таких туннелей несколько, и в качестве удаленного роутера не всегда циска, есть железные микротики. Везде симптомы схожи.
После поднятия основного туннеля, маршруты возвращаются на место и пакеты бегут нормально.
Подозреваю, что проблемка может быть и в резервном провайдере, но тогда не понятен тот факт, почему по резервному туннелю пакеты таки бегают.

Основной провайдер маршрутизирует на меня подсеть через транзитные ip 172.19.15.8/30
Для прокидывания выделенной подсети через транзитные Ip используется ip policy route-map TT-MA
В OUT-Filter ipinip разрешен.
По идее эти моменты влиять не должны.

IOS менял, сейчас стоит (C2800NM-ADVIPSERVICESK9-M), Version 15.1(1)XB

В общем мозг уже сломал окончательно, буду признателен за любую помощь!

Содержание
Сообщения в этом обсуждении
"2821+2 туннеля+OSPF=мистика"
Отправлено Fsh , 25-Авг-10 09:41 
>[оверквотинг удален]
>Но вот если “положить” основной тунель, тут-то и начинается чертовщина.
>OSPF отрабатывает нормально, маршруты изменяются на резервные
>
>
>Но вот из сети “ЗА” 2821 пакеты не идут, хотя до нее
>доходят
>
>
>
>В общем мозг уже сломал окончательно, буду признателен за любую помощь!

MTU?
IOS лучше из 12.4 ветки подобрать, 15 сыровата ещё.

"2821+2 туннеля+OSPF=мистика"
Отправлено Dmitry , 25-Авг-10 09:45 
>[оверквотинг удален]
>>
>>Но вот из сети “ЗА” 2821 пакеты не идут, хотя до нее
>>доходят
>>
>>
>>
>>В общем мозг уже сломал окончательно, буду признателен за любую помощь!
>
>MTU?
>IOS лучше из 12.4 ветки подобрать, 15 сыровата ещё.

MTU на всех туннелях 1460
IOS раньше стоял 15.0M работал нормально.

"2821+2 туннеля+OSPF=мистика"
Отправлено Dmitry , 26-Авг-10 05:18 
>[оверквотинг удален]
>>
>>Но вот из сети “ЗА” 2821 пакеты не идут, хотя до нее
>>доходят
>>
>>
>>
>>В общем мозг уже сломал окончательно, буду признателен за любую помощь!
>
>MTU?
>IOS лучше из 12.4 ветки подобрать, 15 сыровата ещё.

В общем проблему я кажется определил. Повесил ассес листы на интерфейсы провайдеров где разрешил ходить через них только ip провайдеров. И выловил, что в случае падения первого линка, при отправке пакетов, резервный тунель пытается инициироваться через интерфейс первого прова:

list TT-Lock denied ipinip 82.194.167.230 -> 194.67.48.178, 1 packet

Это и объясняет то, что пакеты от самой циски уходят нормально, ибо отрабатывает ip local policy route-map

Можно ли эти грабли как-нибудь победить? Или только ip sla на DG?

"2821+2 туннеля+OSPF=мистика"
Отправлено fantom , 26-Авг-10 09:27 
Прописать отдельныйе маршруты для тунелей?
ip route 86.102.77.212 255.255.255.255 95.154.106.2
ip route 194.67.48.178 255.255.255.255 82.194.167.225

и исключить их редистрибуцию в OSPF (если не исключить - будут проблемы :) )

"2821+2 туннеля+OSPF=мистика"
Отправлено fantom , 26-Авг-10 09:27 
>Прописать отдельныйе маршруты для тунелей?
>ip route 86.102.77.212 255.255.255.255 95.154.106.2
>ip route 194.67.48.178 255.255.255.255 82.194.167.225
>
>и исключить их редистрибуцию в OSPF (если не исключить - будут проблемы
>:) )

На "встречной" кошке - аналогично...

"2821+2 туннеля+OSPF=мистика"
Отправлено Dmitry , 25-Авг-10 10:14 
Заметил еще странность.
Если в момент, когда основной канал лежит, на тунельной циске дефолт гетвей сменить на резервного провайдера, пакеты бегут, но в этом случае, при поднятии основного, перестает маршрутизироваться через него.
Значит явно проблема с дефолтовым маршрутом. Но почему тогда туннели как таковые работают?


"2821+2 туннеля+OSPF=мистика"
Отправлено lumenous , 25-Авг-10 10:28 
>[оверквотинг удален]
>
>Основной провайдер маршрутизирует на меня подсеть через транзитные ip 172.19.15.8/30
>Для прокидывания выделенной подсети через транзитные Ip используется ip policy route-map TT-MA
>
>В OUT-Filter ipinip разрешен.
>По идее эти моменты влиять не должны.
>
>IOS менял, сейчас стоит (C2800NM-ADVIPSERVICESK9-M), Version 15.1(1)XB
>
>В общем мозг уже сломал окончательно, буду признателен за любую помощь!

При отключенном основном линке
gw-tun#show ip ospf neighbor
что говорит?

"2821+2 туннеля+OSPF=мистика"
Отправлено Dmitry , 26-Авг-10 03:40 
>[оверквотинг удален]
>>В OUT-Filter ipinip разрешен.
>>По идее эти моменты влиять не должны.
>>
>>IOS менял, сейчас стоит (C2800NM-ADVIPSERVICESK9-M), Version 15.1(1)XB
>>
>>В общем мозг уже сломал окончательно, буду признателен за любую помощь!
>
>При отключенном основном линке
>gw-tun#show ip ospf neighbor
>что говорит?

gw-tun#show ip ospf neighbor

Neighbor ID     Pri   State           Dead Time   Address         Interface
172.21.7.2        0   FULL/  -        00:00:32    172.21.7.6      Tunnel116
10.5.0.3          1   FULL/DR         00:00:35    10.5.3.2        GigabitEthernet0/0.223