URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID10
Нить номер: 5114
[ Назад ]
Исходное сообщение
"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 06-Фев-13 15:37 
Помогите организовать ipsec между zywall и raccon
Имеем, Linux(Centos 6.3) racoon
#cat /etc/racoon/racoon.conf
path include "/etc/racoon";
path pre_shared_key "/etc/racoon/psk.txt";
{
    isakmp 77.233.5.123 [500];
    strict_address;
}
include "/etc/racoon/109.172.Y.Y.conf" ;

#cat /etc/racoon/109.172.Y.Y.conf
remote 109.172.Y.Y
{
    exchange_mode main;
    my_identifier address 77.233.X.X;
    lifetime time 28800 sec;
    generate_policy on;
    nat_traversal on;
    proposal {
        encryption_algorithm des;
        hash_algorithm md5;
        authentication_method pre_shared_key;
        dh_group 2 ;
    }
}
sainfo address 172.16.0.0/24 any address 192.168.5.0/24 any
   {
      pfs_group 2;
      lifetime time 28800 sec;
      encryption_algorithm des;
      authentication_algorithm hmac_sha1;
      compression_algorithm deflate;
   }

#cat /etc/racoon/setkey.conf
#!/sbin/setkey -f
flush;
spdflush;
spdadd 192.168.5.0/24 172.16.0.0/24 any -P out ipsec esp/tunnel/77.233.X.X-109.172.Y.Y/use;
spdadd 172.16.0.0/24 192.168.5.0/24 any -P in ipsec esp/tunnel/109.172.Y.Y-77.233.X.X/use;

#cat /etc/racoon/psk.txt
109.172.Y.Y PASSWORD_KEY

Параметры роутера ZYWALL
interface lan1
ip address 172.16.0.1 255.255.255.0
type internal
mtu 1500
ip helper-address 172.16.0.100
!
address-object KM2_VPN_LOCAL 172.16.0.0/24
address-object KM2_VPN_REMOTE 192.168.5.0/24
!
isakmp policy KM2
peer-ip 77.233.X.X
local-ip interface wan1
authentication pre-share
encrypted-keystring $4$q9S6rDm7$t8BJG/RC7K5uX9Exdq8F0NbZXYp8suJuPJPP0gPB5Us8LDhOCqrU5Cd2UGDPu5pDtuGDHlg7Zug/YSZLE1004U$
mode main
transform-set des-md5
group2
lifetime 28800
natt
xauth type server default deactivate
peer-id type ip 77.233.X.X
local-id type ip 109.172.Y.Y
!
crypto ignore-df-bit
!
crypto map KM2
ipsec-isakmp KM2
encapsulation tunnel
transform-set esp-des-sha
set security-association lifetime seconds 28800
set pfs group2
scenario site-to-site-static
local-policy KM2_LOCAL
remote-policy KM2_REMOTE
replay-detection
!
vpn-configuration-provision authentication default
!
router rip
!
router ospf
!
zone IPSec_VPN
crypto KM2
!
zone TUNNEL

Не хочет подниматься.
В логах racoon
[root@gtw racoon]# racoon -Fddd
Foreground mode.
2013-02-06 15:31:25: ERROR: racoon: MLS support is not enabled.
2013-02-06 15:31:25: INFO: @(#)ipsec-tools 0.8.0 (http://ipsec-tools.sourceforge.net)
2013-02-06 15:31:25: INFO: @(#)This product linked OpenSSL 1.0.0-fips 29 Mar 2010 (http://www.openssl.org/)
2013-02-06 15:31:25: INFO: Reading configuration from "/etc/racoon/racoon.conf"
2013-02-06 15:31:25: DEBUG: call pfkey_send_register for AH
2013-02-06 15:31:26: DEBUG: call pfkey_send_register for ESP
2013-02-06 15:31:26: DEBUG: call pfkey_send_register for IPCOMP
2013-02-06 15:31:26: DEBUG: reading config file /etc/racoon/racoon.conf
2013-02-06 15:31:26: DEBUG: filename: /etc/racoon/109.172.Y.Y.conf
2013-02-06 15:31:26: DEBUG: reading config file /etc/racoon/109.172.Y.Y.conf
2013-02-06 15:31:26: DEBUG2: parse successed.
2013-02-06 15:31:26: DEBUG: open /var/racoon/racoon.sock as racoon management.
2013-02-06 15:31:26: INFO: 77.233.X.X[500] used for NAT-T
2013-02-06 15:31:26: INFO: 77.233.X.X[500] used as isakmp port (fd=6)
2013-02-06 15:31:26: DEBUG: pk_recv: retry[0] recv()
2013-02-06 15:31:26: DEBUG: got pfkey X_SPDDUMP message
2013-02-06 15:31:26: DEBUG2:
02120200 02000000 00000000 4f0b0000
2013-02-06 15:31:26: DEBUG: pfkey X_SPDDUMP failed: No such file or directory
2013-02-06 15:31:47: DEBUG: ===
2013-02-06 15:31:47: DEBUG: 236 bytes message received from 109.172.Y.Y[500] to 77.233.X.X[500]
2013-02-06 15:31:47: DEBUG:
ddd20d33 7e5c3d31 00000000 00000000 01100200 00000000 000000ec 0d000034
00000001 00000001 00000028 00010001 00000020 00010000 80010001 80020001
80030001 80040002 800b0001 800c7080 0d000014 f758f226 68750f03 b08df6eb
e1d00403 0d000012 afcad713 68a1f1c9 6b8696fc 77570d00 0014cd60 464335df
21f87cfd b2fc68b6 a4480d00 001490cb 80913ebb 696e0863 81b5ec42 7b1f0d00
00147d94 19a65310 ca6f2c17 9d921552 9d560d00 00144a13 1c810703 58455c57
28f20e95 452f0d00 0014afca d71368a1 f1c96b86 96fc7757 01000000 0012afca
d71368a1 f1c96b86 96fc7757
2013-02-06 15:31:47: [109.172.Y.Y] ERROR: exchange Identity Protection not allowed in any applicable rmconf.
2013-02-06 15:31:48: DEBUG: ===
2013-02-06 15:31:48: DEBUG: 236 bytes message received from 109.172.Y.Y[500] to 77.233.X.X[500]
2013-02-06 15:31:48: DEBUG:
ddd20d33 7e5c3d31 00000000 00000000 01100200 00000000 000000ec 0d000034
00000001 00000001 00000028 00010001 00000020 00010000 80010001 80020001
80030001 80040002 800b0001 800c7080 0d000014 f758f226 68750f03 b08df6eb
e1d00403 0d000012 afcad713 68a1f1c9 6b8696fc 77570d00 0014cd60 464335df
21f87cfd b2fc68b6 a4480d00 001490cb 80913ebb 696e0863 81b5ec42 7b1f0d00
00147d94 19a65310 ca6f2c17 9d921552 9d560d00 00144a13 1c810703 58455c57
28f20e95 452f0d00 0014afca d71368a1 f1c96b86 96fc7757 01000000 0012afca
d71368a1 f1c96b86 96fc7757
2013-02-06 15:31:48: [109.172.Y.Y] ERROR: exchange Identity Protection not allowed in any applicable rmconf.
2013-02-06 15:31:49: DEBUG: ===
2013-02-06 15:31:49: DEBUG: 236 bytes message received from 109.172.Y.Y[500] to 77.233.X.X[500]
2013-02-06 15:31:49: DEBUG:

Т.е. не проходит даже первая фаза
ERROR: exchange Identity Protection not allowed in any applicable rmconf.
Подскажите в какую сторону копать? Толкового мана по связке ZYWALL с RACOON не нашел...

Содержание
Сообщения в этом обсуждении
"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 06-Фев-13 17:01 
tcpdump говорит следующее
16:58:58.501535 IP 109.172.Y.Y.isakmp > 77.233.X.X.isakmp: isakmp: phase 1 I agg
16:58:58.501610 IP 77.233.X.X > 109.172.Y.Y: ICMP 77.233.X.X udp port isakmp unreachable, length 356
16:58:59.012445 IP 109.172.Y.Y.isakmp > 77.233.X.X.isakmp: isakmp: phase 1 I agg
16:58:59.012502 IP 77.233.X.X > 109.172.Y.Y: ICMP 77.233.X.X udp port isakmp unreachable, length 356

Пробовал ставить и агресивный метод и маин....

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено muhlik , 06-Фев-13 17:16 
> tcpdump говорит следующее
> 16:58:58.501535 IP 109.172.Y.Y.isakmp > 77.233.X.X.isakmp: isakmp: phase 1 I agg
> 16:58:58.501610 IP 77.233.X.X > 109.172.Y.Y: ICMP 77.233.X.X udp port isakmp unreachable,
> length 356

Я так понял 77.233.X.X это ваш ЦентОС... и он отвечает что порт недоступен, посмотрите может он у вас файрволом прикрыт по reject правилу. А для начала netstat'ом посмотрите у вас вообще 500 порт слушает кто-нить?

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 06-Фев-13 17:41 
> Я так понял 77.233.X.X это ваш ЦентОС... и он отвечает что порт
> недоступен, посмотрите может он у вас файрволом прикрыт по reject правилу.
> А для начала netstat'ом посмотрите у вас вообще 500 порт слушает
> кто-нить?

# netstat -na | grep 500
udp        0      0 77.233.X.X:500            0.0.0.0:*

Правила IPTABLES
EXTIP=77.233.X.X
$IPTABLES -N ext-in
$IPTABLES -A INPUT -d $EXTIP -j ext-in
$IPTABLES -A ext-in -p udp --dport 500 -j ACCEPT
$IPTABLES -A ext-in -p udp --dport 4500 -j ACCEPT

Причем если ставлю агресивный метод, то пишет
ERROR: exchange Aggressive not allowed in any applicable rmconf.

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 06-Фев-13 19:54 
Нашел ошибку...
файл 109.172.Y.Y.conf был написан в кодировке ANSI
Теперь вторая проблема... Доходит до второй фазы и нестыковочка.

2013-02-06 19:52:18: DEBUG: new cookie:
f965bcd4c33fca3e
2013-02-06 19:52:18: DEBUG: 40 bytes from 77.233.X.X[500] to 109.172.Y.Y[500]
2013-02-06 19:52:18: DEBUG: sockname 77.233.X.X[500]
2013-02-06 19:52:18: DEBUG: send packet from 77.233.X.X[500]
2013-02-06 19:52:18: DEBUG: send packet to 109.172.Y.Y[500]
2013-02-06 19:52:18: DEBUG: src4 77.233.X.X[500]
2013-02-06 19:52:18: DEBUG: dst4 109.172.Y.Y[500]
2013-02-06 19:52:18: DEBUG: 1 times of 40 bytes message will be sent to 109.172.Y.Y[500]
2013-02-06 19:52:18: DEBUG:
5ab91d27 1f6c3d16 f965bcd4 c33fca3e 0b100500 bf1d5858 00000028 0000000c
00000001 01000004
2013-02-06 19:52:18: DEBUG: sendto Information notify.
2013-02-06 19:52:18: [109.172.Y.Y] ERROR: can't start the quick mode, there is no ISAKMP-SA, 5ab91d271f6c3d16:41e96bbe253053c5:000017e7

tcpdump
19:52:18.225983 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto UDP (17), length 68)
    77.233.X.X.isakmp > 109.172.Y.Y.isakmp: isakmp 1.0 msgid bf1d5858: phase 2/others ? inf:
    (n: doi=ipsec proto=isakmp type=INVALID-COOKIE)


"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 07-Фев-13 09:08 
Вроде как добил, но не до конца...
Счас матюкается так:
Feb  7 09:05:15 gtw racoon: 2013-02-07 09:05:15: INFO: ISAKMP-SA expired 77.233.5.123[500]-109.172.77.30[500] spi:92749b41d7712f04:f43b5cff8bddf028
Feb  7 09:05:15 gtw racoon: 2013-02-07 09:05:15: INFO: ISAKMP-SA deleted 77.233.5.123[500]-109.172.77.30[500] spi:92749b41d7712f04:f43b5cff8bddf028
Feb  7 09:06:29 gtw racoon: 2013-02-07 09:06:29: INFO: respond new phase 1 negotiation: 77.233.X.X[500]<=>109.172.Y.Y[500]
Feb  7 09:06:29 gtw racoon: 2013-02-07 09:06:29: INFO: begin Identity Protection mode.
Feb  7 09:06:29 gtw racoon: 2013-02-07 09:06:29: INFO: received Vendor ID: DPD
Feb  7 09:06:30 gtw rsyslogd-2177: imuxsock begins to drop messages from pid 6048 due to rate-limiting
Feb  7 09:06:37 gtw rsyslogd-2177: imuxsock lost 183 messages from pid 6048 due to rate-limiting

Это message с linux

Чуть не забыл, PID 6048 - это пид racoon

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 07-Фев-13 13:03 
Итак, канал поднялся.
# setkey -DP
192.168.5.0/24[any] 172.16.0.0/24[any] 255
        out prio def ipsec
        esp/tunnel/77.233.X.X-109.172.Y.Y/require
        created: Feb  7 12:53:04 2013  lastused:
        lifetime: 3600(s) validtime: 0(s)
        spid=305 seq=1 pid=3416
        refcnt=2
172.16.0.0/24[any] 192.168.5.0/24[any] 255
        fwd prio def ipsec
        esp/tunnel/109.172.Y.Y-77.233.X.X/require
        created: Feb  7 12:53:04 2013  lastused:
        lifetime: 3600(s) validtime: 0(s)
        spid=298 seq=2 pid=3416
        refcnt=2
172.16.0.0/24[any] 192.168.5.0/24[any] 255
        in prio def ipsec
        esp/tunnel/109.172.Y.Y-77.233.X.X/require
        created: Feb  7 12:53:04 2013  lastused:
        lifetime: 3600(s) validtime: 0(s)
        spid=288 seq=3 pid=3416
        refcnt=2
(per-socket policy)
        out(socket) none
        created: Feb  7 12:53:03 2013  lastused: Feb  7 12:53:04 2013
        lifetime: 0(s) validtime: 0(s)
        spid=284 seq=4 pid=3416
        refcnt=1
(per-socket policy)
        in(socket) none
        created: Feb  7 12:53:03 2013  lastused: Feb  7 12:53:04 2013
        lifetime: 0(s) validtime: 0(s)
        spid=275 seq=0 pid=3416
        refcnt=1

Остался вопрос, как правильно прописать маршрут. У меня тунель получился без виртуальных интерфейсов. И если просто добавляю маршрут, то ругается:
route add -net 172.16.0.0/24 gw 109.172.Y.Y
SIOCADDRT: No such process


"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 07-Фев-13 14:42 
По идее должно же без gif работать...
http://how-it.ru/public/root/409-nastroika_ipsec_tunnelya_na...
Однако если с одной сети пытаюсь трассировку другой сделать...
C:\Documents and Settings\1>tracert -d 172.16.0.100
Трассировка маршрута к 172.16.0.100 с максимальным числом прыжков 30
  1    <1 мс    <1 мс    <1 мс  192.168.5.6
  2    <1 мс    14 ms    <1 мс  77.233.5.113
  3     1 ms    <1 мс    <1 мс  217.150.54.54
  4  217.150.54.54  сообщает: Заданный узел недоступен.
Т.е. не заворачивается пакет в тонель. Куда копать?

Точнее работает, но в одну сторону. Как сделать что бы в обе стороны работал?
C:\Users\niferman>tracert -d 192.168.5.2
Трассировка маршрута к 192.168.5.2 с максимальным числом прыжков 30
  1    <1 мс    <1 мс    <1 мс  172.16.0.1
  2     *        *        *     Превышен интервал ожидания для запроса
  3     *        *        *     Превышен интервал ожидания для запроса
  4    45 ms    44 ms    44 ms  192.168.5.2

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 07-Фев-13 15:17 
Помогите советом уважаемые...
Я так понял что канал в одну сторону работает по причине вот этой строчки

172.16.0.0/24[any] 192.168.5.0/24[any] 255
        fwd prio def ipsec
        esp/tunnel/109.172.Y.Y-77.233.X.X/require
        created: Feb  7 15:01:56 2013  lastused:
        lifetime: 3600(s) validtime: 0(s)
        spid=26 seq=2 pid=2517
        refcnt=2
Т.е. получается forward из 172.16.0.0/24[any] в 192.168.5.0/24[any] есть.
А вот обратно нет. И как сделать не пойму, вроде setkey написан правильно

spdadd 192.168.5.0/24 172.16.0.0/24 any -P out ipsec esp/tunnel/77.233.X.X-109.172.Y.Y/require;
spdadd 172.16.0.0/24 192.168.5.0/24 any -P in ipsec esp/tunnel/109.172.Y.Y-77.233.X.X/require;

но получается что первая строка не отрабатывает что ли...
Уже и iptables разрешил все
[root@gtw ~]# iptables -L -t nat
Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
SNAT       all  --  192.168.5.0/24       anywhere            to:77.233.X.Z

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
[root@gtw ~]# iptables -L
Chain INPUT (policy ACCEPT)
target     prot opt source               destination

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено a2l , 11-Фев-13 05:19 
>[оверквотинг удален]
>   1    <1 мс    <1
> мс    <1 мс  172.16.0.1
>   2     *    
>    *        
> *     Превышен интервал ожидания для запроса
>   3     *    
>    *        
> *     Превышен интервал ожидания для запроса
>   4    45 ms    44
> ms    44 ms  192.168.5.2

таблицы маршрутизации покажи

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 11-Фев-13 09:34 
> таблицы маршрутизации покажи

[root@gtw ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
77.233.X.X    0.0.0.0         255.255.255.240 U     0      0        0 eth0
192.168.5.0     0.0.0.0         255.255.255.0   U     0      0        0 eth1
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     1003   0        0 eth1
0.0.0.0         77.233.X.Z    0.0.0.0         UG    0      0        0 eth0

Это с той стороны где не идут пинги.

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено a2l , 12-Фев-13 10:06 
>> таблицы маршрутизации покажи
> Это с той стороны где не идут пинги.

А, действительно, если туннели между шлюзами, то будет и так работать.


>Т.е. получается forward из 172.16.0.0/24[any] в 192.168.5.0/24[any] есть.
>А вот обратно нет. И как сделать не пойму, вроде setkey написан правильно
>spdadd 192.168.5.0/24 172.16.0.0/24 any -P out ipsec esp/tunnel/77.233.X.X-109.172.Y.Y/require;
>spdadd 172.16.0.0/24 192.168.5.0/24 any -P in ipsec esp/tunnel/109.172.Y.Y-77.233.X.X/require;

Вставь в начало файла команду spdflush:
spdflush ;
spdadd 192.168.5.0/24 172.16.0.0/24 any -P out ipsec esp/tunnel/77.233.X.X-109.172.Y.Y/require;
spdadd 172.16.0.0/24 192.168.5.0/24 any -P in ipsec esp/tunnel/109.172.Y.Y-77.233.X.X/require;

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 12-Фев-13 14:31 
> Вставь в начало файла команду spdflush:
> spdflush ;
> spdadd 192.168.5.0/24 172.16.0.0/24 any -P out ipsec esp/tunnel/77.233.X.X-109.172.Y.Y/require;
> spdadd 172.16.0.0/24 192.168.5.0/24 any -P in ipsec esp/tunnel/109.172.Y.Y-77.233.X.X/require;

У меня счас стоит так
[root@gtw ~]# cat /etc/racoon/setkey.conf
#!/sbin/setkey -f
flush;
spdflush;
spdadd 192.168.5.0/24 172.16.0.0/24 any -P out ipsec esp/tunnel/77.233.X.X-109.172.Y.Y/require;
spdadd 172.16.0.0/24 192.168.5.0/24 any -P in ipsec esp/tunnel/109.172.Y.Y-77.233.X.X/require;

И если я правильно понимаю, то строка
spdadd 172.16.0.0/24 192.168.5.0/24
отрабатывает, а строка
spdadd 192.168.5.0/24 172.16.0.0/24
нет.
Осталось понять почему...

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено a2l , 13-Фев-13 06:50 

> И если я правильно понимаю, то строка
> spdadd 172.16.0.0/24 192.168.5.0/24
> отрабатывает, а строка
> spdadd 192.168.5.0/24 172.16.0.0/24
> нет.
> Осталось понять почему...

меня терзают смутные сомнения по поводу строчки #!/sbin/setkey -f
(ключик -f смущает)

Попробуй интерактивно задать правила:

setkey -c << EOF
flush;
spdflush;
spdadd 192.168.5.0/24 172.16.0.0/24 any -P out ipsec esp/tunnel/77.233.X.X-109.172.Y.Y/require;
spdadd 172.16.0.0/24 192.168.5.0/24 any -P in ipsec esp/tunnel/109.172.Y.Y-77.233.X.X/require;
EOF

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 13-Фев-13 10:16 
> Попробуй интерактивно задать правила:
> setkey -c << EOF
> flush;
> spdflush;
> spdadd 192.168.5.0/24 172.16.0.0/24 any -P out ipsec esp/tunnel/77.233.X.X-109.172.Y.Y/require;
> spdadd 172.16.0.0/24 192.168.5.0/24 any -P in ipsec esp/tunnel/109.172.Y.Y-77.233.X.X/require;
> EOF

Попробовал, результат тот же....
с нерабочего конца
tracert -d 172.16.0.100
Трассировка маршрута к 172.16.0.100 с максимальным числом прыжков 30
  1    <1 мс    <1 мс    <1 мс  192.168.5.6
  2    <1 мс    <1 мс    <1 мс  77.233.X.Z
  3     1 ms     1 ms    <1 мс  217.150.54.54
  4  ^C
с рабочего
tracert -d 192.168.5.2
Трассировка маршрута к 192.168.5.2 с максимальным числом прыжков 30
  1    <1 мс    <1 мс    <1 мс  172.16.0.1
  2     *        *        *     Превышен интервал ожидания для запроса.
  3     *        *        *     Превышен интервал ожидания для запроса.
  4     3 ms     5 ms     3 ms  192.168.5.2
Трассировка завершена.

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено a2l , 13-Фев-13 12:55 
>> Попробуй интерактивно задать правила:
>> setkey -c << EOF
>> flush;
>> spdflush;
>> spdadd 192.168.5.0/24 172.16.0.0/24 any -P out ipsec esp/tunnel/77.233.X.X-109.172.Y.Y/require;
>> spdadd 172.16.0.0/24 192.168.5.0/24 any -P in ipsec esp/tunnel/109.172.Y.Y-77.233.X.X/require;
>> EOF
> Попробовал, результат тот же....

что показывает setkey -D и  setkey -DP ?

> с нерабочего конца

Нерабочий конец какой адрес имеет? 192.168.5.2?
>[оверквотинг удален]
> мс    <1 мс  172.16.0.1
>   2     *    
>    *        
> *     Превышен интервал ожидания для запроса.
>   3     *    
>    *        
> *     Превышен интервал ожидания для запроса.
>   4     3 ms    
>  5 ms     3 ms  192.168.5.2
> Трассировка завершена.

Насколько я понял, ZYWALL имеет 109.172.Y.Y внешний адрес и 172.16.0.1 - внутренний, а
172.16.0.100 - просто комп за фаерволом.
77.233.X.X - внешний адрес линукса, 192.168.5.6 - внутренний, 192.168.5.2 - комп в сети за линуксом
77.233.X.Z -default gateway для линукса.

Правильно?

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 13-Фев-13 19:42 
Да, все верно.
С подсети 192.168.5.0/24 пинги в подсеть 172.16.0.0/24 не идут.
В обратную сторону с 172.16.0.0/24 в 192.168.5.0/24 пинги идут.
# setkey -D
77.233.X.X 109.172.Y.Y
        esp mode=tunnel spi=1374467382(0x51ecb536) reqid=0(0x00000000)
        E: des-cbc  fcf0f034 ce49a5f2
        A: hmac-sha1  02e6d408 59629bca de6f865e b37c6bb1 91db89f0
        seq=0x00000000 replay=4 flags=0x00000000 state=dying
        created: Feb 13 18:52:40 2013   current: Feb 13 19:44:21 2013
        diff: 3101(s)   hard: 3600(s)   soft: 2880(s)
        last: Feb 13 19:08:38 2013      hard: 0(s)      soft: 0(s)
        current: 1077627(bytes) hard: 0(bytes)  soft: 0(bytes)
        allocated: 1622 hard: 0 soft: 0
        sadb_seq=1 pid=24841 refcnt=0
109.172.Y.Y 77.233.X.X
        esp mode=tunnel spi=169212330(0x0a15f9aa) reqid=0(0x00000000)
        E: des-cbc  587f7d54 a789e400
        A: hmac-sha1  f10cc2fb 79f82122 b8cbac55 7ac56d85 7ed3ff2f
        seq=0x00000000 replay=4 flags=0x00000000 state=dying
        created: Feb 13 18:52:40 2013   current: Feb 13 19:44:21 2013
        diff: 3101(s)   hard: 3600(s)   soft: 2880(s)
        last: Feb 13 19:08:38 2013      hard: 0(s)      soft: 0(s)
        current: 87367(bytes)   hard: 0(bytes)  soft: 0(bytes)
        allocated: 1165 hard: 0 soft: 0
        sadb_seq=0 pid=24841 refcnt=0

]# setkey -DP
192.168.5.0/24[any] 172.16.0.0/24[any] 255
        out prio def ipsec
        esp/tunnel/77.233.X.X-109.172.Y.Y/require
        created: Feb 13 18:52:40 2013  lastused: Feb 13 19:13:44 2013
        lifetime: 3600(s) validtime: 0(s)
        spid=81 seq=1 pid=24844
        refcnt=2
172.16.0.0/24[any] 192.168.5.0/24[any] 255
        fwd prio def ipsec
        esp/tunnel/109.172.Y.Y-77.233.X.X/require
        created: Feb 13 18:52:40 2013  lastused: Feb 13 19:13:44 2013
        lifetime: 3600(s) validtime: 0(s)
        spid=74 seq=2 pid=24844
        refcnt=2
172.16.0.0/24[any] 192.168.5.0/24[any] 255
        in prio def ipsec
        esp/tunnel/109.172.Y.Y-77.233.X.X/require
        created: Feb 13 18:52:40 2013  lastused:
        lifetime: 3600(s) validtime: 0(s)
        spid=64 seq=3 pid=24844
        refcnt=2
(per-socket policy)
        out(socket) none
        created: Feb  7 15:01:50 2013  lastused: Feb 13 18:52:39 2013
        lifetime: 0(s) validtime: 0(s)
        spid=12 seq=4 pid=24844
        refcnt=1
(per-socket policy)
        in(socket) none
        created: Feb  7 15:01:50 2013  lastused: Feb 13 18:52:42 2013
        lifetime: 0(s) validtime: 0(s)
        spid=3 seq=0 pid=24844
        refcnt=1

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено a2l , 19-Фев-13 07:57 
>[оверквотинг удален]
>         lifetime: 0(s) validtime: 0(s)
>         spid=12 seq=4 pid=24844
>         refcnt=1
> (per-socket policy)
>         in(socket) none
>         created: Feb  7
> 15:01:50 2013  lastused: Feb 13 18:52:42 2013
>         lifetime: 0(s) validtime: 0(s)
>         spid=3 seq=0 pid=24844
>         refcnt=1

хмммм...
попробуй в настройках ракуна поставить generate_policy off  и пройти весь  путь настройки сначала -- проверить обмен ключами по isakmp и тд. Я бы покрутил настройки зивала.

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 20-Фев-13 17:25 
> хмммм...
> попробуй в настройках ракуна поставить generate_policy off  и пройти весь  
> путь настройки сначала -- проверить обмен ключами по isakmp и тд.
> Я бы покрутил настройки зивала.

Выставил в racoon generate_policy off
результат:
INFO: received INITIAL-CONTACT
INFO: ISAKMP-SA established 77.233.X.X[500]-109.172.Y.Y[500] spi:57ef63031a11111f:733387080b4db4cd
racoon: INFO: respond new phase 2 negotiation: 77.233.X.X[500]<=>109.172.Y.Y[500]
racoon: ERROR: no policy found: 172.16.0.0/24[0] 192.168.5.0/24[0] proto=any dir=in
racoon: ERROR: failed to get proposal for responder.

При таких параметрах:
    exchange_mode main, aggressive;
    lifetime time 28800 sec;
    generate_policy on;
    nat_traversal off;
    proposal
    {
        encryption_algorithm des;
        hash_algorithm md5;
        authentication_method pre_shared_key;
        dh_group 2 ;
    }
Соединяется, вот вывод лога:
INFO: ISAKMP-SA established 77.233.X.X[500]-109.172.Y.Y[500] spi:1b1cfea85c85245a:a3d4223e8dcd4ab2
INFO: respond new phase 2 negotiation: 77.233.X.X[500]<=>109.172.Y.Y[500]
INFO: no policy found, try to generate the policy : 172.16.0.0/24[0] 192.168.5.0/24[0] proto=any dir=in
INFO: IPsec-SA established: ESP/Tunnel 77.233.X.X[500]->109.172.Y.Y[500] spi=78513879(0x4ae06d7)
INFO: IPsec-SA established: ESP/Tunnel 77.233.X.X[500]->109.172.Y.Y[500] spi=1178198533(0x4639e205)

Смущает строка
no policy found, try to generate the policy : 172.16.0.0/24[0] 192.168.5.0/24[0] proto=any dir=in
Хотя по факту из 172.16.0.0/24 в 192.168.5.0/24 пакеты идут. А вот в обратную сторону не хотят.

"ipsec ZYWALL и RACOON (Centos 6.3)"
Отправлено AleR , 21-Фев-13 12:16 
Проблема решена - засада оказалась в IPTABLES, дописал правила
iptables -t nat -I POSTROUTING -d 172.16.0.0/24 -j ACCEPT
iptables -I FORWARD -p all -d 172.16.0.0/24 -s 192.168.5.0/24 -j ACCEPT
iptables -I FORWARD -p all -s 172.16.0.0/24 -d 192.168.5.0/24 -j ACCEPT

И все заработало
Точнее было достаточно
iptables -t nat -I POSTROUTING -d 172.16.0.0/24 -j ACCEPT
Тема закрыта.