The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  вход/выход  слежка  RSS
"Лаги сетевой карты в jail "
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (BSD привязка / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"Лаги сетевой карты в jail "  +/
Сообщение от Alexvn2008 (ok) on 27-Июл-16, 21:14 
Уважаемые гуру, помогите разобраться в чем причина.
Система FreeBSD 10.3-Stable в локальной сети маленького предприятия. Запросами не перегружена, CPU практически бездействует - 1-10 процентов загрузки. В системе собрано две jail-машины также с локальными IP. IP основной машины и первой jail пингуются без потерь, а пинг второй jail - около 30 процентов потерь. Как следствие - долгие ответы nginx, тормозит sshd и работа всех сетевых сервисов. В чем может быть причина?
Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Лаги сетевой карты в jail "  +/
Сообщение от Pahanivo (ok) on 28-Июл-16, 01:08 
очень информативно
но лучше хотя бы ifconfig
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Лаги сетевой карты в jail "  –1 +/
Сообщение от bagas email(ok) on 28-Июл-16, 08:54 
> очень информативно
> но лучше хотя бы ifconfig

Уверен что проблема в самом ведомом сервере или сетевой карточке!
Джаил окружение не причем!

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

4. "Лаги сетевой карты в jail "  +/
Сообщение от ыы on 28-Июл-16, 16:09 
>> очень информативно
>> но лучше хотя бы ifconfig
> Уверен что проблема в самом ведомом сервере или сетевой карточке!
> Джаил окружение не причем!

Да кто-ж знает как оно там у него настроено? может в сети второй такой же айпишник присутствует...

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

3. "Лаги сетевой карты в jail "  +/
Сообщение от ыы on 28-Июл-16, 16:08 
> Уважаемые гуру, помогите разобраться в чем причина.
> Система FreeBSD 10.3-Stable в локальной сети маленького предприятия. Запросами не перегружена,
> CPU практически бездействует - 1-10 процентов загрузки. В системе собрано две
> jail-машины также с локальными IP. IP основной машины и первой jail
> пингуются без потерь, а пинг второй jail - около 30 процентов
> потерь. Как следствие - долгие ответы nginx, тормозит sshd и работа
> всех сетевых сервисов. В чем может быть причина?

В чем угодно. От настройки файрвола, до банально кривой конфигурации сети или самих джайлов.

При пинге с самого сервера тоже потери пакетов? файрвол включен? путь пакетов всегда один и тот же? пинг между джайлами тоже с потерями?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Лаги сетевой карты в jail "  +/
Сообщение от Alexvn2008 (ok) on 28-Июл-16, 17:35 
> При пинге с самого сервера тоже потери пакетов? файрвол включен? путь пакетов
> всегда один и тот же? пинг между джайлами тоже с потерями?

Вывод ifconfig основной машины
re0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 150
0                                                                              
        options=82099<RXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,LINKS
TATE>                                                                          
        ether 08:60:6e:d9:73:27                                                
        inet 172.16.34.41 netmask 0xffff0000 broadcast 172.16.255.255          
        nd6 options=9<PERFORMNUD,IFDISABLED>                                    
        media: Ethernet autoselect (100baseTX <full-duplex>)                    
        status: active                                                          
re1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500      
        options=8209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGI
C,LINKSTATE>                                                                    
        ether 00:1e:58:31:33:1f                                                
        nd6 options=9<PERFORMNUD,IFDISABLED>                                    
        media: Ethernet autoselect (none)                                      
        status: no carrier                                                      
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384              
        options=600003<RXCSUM,TXCSUM,RXCSUM_IPV6,TXCSUM_IPV6>                  
        inet6 ::1 prefixlen 128                                                
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x3                              
        inet 127.0.0.1 netmask 0xff000000                                      
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>                              
bridge0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        ether 02:b1:f2:b6:5f:00                                                
        nd6 options=1<PERFORMNUD>                                              
        id 00:00:00:00:00:00 priority 32768 hellotime 2 fwddelay 15            
        maxage 20 holdcnt 6 proto rstp maxaddr 2000 timeout 1200                
        root id 00:00:00:00:00:00 priority 32768 ifcost 0 port 0                
        member: epair0a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                ifmaxaddr 0 port 5 priority 128 path cost 2000                  
        member: epair2a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                ifmaxaddr 0 port 7 priority 128 path cost 2000                  
        member: re0 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>              
                ifmaxaddr 0 port 1 priority 128 path cost 200000                
epair2a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
1500                                                                          
        options=8<VLAN_MTU>                                                    
        ether 02:ff:a0:00:07:0a                                                
        nd6 options=1<PERFORMNUD>                                              
        media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)                    
        status: active                                                          
epair0a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
1500                                                                          
        options=8<VLAN_MTU>                                                    
        ether 02:ff:a0:00:05:0a                                                
        nd6 options=1<PERFORMNUD>
        ether 02:b1:f2:b6:5f:00                                                
        nd6 options=1<PERFORMNUD>                                              
        id 00:00:00:00:00:00 priority 32768 hellotime 2 fwddelay 15            
        maxage 20 holdcnt 6 proto rstp maxaddr 2000 timeout 1200                
        root id 00:00:00:00:00:00 priority 32768 ifcost 0 port 0                
        member: epair0a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                ifmaxaddr 0 port 5 priority 128 path cost 2000                  
        member: epair2a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                ifmaxaddr 0 port 7 priority 128 path cost 2000                  
        member: re0 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>              
                ifmaxaddr 0 port 1 priority 128 path cost 200000                
epair2a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
1500                                                                          
        options=8<VLAN_MTU>                                                    
        ether 02:ff:a0:00:07:0a                                                
        nd6 options=1<PERFORMNUD>                                              
        media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)                    
        status: active                                                          
epair0a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
1500                                                                          
        options=8<VLAN_MTU>                                                    
        ether 02:ff:a0:00:05:0a                                                
        nd6 options=1<PERFORMNUD>

Пинг первой jail с основной машины
PING 172.16.34.201 (172.16.34.201): 56 data bytes                              
64 bytes from 172.16.34.201: icmp_seq=0 ttl=64 time=0.062 ms                    
64 bytes from 172.16.34.201: icmp_seq=1 ttl=64 time=0.044 ms                    
64 bytes from 172.16.34.201: icmp_seq=2 ttl=64 time=0.049 ms                    
64 bytes from 172.16.34.201: icmp_seq=3 ttl=64 time=0.043 ms                    
64 bytes from 172.16.34.201: icmp_seq=4 ttl=64 time=0.045 ms                    
64 bytes from 172.16.34.201: icmp_seq=5 ttl=64 time=0.040 ms                    
64 bytes from 172.16.34.201: icmp_seq=6 ttl=64 time=0.049 ms                    
64 bytes from 172.16.34.201: icmp_seq=7 ttl=64 time=0.044 ms                    
64 bytes from 172.16.34.201: icmp_seq=8 ttl=64 time=0.047 ms                    
64 bytes from 172.16.34.201: icmp_seq=9 ttl=64 time=0.055 ms                    
64 bytes from 172.16.34.201: icmp_seq=10 ttl=64 time=0.054 ms                  
64 bytes from 172.16.34.201: icmp_seq=11 ttl=64 time=0.056 ms                  
64 bytes from 172.16.34.201: icmp_seq=12 ttl=64 time=0.041 ms                  
64 bytes from 172.16.34.201: icmp_seq=13 ttl=64 time=0.056 ms                  
64 bytes from 172.16.34.201: icmp_seq=14 ttl=64 time=0.054 ms                  
                                                                                
--- 172.16.34.201 ping statistics ---                                          
15 packets transmitted, 15 packets received, 0.0% packet loss                  
round-trip min/avg/max/stddev = 0.040/0.049/0.062/0.006 ms

Пинг второй jail с основной машины
PING 172.16.34.202 (172.16.34.202): 56 data bytes                              
                                                                                
--- 172.16.34.202 ping statistics ---                                          
15 packets transmitted, 0 packets received, 100.0% packet loss

Пинг второго jail с рабочей станции в сети
Обмен пакетами с 172.16.34.202 по с 32 байтами данных:
Ответ от 172.16.34.202: число байт=32 время=1мс TTL=64
Ответ от 172.16.34.202: число байт=32 время=2мс TTL=64
Ответ от 172.16.34.202: число байт=32 время=1мс TTL=64
Превышен интервал ожидания для запроса.
Превышен интервал ожидания для запроса.
Превышен интервал ожидания для запроса.
Превышен интервал ожидания для запроса.
Превышен интервал ожидания для запроса.
Превышен интервал ожидания для запроса.
Превышен интервал ожидания для запроса.
Ответ от 172.16.34.202: число байт=32 время=4мс TTL=64
Ответ от 172.16.34.202: число байт=32 время=1мс TTL=64
Ответ от 172.16.34.202: число байт=32 время=2мс TTL=64
Ответ от 172.16.34.202: число байт=32 время=11мс TTL=64
Ответ от 172.16.34.202: число байт=32 время=1мс TTL=64

Статистика Ping для 172.16.34.202:
    Пакетов: отправлено = 15, получено = 8, потеряно = 7
    (46% потерь)
Приблизительное время приема-передачи в мс:
    Минимальное = 1мсек, Максимальное = 11 мсек, Среднее = 2 мсек

Ну, а пинги основной машины и первой jail - без потерь

Файервол на серве выключен, на маршрутизаторе - включен только на wan порте.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

6. "Лаги сетевой карты в jail "  +/
Сообщение от lavr email(ok) on 29-Июл-16, 00:34 
>> При пинге с самого сервера тоже потери пакетов? файрвол включен? путь пакетов
>> всегда один и тот же? пинг между джайлами тоже с потерями?

Вы сами создавали jail'ы?

У Вас jail'ы используют vimage?

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

9. "Лаги сетевой карты в jail "  +/
Сообщение от Alexvn2008 (ok) on 29-Июл-16, 12:37 
> Вы сами создавали jail'ы?
> У Вас jail'ы используют vimage?

Нет создавал не сам, а через веб-морду сервера, vimage кажется ставил галочку. Посмотрю

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

11. "Лаги сетевой карты в jail "  +/
Сообщение от ыы on 29-Июл-16, 13:51 
>> Вы сами создавали jail'ы?
>> У Вас jail'ы используют vimage?
> Нет создавал не сам, а через веб-морду сервера, vimage кажется ставил галочку.
> Посмотрю

какую веб-морду сервера?

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

7. "Лаги сетевой карты в jail "  +/
Сообщение от ыы on 29-Июл-16, 09:14 
>[оверквотинг удален]
>         ether 02:ff:a0:00:07:0a
>         nd6 options=1<PERFORMNUD>
>         media: Ethernet 10Gbase-T (10Gbase-T
> <full-duplex>)
>         status: active
> epair0a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
>  1500
>         options=8<VLAN_MTU>
>         ether 02:ff:a0:00:05:0a
>         nd6 options=1<PERFORMNUD>

Как вам удалось этого добиться? вы ошиблись при копировании вывода ifconfig?

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

8. "Лаги сетевой карты в jail "  +/
Сообщение от ыы on 29-Июл-16, 09:17 
Оверквотинг все сьел...
Почему у вас в ifconfig интерфейсы перечислены по 2 раза с разными параметрами,
и откуда у вас в описании epair-а взялось вот это:
        member: epair0a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                ifmaxaddr 0 port 5 priority 128 path cost 2000                  
        member: epair2a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                ifmaxaddr 0 port 7 priority 128 path cost 2000                  
        member: re0 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>              
                ifmaxaddr 0 port 1 priority 128 path cost 200000                

Вы забриджевали epair сам на себя?

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

10. "Лаги сетевой карты в jail "  +/
Сообщение от Alexvn2008 (ok) on 29-Июл-16, 12:54 
> Вы забриджевали epair сам на себя?

Пардон за мое не знание, а как должно быть? Что исправить? видимо сборка окружения через вэбку - не лучший вариант.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

12. "Лаги сетевой карты в jail "  +/
Сообщение от lavr email(ok) on 29-Июл-16, 15:46 
>> Вы забриджевали epair сам на себя?
> Пардон за мое не знание, а как должно быть? Что исправить? видимо
> сборка окружения через вэбку - не лучший вариант.

дело не в "вебке", а в понимании.

Откуда нам знать:
- почему FreeBSD 10.3-Stable ?
- какое ядро: GENERIC или Custom ?
- чем Вы пользовались для создания Jail ?
- какие Jail'ы Вы создавали:
a) традиционные
b) с собственным сетевым стеком - vimage
- для чего Вы создавали Jail машины и что у Вас в них крутится

исходя из этого, можно попробовать посмотреть конфигурацию и настройки

традиционный jail:
- jail без vimage не имеет собственного сетевого стека, отдаются ip-alias'ы в jail

jail с сетевым стеком(vimage):
- для vimage - необходимо собрать собственное ядро с vimage
- epairX[a,b] - используется как виртуальный Ethernet, например для присоединения
jail машины к бриджу: epair - ethernet с двумя концами, один присоединяем
к jail, второй конец втыкаем в бридж:

HOST-[ bridge: re0 + epair0a ]<--- epair0 ---> [epair0b]-jailvm1

типа: HOST--- re0 --> воткнули в мост -->[bridge] воткнули в мост<--- epair0a --- ethernet ---- epair0b ---->воткнули в виртуальную_машину_jail

один конец epairX при запуске jailс vnet - должен добавляться в bridge с re0,
другой _присоединяется_ к jail машине. Посему, если в host'е выдать:
# ifconfig -a
болтающихся epair не должно быть

есть хорошие порты для управления: cbsd, iocage, jadm, qjail... - правда некоторые
только zfs-based.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

13. "Лаги сетевой карты в jail "  +/
Сообщение от Alexvn2008 (ok) on 29-Июл-16, 17:00 
Сервер freenas с zfs на трех дисках с raidz, для доступа к файлам из локальной сети через samba и ftp. Jail1 с transmission, создавался путем добавления плагина к freenas - автоматически создается jail и прописываются все настройки. Jail2 - для owncloud: создал jail через вкладку jails в вебе freenas, а установку и настройку owncloud делал по статье в хабре "облака - белогривые лошадки". Все работает, но owncloud жутко тормозит. Погуглил, увидел проблему с пингами сетевухи jail2.


Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

14. "Лаги сетевой карты в jail "  +/
Сообщение от Alexvn2008 (ok) on 29-Июл-16, 17:32 
# uname -a
FreeBSD freenas.local 10.3-STABLE FreeBSD 10.3-STABLE #0 455d13d(9.10-STABLE): S
un Jun 26 22:47:03 PDT 2016     root@build.ixsystems.com:/tank/home/nightlies/bu
ild-freenas9/_BE/objs/tank/home/nightlies/build-freenas9/_BE/trueos/sys/FreeNAS.
amd64  amd64

vimage галочкой отмечен jail

# ifconfig -a

re0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 150
0                                                                              
        options=82099<RXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,LINKS
TATE>                                                                          
        ether 08:60:6e:d9:73:27                                                
        inet 172.16.34.41 netmask 0xffff0000 broadcast 172.16.255.255          
        nd6 options=9<PERFORMNUD,IFDISABLED>                                    
        media: Ethernet autoselect (100baseTX <full-duplex>)                    
        status: active                                                          
re1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500      
        options=8209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGI
C,LINKSTATE>                                                                    
        ether 00:1e:58:31:33:1f                                                
        nd6 options=9<PERFORMNUD,IFDISABLED>                                    
        media: Ethernet autoselect (none)                                      
        status: no carrier                                                      
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384              
        options=600003<RXCSUM,TXCSUM,RXCSUM_IPV6,TXCSUM_IPV6>                  
        inet6 ::1 prefixlen 128                                                
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x3                              
        inet 127.0.0.1 netmask 0xff000000                                      
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>                              
bridge0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        ether 02:b1:f2:b6:5f:00                                                
        nd6 options=1<PERFORMNUD>                                              
        id 00:00:00:00:00:00 priority 32768 hellotime 2 fwddelay 15            
        maxage 20 holdcnt 6 proto rstp maxaddr 2000 timeout 1200                
        root id 00:00:00:00:00:00 priority 32768 ifcost 0 port 0                
        member: epair0a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                ifmaxaddr 0 port 5 priority 128 path cost 2000                  
        member: epair2a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                ifmaxaddr 0 port 7 priority 128 path cost 2000                  
        member: re0 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>              
                ifmaxaddr 0 port 1 priority 128 path cost 200000                
epair2a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
1500                                                                          
        options=8<VLAN_MTU>                                                    
        ether 02:ff:a0:00:07:0a                                                
        nd6 options=1<PERFORMNUD>                                              
        media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)                    
        status: active                                                          
epair0a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
1500                                                                          
        options=8<VLAN_MTU>                                                    
        ether 02:ff:a0:00:05:0a                                                
        nd6 options=1<PERFORMNUD>
        media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)                    
        status: active

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

15. "Лаги сетевой карты в jail "  +/
Сообщение от Alexvn2008 (ok) on 29-Июл-16, 17:36 
# uname -i
FREENAS64                                                                      
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

16. "Лаги сетевой карты в jail "  +/
Сообщение от lavr email(ok) on 29-Июл-16, 23:51 
> # uname -i
> FREENAS64

к сожалению, с NAS'ами не помогу, не пользуюсь ими.

Советую спросить на FreeNAS'овских форумах.

прим. У Вас одна активная сетевая карта "re0", и торрентом можно очень лихо
нагрузить ее, так что возможны таймауты в jail'ах с виртуальными ethernet'ами.

прим. перегруз сетевого стека != ошибки сетевой карты.

посмотреть наличие ошибок, набрать в консоли хост машины:

# netstat -I re0 -w 3

увидите и ошибки и коллизии, если их нет, но присутствуют "тормоза",
либо ограничивайте торрент-качалки, либо тюнингуйте сетевой стек.
Ну и логи смотрите

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "Лаги сетевой карты в jail "  +/
Сообщение от Alexvn2008 (ok) on 30-Июл-16, 06:59 
Спасибо за совет, буду пробовать, позже отпишусь.

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

18. "Лаги сетевой карты в jail "  +/
Сообщение от Alexvn2008 (ok) on 02-Авг-16, 22:01 
Разобрался в чем была причина, все оч банально: freenas при создании нового jail присваивает mac по умолчанию всем одинаковый. Обе виртуалки работали с одинаковым маком, поэтому конфликтовали. Всем спасибо за правильные подсказки, куда копать. Тему можно закрывать.


Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

19. "Лаги сетевой карты в jail "  +/
Сообщение от lavr email(ok) on 03-Авг-16, 12:19 
> Разобрался в чем была причина, все оч банально: freenas при создании нового
> jail присваивает mac по умолчанию всем одинаковый. Обе виртуалки работали с
> одинаковым маком, поэтому конфликтовали. Всем спасибо за правильные подсказки, куда копать.
> Тему можно закрывать.

очень странно, подразумеваю что дело не в freenas, вряд ли они прокололись бы
в генерации mac, скорей всего plugin создания jails.

И да, ping должен был бы показать наличие dup?


Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру