URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 94880
[ Назад ]
Исходное сообщение
"Нестабильная работа FreeBSD 9.1"
Отправлено Om , 29-Июл-13 12:04 
Добрый день установлен шлюз с 4х портовой интеловой сетевой картой, на вышеупомянутой системе. Имеется 300мбитный канал. При большой сетевой нагрузке сервер начинает глючить(на секунду пропадает пинг, отваливаются сетевые сессии, аська, ссш). В логах ошибок нет.

Конфиг sysctl

Код:    

dev.igb.0.rx_processing_limit=4096
dev.igb.1.rx_processing_limit=4096
dev.igb.2.rx_processing_limit=4096
dev.igb.3.rx_processing_limit=4096


# DEVICE_POLLING
#kern.polling.enable=1
#kern.polling.idle_poll=0
#kern.polling.user_frac=20

# direct dispatch
#net.isr.direct=1

# keep more unprocessed packets
net.inet.ip.intr_queue_maxlen=500

# entropy harvesting off (ipsec rng doesn't use /dev/random)
kern.random.sys.harvest.ethernet=0
kern.random.sys.harvest.interrupt=0
kern.random.sys.harvest.point_to_point=0

# 1: force hardware crypto
# 0: use hardware if available
# -1: force software crypto
net.inet.ipsec.crypto_support=0

# no IPsec debugging
net.inet.ipsec.debug=0

# duplicate SAD won't cause FAIL
net.key.preferred_oldsa=0

# prefer ESP auth to AH
net.key.esp_auth=1

# breaks ipnat if PR 72210 not fixed (we fixed it partially -- active ftp still breaks)
# also breaks 'subnet extrusion' somehow
net.inet.ip.fastforwarding=0

# required for subnet extrusion
net.inet.ip.redirect=0

# may fix panic in m_copym -- http://unix.derkeiler.com/Mailing-Lists/FreeBSD/current/2004...
# net.inet.tcp.sack.enable=0

# strong host model
net.inet.ip.check_interface=1

net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=0
#et.inet.ipf.fr_tcpidletimeout=3600

################
net.route.netisr_maxqlen=4096
kern.ipc.nmbclusters=400000
kern.ipc.maxsockbuf=83886080
net.inet.ip.intr_queue_maxlen=10240


Конфиг loader.conf

Код:    

hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.max_interrupt_rate=32000
net.isr.defaultqlimit=4096
net.link.ifqmaxlen=10240

Железо
ProLiant DL380p Gen8

Очень нужна ваша помощь

Содержание
Сообщения в этом обсуждении
")))"
Отправлено RedD , 29-Июл-13 13:58 
Может быть все что угодно, возможно проще попробовать использовать испытанную 8.4 чем искать причину, возможно 9.1 никто под большой нагрузкой не гонял. А кто гонял и нашел причину не поделился. А может и железо, запросто.
")))"
Отправлено RedD , 29-Июл-13 14:13 
Ибо 9.1 вышла только полгода как назад, и возможны глюки, я так думаю
")))"
Отправлено Om , 29-Июл-13 14:49 
> Ибо 9.1 вышла только полгода как назад, и возможны глюки, я так
> думаю

отключил

tcp_extensions
tcp_keepalive

вроде как работает

")))"
Отправлено Om , 29-Июл-13 15:42 
>> Ибо 9.1 вышла только полгода как назад, и возможны глюки, я так
>> думаю
> отключил
> tcp_extensions
> tcp_keepalive
> вроде как работает

Не какое-то время было все нормально, теперь опять глючит

")))"
Отправлено RedD , 29-Июл-13 15:57 
Во во, ну не знаю попробуй
1) запусти ping
2) запусти tcpdump >> /dump.log

И смотри потом куды что девается
Раз в логах нет ничто

")))"
Отправлено Om , 29-Июл-13 16:06 
> Во во, ну не знаю попробуй
> 1) запусти ping
> 2) запусти tcpdump >> /dump.log
> И смотри потом куды что девается
> Раз в логах нет ничто

что там смотреть то? там такой трафик валит что тяжко смотреть будет

")))"
Отправлено Om , 29-Июл-13 16:17 
>> Во во, ну не знаю попробуй
>> 1) запусти ping
>> 2) запусти tcpdump >> /dump.log
>> И смотри потом куды что девается
>> Раз в логах нет ничто
> что там смотреть то? там такой трафик валит что тяжко смотреть будет

И к стати пинг может не прерываться на ресурс, но агент заббикса сообщает об обрыве. Рвутся ссш сессии. На Фрюхе 7.1 и другом железе этих проблем небыло.


")))"
Отправлено Om , 29-Июл-13 16:23 
>>> Во во, ну не знаю попробуй
>>> 1) запусти ping
>>> 2) запусти tcpdump >> /dump.log
>>> И смотри потом куды что девается
>>> Раз в логах нет ничто
>> что там смотреть то? там такой трафик валит что тяжко смотреть будет
> И к стати пинг может не прерываться на ресурс, но агент заббикса
> сообщает об обрыве. Рвутся ссш сессии. На Фрюхе 7.1 и другом
> железе этих проблем небыло.

Ссш отваливается только при простое

")))"
Отправлено RedD , 29-Июл-13 16:25 
Запусти ssh сессию с ip_1
tcpdump -i eth0 | grep ip_1 >> /log

Как сессия оборвалась смотри

")))"
Отправлено RedD , 29-Июл-13 16:31 
Ну тут если при простое, то это настрой SSH server, timeout.
")))"
Отправлено Om , 29-Июл-13 16:32 
> Ну тут если при простое, то это настрой SSH server, timeout.

да это все настроено, сессия просто зависает, потом обрывается, а процесс остается висеть

")))"
Отправлено RedD , 29-Июл-13 16:33 
Ну тогда смотри логи tcpdump там все должно быть,
")))"
Отправлено RedD , 29-Июл-13 16:39 
Еще как вариант попробовать включить логгирование всего и вся по максимуму, на время поиска проблемы


")))"
Отправлено RedD , 29-Июл-13 16:46 
Все равно что нибудь да вылезет, чудес не бывает =)
")))"
Отправлено Om , 29-Июл-13 16:48 
>> Ну тут если при простое, то это настрой SSH server, timeout.
> да это все настроено, сессия просто зависает, потом обрывается, а процесс остается
> висеть

В общем странная фигня, сессия повисает, при нажатии на кнопки пакеты в тспдампе идут как обычно, ack seq. Через какое то время ссш вылетает а пакеты seq продолжают валиться на него

")))"
Отправлено Om , 29-Июл-13 17:52 
>>> Ну тут если при простое, то это настрой SSH server, timeout.
>> да это все настроено, сессия просто зависает, потом обрывается, а процесс остается
>> висеть
> В общем странная фигня, сессия повисает, при нажатии на кнопки пакеты в
> тспдампе идут как обычно, ack seq. Через какое то время ссш
> вылетает а пакеты seq продолжают валиться на него

Глючит только когда в сеть начинают ломиться порядко 400 компов, при большом трафике но с меньшим количеством компов не глючит

")))"
Отправлено RedD , 29-Июл-13 19:56 
Попробуй 8.4 она стабильнее должна быть
")))"
Отправлено RedD , 29-Июл-13 20:01 
Или пиши разработчикам


")))"
Отправлено RedD , 29-Июл-13 20:14 
Или попробуй ядро пересобрать


")))"
Отправлено Om , 29-Июл-13 20:30 
> Или пиши разработчикам

Bug report на freebsd.org? Честно говоря не могу сформулировать толком свою проблему, попробую кое что изменить в конфиге ядра и пересобрать

")))"
Отправлено RedD , 29-Июл-13 20:35 
>> Или пиши разработчикам
> Bug report на freebsd.org? Честно говоря не могу сформулировать толком свою проблему,
> попробую кое что изменить в конфиге ядра и пересобрать

Да как есть так и пиши, под нагрузкой то да се. Явно не у одного тебя такие проблемы, можь завтра вечером тебе решение пришлют =)


")))"
Отправлено RedD , 29-Июл-13 20:36 
Я если честно в бсд давно завязал, не удобная она какая-то по мне лично.
")))"
Отправлено hizel , 30-Июл-13 11:01 
> Запусти ssh сессию с ip_1
> tcpdump -i eth0 | grep ip_1 >> /log
> Как сессия оборвалась смотри

Сжечь и изнасиловать: tcpdump -i eth0 -w ./log host ip_1

")))"
Отправлено RedD , 30-Июл-13 15:14 
>> Запусти ssh сессию с ip_1
>> tcpdump -i eth0 | grep ip_1 >> /log
>> Как сессия оборвалась смотри
> Сжечь и изнасиловать: tcpdump -i eth0 -w ./log host ip_1

Фу как так, горелое же будит, может наоборот ?


")))"
Отправлено VolanD , 29-Июл-13 20:47 
>>> Во во, ну не знаю попробуй
>>> 1) запусти ping
>>> 2) запусти tcpdump >> /dump.log
>>> И смотри потом куды что девается
>>> Раз в логах нет ничто
>> что там смотреть то? там такой трафик валит что тяжко смотреть будет
> И к стати пинг может не прерываться на ресурс, но агент заббикса
> сообщает об обрыве. Рвутся ссш сессии. На Фрюхе 7.1 и другом
> железе этих проблем небыло.

Может серверу плохо просто. С загрузкой ЦП как?

")))"
Отправлено RedD , 30-Июл-13 08:16 
У него ProLiant DL380p Gen8.
Процессор
Intel® Xeon® E5-2620 (6-ядерный, 2 ГГц, 15 МБ, 95 Вт).

Для шлюза это с головой должно хватить.

")))"
Отправлено VolanD , 30-Июл-13 08:32 
> У него ProLiant DL380p Gen8.
> Процессор
> Intel® Xeon® E5-2620 (6-ядерный, 2 ГГц, 15 МБ, 95 Вт).
> Для шлюза это с головой должно хватить.

Ну фиг знает, что там еще крутится )))

")))"
Отправлено Om , 30-Июл-13 11:58 
>>>> Во во, ну не знаю попробуй
>>>> 1) запусти ping
>>>> 2) запусти tcpdump >> /dump.log
>>>> И смотри потом куды что девается
>>>> Раз в логах нет ничто
>>> что там смотреть то? там такой трафик валит что тяжко смотреть будет
>> И к стати пинг может не прерываться на ресурс, но агент заббикса
>> сообщает об обрыве. Рвутся ссш сессии. На Фрюхе 7.1 и другом
>> железе этих проблем небыло.
> Может серверу плохо просто. С загрузкой ЦП как?

минимальная

"Нестабильная работа FreeBSD 9.1"
Отправлено кегна , 02-Авг-13 17:37 
> Очень нужна ваша помощь

А натит кто? natd? Или ядерный нат?
cat /etc/rc.conf покаж )

"Нестабильная работа FreeBSD 9.1"
Отправлено Om , 05-Авг-13 09:40 
>> Очень нужна ваша помощь
> А натит кто? natd? Или ядерный нат?
> cat /etc/rc.conf покаж )

ipnat натит нат

mapped  in      52995422        out     38188841
added   1443223 expired 1380345
no memory       0       bad nat 2102
inuse   12334
orphans 0
rules   654
wilds   0
hash efficiency 16.50%
bucket usage    99.41%
minimal length  0
maximal length  19
average length  6.061
TCP Entries per state
     0     1     2     3     4     5     6     7     8     9    10    11
     0     5     4     0  4046   131  1594     0     3     0  4718   166

"Нестабильная работа FreeBSD 9.1"
Отправлено кегна , 05-Авг-13 11:21 
> ipnat натит нат

Ну я бы посоветовал kernel нат

"Нестабильная работа FreeBSD 9.1"
Отправлено Om , 05-Авг-13 11:31 
>> ipnat натит нат
> Ну я бы посоветовал kernel нат

причем тут нат?

виснут TCP сессии , а не нат

то есть, обрывается подключение к эксченжу, ssh , это всё ходит не через нат

"Нестабильная работа FreeBSD 9.1"
Отправлено кегна , 05-Авг-13 15:10 
>>> ipnat натит нат
>> Ну я бы посоветовал kernel нат
> причем тут нат?
> виснут TCP сессии , а не нат
> то есть, обрывается подключение к эксченжу, ssh , это всё ходит не
> через нат

ну рас такой умный то кури дампы тцп сессий :D

"Нестабильная работа FreeBSD 9.1"
Отправлено Om , 05-Авг-13 16:05 
>>>> ipnat натит нат
>>> Ну я бы посоветовал kernel нат
>> причем тут нат?
>> виснут TCP сессии , а не нат
>> то есть, обрывается подключение к эксченжу, ssh , это всё ходит не
>> через нат
> ну рас такой умный то кури дампы тцп сессий :D

ниче там нету, уже смотрел

"Нестабильная работа FreeBSD 9.1"
Отправлено Om , 05-Авг-13 16:18 
>>>>> ipnat натит нат
>>>> Ну я бы посоветовал kernel нат
>>> причем тут нат?
>>> виснут TCP сессии , а не нат
>>> то есть, обрывается подключение к эксченжу, ssh , это всё ходит не
>>> через нат
>> ну рас такой умный то кури дампы тцп сессий :D
> ниче там нету, уже смотрел

могу сказать на 99% проблемы с сетевухой, но как из решить не знаю

"Нестабильная работа FreeBSD 9.1"
Отправлено кегна , 05-Авг-13 18:55 
>>>>>> ipnat натит нат
>>>>> Ну я бы посоветовал kernel нат
>>>> причем тут нат?
>>>> виснут TCP сессии , а не нат
>>>> то есть, обрывается подключение к эксченжу, ssh , это всё ходит не
>>>> через нат
>>> ну рас такой умный то кури дампы тцп сессий :D
>> ниче там нету, уже смотрел
> могу сказать на 99% проблемы с сетевухой, но как из решить не
> знаю

поменять? ))))))))))))

"Нестабильная работа FreeBSD 9.1"
Отправлено Om , 07-Авг-13 10:50 
>[оверквотинг удален]
>>>>>> Ну я бы посоветовал kernel нат
>>>>> причем тут нат?
>>>>> виснут TCP сессии , а не нат
>>>>> то есть, обрывается подключение к эксченжу, ssh , это всё ходит не
>>>>> через нат
>>>> ну рас такой умный то кури дампы тцп сессий :D
>>> ниче там нету, уже смотрел
>> могу сказать на 99% проблемы с сетевухой, но как из решить не
>> знаю
> поменять? ))))))))))))

И на что?