The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Проблемы с сетью, периодически пропадает доступ"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (BSD привязка / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"Проблемы с сетью, периодически пропадает доступ"  +/
Сообщение от kudlak (ok) on 22-Окт-13, 22:20 
Использую FreeBSD 9.1 final.
есть непонятная проблема, периодически замерзает связь, при этом на сервере никакой активности.

Сетевые карточки X540-t2, все настройки в sysctl в соответствии с требованиями

hw.intr_storm_threshold=9000
kern.ipc.nmbclusters=262144
kern.ipc.nmbjumbop=262144


в dmesg чисто, в логах тоже. пробовал помониторить netstat, переполнений каких-либо не нашел. посоветуйте, что и как прощупать, чтобы найти проблему.

Сервер раздает шару nfs

[root@hast01 ~]# uname -a
FreeBSD hast01 9.1-RELEASE FreeBSD 9.1-RELEASE #0 r243825: Tue Dec  4 09:23:10 UTC 2012     root@farrell.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC  amd64

[root@hast01 ~]# netstat -m
32889/22926/55815 mbufs in use (current/cache/total)
32768/11366/44134/262144 mbuf clusters in use (current/cache/total/max)
32768/9344 mbuf+clusters out of packet secondary zone in use (current/cache)
0/3020/3020/262144 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
73758K/40543K/114301K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/0/0 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routines

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Проблемы с сетью, периодически пропадает доступ"  +/
Сообщение от kudlak (ok) on 22-Окт-13, 22:40 
нашел две баги:
[root@hast01 ~]# vmstat -z | head -n 30
ITEM                   SIZE  LIMIT     USED     FREE      REQ FAIL SLEEP
--//--
32 Bucket:              280,      0,     246,       6,     262,   9,   0
64 Bucket:              536,      0,     271,       2,     287,  74,   0
128 Bucket:            1048,      0,   10987,      41,   45306,10772,   0
--//--
[root@hast01 ~]# dmesg | grep ix0
ix0: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 2.4.8> mem 0xfb600000-0xfb7fffff,0xfb804000-0xfb807fff irq 52 at device 0.0 on pci129
ix0: RX Descriptors exceed system mbuf max, using default instead!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Проблемы с сетью, периодически пропадает доступ"  +/
Сообщение от lavr email on 23-Окт-13, 16:01 
>[оверквотинг удален]
>     287,  74,   0
> 128 Bucket:          
>  1048,      0,   10987,
>      41,   45306,10772,  
> 0
> --//--
> [root@hast01 ~]# dmesg | grep ix0
> ix0: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 2.4.8> mem 0xfb600000-0xfb7fffff,0xfb804000-0xfb807fff
> irq 52 at device 0.0 on pci129
> ix0: RX Descriptors exceed system mbuf max, using default instead!

Читайте списки рассылки freebsd, про 10GBit карты Intel - за последние полгода-год, масса
патчей и рекомендаций

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "Проблемы с сетью, периодически пропадает доступ"  +/
Сообщение от Дядя_Федор on 23-Окт-13, 08:32 
> есть непонятная проблема, периодически замерзает связь, при этом на сервере никакой активности.

Связь надо укрывать одеялом - тогда она замерзать не будет. :) А если серьезно - то посмотрите в сторону физики. Не скачет ли порт на свиче, куда включена сетевуха, встает ли порт в фулдуплексе? Может патч-корд хреново обжат, попробуйте другой? Нет ли в логах чего-либо аномального (например, "линк ап, линк даун").
ПыСы: А ethtool для Фри существует? Довольно неплохой инструмент для анализа и настройки некоторых параметров сетевой карты (те же RX/TX),

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Проблемы с сетью, периодически пропадает доступ"  +/
Сообщение от VolanD (ok) on 23-Окт-13, 08:53 
>[оверквотинг удален]
> 0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
> 0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
> 73758K/40543K/114301K bytes allocated to network (current/cache/total)
> 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
> 0/0/0 requests for jumbo clusters denied (4k/9k/16k)
> 0/0/0 sfbufs in use (current/peak/max)
> 0 requests for sfbufs denied
> 0 requests for sfbufs delayed
> 0 requests for I/O initiated by sendfile
> 0 calls to protocol drain routines

tcpdump чо говорит?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Проблемы с сетью, периодически пропадает доступ"  +/
Сообщение от kudlak (ok) on 26-Окт-13, 05:34 
>>[оверквотинг удален]
> tcpdump чо говорит?

как померить 10 GBE канал tcpdump-ом, быстрей он ляжет...

дошел до следующей проблемы. походу размер чанка на RaidZ (ZFS) не совпадает с размерами на дисках. большой IO (почти под 1000 IOPS)..

странно еще что памяти почти не использует система. ни в кэш ни на какие-то еще задачи (или я привык к пингвинам, у которых задача жизни поглотить всю память, потом пытаться высвободить кэш =)))) )

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру