URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 90759
[ Назад ]

Исходное сообщение
"Проблема с сетевой картой (rx_no_buffer_count/rx_missed_errors)"

Отправлено PavelR , 19-Янв-11 11:54 

Имеется сервер на базе десктопной материнки.
Сервер крутит XEN, маршрутизирует кучку виланов. Физический интерфейс 1.

Коммутатором выступает Dlink, в него входят два 100Мбит аплинка и соседний сервер, плюс парочка офисных компов.

Дневной трафик интерфейса:

eth0:   16.87 Mb/s In   169.43 Mb/s Out -  11988.0 p/s In   16548.0 p/s Out

ну может быть чуть больше (до +40Мбит транзитом проходит, в третий аплинк, который ненагружен, соответственно растут все счетчики, и вход и выход)

С некоторых пор на интерфейсе начались наблюдаться ошибки

debian:~# ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:1c:c0:06:56:e1
          inet6 addr: fe80::21c:c0ff:fe06:56e1/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:320583617 errors:0 dropped:179999 overruns:0 frame:0
          TX packets:450094636 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1728203812 (1.6 GiB)  TX bytes:457415958 (436.2 MiB)
          Memory:e0300000-e0320000

Картина трафика при этом не особо менялась (ну "естественный" небольшой рост, не более).

При этом ethtool -S показывает ошибки в счетчиках:

     rx_no_buffer_count: 16729
     rx_missed_errors: 179999

и большой поток      rx_flow_control_xon/rx_flow_control_xoff (примерно 200 в секунду) даже в вечернее время (при половинной нагрузке).

При дневной нагрузке:

debian:~# cat /proc/net/ip_conntrack |wc -l
2834

Количество правил файрволла небольшое. В основном трафик исходящий, генерируется icecast на этой же машине либо с соседнего сервера файловая раздача (редкие запросы, отдающиеся с максимальной скоростью).

Сделал

/usr/sbin/ethtool -A eth0 autoneg off rx off tx off
/usr/sbin/ethtool -G eth0 rx 1024 tx 1024

и

sysctl net.core.netdev_max_backlog=3000

Помогло, но не полностью. flow_control выключен, имеем "rx_missed_errors: 179999" за 18 часов аптайма (нарастает скачками).

debian:/etc/xen# lspci -k
[..]
00:19.0 Ethernet controller: Intel Corporation 82566DM-2 Gigabit Network Connection (rev 02)
        Subsystem: Intel Corporation Device 0001
        Kernel driver in use: e1000e
[..]


Ну или чуть подробнее:

00:19.0 Ethernet controller: Intel Corporation 82566DM-2 Gigabit Network Connection (rev 02)
        Subsystem: Intel Corporation Device 0001
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0
        Interrupt: pin A routed to IRQ 1517
        Region 0: Memory at e0300000 (32-bit, non-prefetchable) [size=128K]
        Region 1: Memory at e0324000 (32-bit, non-prefetchable) [size=4K]
        Region 2: I/O ports at 2400 [size=32]
        Capabilities: [c8] Power Management version 2
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst- PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [d0] MSI: Enable+ Count=1/1 Maskable- 64bit+
                Address: 00000000fee0100c  Data: 4171
        Capabilities: [e0] Vendor Specific Information: Len=06 <?>
        Kernel driver in use: e1000e

debian:~# uname -a
Linux debian 2.6.32-5-xen-686 #1 SMP Wed Jan 12 07:52:18 UTC 2011 i686 GNU/Linux

всего интерфейсов:

debian:~# ifconfig |grep "Link encap" |wc -l
28

Из них

debian:~# ifconfig |grep vlan |wc -l
13

debian:~# ethtool -c eth0
Coalesce parameters for eth0:
Adaptive RX: off  TX: off
[..skipped...]

(ethtool -a eth0 на данный момент. Со включенными - всё плохо, из локалки на сервер скорость копирования - 100 Кб/с, но исходящий трафик с сервера шел достаточно неплохо, >100Мбит)

debian:~# ethtool -a eth0
Pause parameters for eth0:
Autonegotiate:  off
RX:             off
TX:             off


debian:~# ethtool -g eth0
Ring parameters for eth0:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             1024
RX Mini:        0
RX Jumbo:       0
TX:             1024


=================

Шнуры/порт в коммутаторе - менялись.
Где вероятнее проблема - в коммутаторе или в сетевой карте, или просто оно на большее не способно (но ранее было способно???) - у кого какие мысли, мнения на счет этой проблемы?


Содержание

Сообщения в этом обсуждении
"Проблема с сетевой картой (rx_no_buffer_count/rx_missed_errors)"
Отправлено pavel_simple , 19-Янв-11 14:36 

> Шнуры/порт в коммутаторе - менялись.

шнуры проверить/заменить ещё раз, посмотреть не побит-ли коннектор в сетёвке
> Где вероятнее проблема - в коммутаторе или в сетевой карте, или просто
> оно на большее не способно (но ранее было способно???) - у
> кого какие мысли, мнения на счет этой проблемы?

dlink-и бывают разные и некоторые при негревании тупят.