URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 52135
[ Назад ]

Исходное сообщение
"NFS и много потоков"

Отправлено IceHard , 04-Янв-05 19:39 
Есть сервер на FREEBSD 4.10, есть клиент на той же OC.
Между машинами внутрення сеть в кторой только они и находятся.
на клиенте делаю mount_nfs -R 4 -U 10.10.0.2:/disk2 /var/ftp/FILMS/disk2
В один поток с FTP наружу все работает отлично - скорсть около 10 мегабайт в сек.
В 2 потока - тоже все здорово порядка 8 мегабайт в сек в сумме.
Но когда с FTP начинают качать в 20 потоков - суммарная скрость падает до 2.5 - 3 мегабайт.

Вопрос в том - лечится это или нет?


Содержание

Сообщения в этом обсуждении
"NFS и много потоков"
Отправлено DeadMustdie , 04-Янв-05 20:38 
>Вопрос в том - лечится это или нет?

Вряд ли. Можно попробовать поиграть размером пакета -
чуток лучше, может быть, и станет. Падение скорости, скорее
всего, вызвано обилием "паразитного" управляющего трафика.


"NFS и много потоков"
Отправлено IceHard , 04-Янв-05 21:05 
>>Вопрос в том - лечится это или нет?
>
>Вряд ли. Можно попробовать поиграть размером пакета -
>чуток лучше, может быть, и станет. Падение скорости, скорее
>всего, вызвано обилием "паразитного" управляющего трафика.

В том то и дело что нет. Если бы дело было только в этом - то перейти на гигабит - не вопрос.

Насколько понимаю дело в TCP/IP стеке, хотя не уверен, но вариант с паразитным трафиком отпадает - потому что по статистике сеть даже на 50 мегабит не загружена в этот момент, то есть в канал мы не упираемся.


"NFS и много потоков"
Отправлено DeadMustdie , 04-Янв-05 23:31 
>В том то и дело что нет. Если бы дело было только
>в этом - то перейти на гигабит - не вопрос.
>
>Насколько понимаю дело в TCP/IP стеке, хотя не уверен, но вариант с
>паразитным трафиком отпадает - потому что по статистике сеть даже на
>50 мегабит не загружена в этот момент, то есть в канал
>мы не упираемся.

Дело не в толщине канала, а в его латентности, и гигабитка здесь
действительно слабая помощь. Под паразитным трафиком я подразумевал
большое количество *синхронных* управляющих пакетов (в том числе и
связанных с внутренними особенностями работы TCP, в частности, по
крайней мере некоторые реализации NFS-клиентов порождают много
соединений).


"NFS и много потоков"
Отправлено IceHard , 05-Янв-05 00:16 
>>В том то и дело что нет. Если бы дело было только
>>в этом - то перейти на гигабит - не вопрос.
>>
>>Насколько понимаю дело в TCP/IP стеке, хотя не уверен, но вариант с
>>паразитным трафиком отпадает - потому что по статистике сеть даже на
>>50 мегабит не загружена в этот момент, то есть в канал
>>мы не упираемся.
>
>Дело не в толщине канала, а в его латентности, и гигабитка здесь
>
>действительно слабая помощь. Под паразитным трафиком я подразумевал
>большое количество *синхронных* управляющих пакетов (в том числе и
>связанных с внутренними особенностями работы TCP, в частности, по
>крайней мере некоторые реализации NFS-клиентов порождают много
>соединений).


Тогда поставим вопрос по другому.
Есть ли возможность замапировать диски внутри по внутренней сети так чтоб потеря производительности была практически незаметной?


"NFS и много потоков"
Отправлено Асен Тотин , 05-Янв-05 01:51 
Привет,

Поищите в Гугле fine tuning NFS. Опции mount тоже могут вам много помочь (например, один noatime чего стоит). Мой опыт показывает, что при помощи разных хитростей можно выжать до ок. 300-400 Mbps на NFS сети (при нескольких сотнях паралельных потоков)... на большее сам NFS не способен. Если вам этот лимит недостаточен, то NFS - не ваше решение.

WWell,



"NFS и много потоков"
Отправлено IceHard , 05-Янв-05 02:44 
>Привет,
>
>Поищите в Гугле fine tuning NFS. Опции mount тоже могут вам много
>помочь (например, один noatime чего стоит). Мой опыт показывает, что при
>помощи разных хитростей можно выжать до ок. 300-400 Mbps на NFS
>сети (при нескольких сотнях паралельных потоков)... на большее сам NFS не
>способен. Если вам этот лимит недостаточен, то NFS - не ваше
>решение.
>
>WWell,


Огромное спасибо. Отправляюсь искать.
Лимит более чем достаточен. Необходимо обрабатывать около 150-160 соединений суммарной скоростью порядка 70-80Mbps.

PS. Буду очень признателен за более детальное руководство или консультацию по настройке.


"NFS и много потоков"
Отправлено Асен Тотин , 05-Янв-05 13:34 
Привет,

>PS. Буду очень признателен за более детальное руководство или консультацию по настройке.

Как минимум: в exports укажите "async" (вот что написано в "man exports"):

       async  This  option  allows  the NFS server to violate the NFS
              protocol and reply to requests before any changes made
              by  that  request have been committed to stable storage
              (e.g. disc drive). Using  this option usually improves
              performance, but at the cost that an unclean server
              restart (i.e. a crash) can cause data  to be lost or
              corrupted.

Еще, в mount укажите "noatime" (вот что написано в "man mount"):

      noatime Do not update inode access  times  on  this  file  
              system (e.g,  for  faster  access  on the news
              spool to speed up  news servers).

Насчет оптимизации размера блока, здесь можно прочитать:
http://nfs.sourceforge.net/nfs-howto/performance.html
Как минимум, вам нужна версия 3 NFS и только UDP.

WWell,