https://www.opennet.ru/openforum/vsluhforumID1/97160.html Доброго всем здравия.<br>Господа, помогите разобраться.<br>Имеем: <br># uname -a<br>FreeBSD backup 10.3-RELEASE-p11 FreeBSD 10.3-RELEASE-p11 #0: Mon Oct 24 18:49:24 UTC 2016 root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC amd64<br><br>Сюда складываются бекапы акронисом с двух виндовый серверов, первый по самбе, второй по FTP. Сделал так, чтобы посмотреть и сравнить нагрузку и скорость. Так же на этом сервере стоит zabbix и следит за собой в том числе.<br>Что мы имеем.<br>Сначала запускается акронис на первом сервере и копирует бекап по самбе. Потом запускается акронис на втором сервере и копирует по FTP. Вот такой получаем график: <br>1 - загрузка сетевого интерфейса: http://yapx.ru/v/BHUSU<br>2 - загрузка процессора: http://yapx.ru/v/BHUSZ и http://yapx.ru/v/BHUSc<br>Видим загрузки сети только на 250 Мбит в максимуме. Когда просто копируешь файл и смотришь на нагрузку, скорость скачет от 200 до 250 Мбит/сек.<br>Сначала я подумал что не тянет сеть и нужно подтюнить, но вовремя вспомнил про iperf, и вот такие рез https://www.opennet.ru/openforum/vsluhforumID1/97160.html#13 Mon, 26 Mar 2018 11:58:13 GMT &gt;[оверквотинг удален]<br>&gt; ------------------------------------------------------------ <br>&gt; [ 3] local 10.10.10.12 port 43493 connected with 10.10.10.9 port 5201 <br>&gt; write failed: Broken pipe <br>&gt; [ ID] Interval Transfer <br>&gt; Bandwidth <br>&gt; [ 3] 0.0- 8.5 sec 884 MBytes <br>&gt; 875 Mbits/sec <br>&gt; Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а <br>&gt; при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.<br>&gt; Кстати, с NFS та же история, скорость режется.<br><br>zfs set sync=disabled<br> https://www.opennet.ru/openforum/vsluhforumID1/97160.html#12 Thu, 22 Mar 2018 16:50:31 GMT &gt;&gt; Читали?<br>&gt;&gt; https://www.opennet.ru/tips/info/2051.shtml <br>&gt; Почитал, даже попробовал, эффекта ноль.<br>&gt; К тому же, там вопрос поднять по сетям в 100 Мбит/сек, а <br>&gt; у меня 1Гбит/с.<br>&gt; Я сначала грешил на сетевку re0, поменял и поставил igb. ситуация вообще <br>&gt; никак не поменялась.<br><br>про фтп и нфс ничего не скажу, а вот самба у меня при одних и тех же настройках скорость менялась в хависимости от версии...<br><br> https://www.opennet.ru/openforum/vsluhforumID1/97160.html#11 Thu, 22 Mar 2018 15:12:42 GMT &gt; Читали?<br>&gt; https://www.opennet.ru/tips/info/2051.shtml <br><br>Почитал, даже попробовал, эффекта ноль.<br>К тому же, там вопрос поднять по сетям в 100 Мбит/сек, а у меня 1Гбит/с.<br>Я сначала грешил на сетевку re0, поменял и поставил igb. ситуация вообще никак не поменялась. <br> https://www.opennet.ru/openforum/vsluhforumID1/97160.html#10 Thu, 22 Mar 2018 15:09:52 GMT &gt;&gt; Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек) <br>&gt;&gt; Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек.<br>&gt;&gt; Что равняется 1248 Мбит/сек.<br>&gt; вот только все эти ваши гигабиты на одном смешном гигабайтном фале - <br>&gt; это все отлично летит в кеш/буфферы. Тот же DD попробуйте с <br>&gt; fsync и с размером блока в 8к (или сколько там у <br>&gt; вас в nfs/iscsi нарисовано), чтоб на каждый блок делался честный sync, <br>&gt; как это делают протоколы работы поверх сети.<br><br>Я могу вас понят и вашу иронию тоже, но я беру эти цифры не с потолка. Такие же диски я эксплуатирую далеко не первый год и не на одном сервере, как на Windows, так и на FreeBSD. <br>Что касается кеша, то могу однозначно сказать и из опыта, что при работе с кешем, скорость записи достигается 1200МБайт/сек.: http://yapx.ru/v/BHZJO<br>Вот именно это работа кеша и памяти, но стоит загнать файл скажем в 10Гб или больше, как скорость падает примерно до 180.<br><br>Я же тут лишь спрашиваю, что с этим можно сде https://www.opennet.ru/openforum/vsluhforumID1/97160.html#9 Thu, 22 Mar 2018 13:32:12 GMT &gt; Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек) <br>&gt; Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек. <br>&gt; Что равняется 1248 Мбит/сек.<br><br>вот только все эти ваши гигабиты на одном смешном гигабайтном фале - это все отлично летит в кеш/буфферы. Тот же DD попробуйте с fsync и с размером блока в 8к (или сколько там у вас в nfs/iscsi нарисовано), чтоб на каждый блок делался честный sync, как это делают протоколы работы поверх сети.<br> https://www.opennet.ru/openforum/vsluhforumID1/97160.html#8 Thu, 22 Mar 2018 11:11:36 GMT Читали?<br>http://www.opennet.ru/tips/info/2051.shtml<br> https://www.opennet.ru/openforum/vsluhforumID1/97160.html#7 Thu, 22 Mar 2018 10:16:27 GMT &gt; Если ты видишь что скорость на сети и скорость записи на диск <br>&gt; норм, но при этом разные протоколы дают разный результат то вывод <br>&gt; напрашивается сам собой - тюнить конкретный протокол.<br><br>Так это я понимаю, логически, но не понимаю что именно не так. Самба, как ни странно, дает большую скорость в пике, ФТП дает более стабильную скорость, НФС самую низкую.<br>Вот и прошу помощи, где и что искать и тюнить<br> https://www.opennet.ru/openforum/vsluhforumID1/97160.html#6 Thu, 22 Mar 2018 10:12:40 GMT Если ты видишь что скорость на сети и скорость записи на диск норм, но при этом разные протоколы дают разный результат то вывод напрашивается сам собой - тюнить конкретный протокол.<br> https://www.opennet.ru/openforum/vsluhforumID1/97160.html#5 Thu, 22 Mar 2018 09:37:38 GMT &gt;&gt; Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек.<br>&gt;&gt; По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz <br>&gt;&gt; Старт быть вообще на 700 МБ/с, но это не реально, мы все <br>&gt;&gt; понимаем, это скорее кеш, но вот после скорость встала на 120-127 <br>&gt;&gt; МБ/с, и так держится... что полностью соответствует подключению.<br>&gt;&gt; Кстати, iscsi находится на этом же сервере под управлением FreeBSD <br>&gt; А hdparm -tT на FreeBSD есть?<br><br>Вроде как нет.<br>Ни в системе, ни в портах, ни в пекаджах<br>