OpenForum RSS: Помогите определить, тормозят ли диски? https://www.opennet.ru/openforum/vsluhforumID1/90794.html Всем привет.<br>Стоит на сервере FreeBSD 7.2 amd64.<br>В сервере два идентичных SATA харда по 1ТБ.<br>Используется gmirror для RAID1.<br># gmirror list<br>Geom name: gm0<br>State: COMPLETE<br>Components: 2<br>Balance: round-robin<br>Slice: 4096<br>Flags: NONE<br>GenID: 0<br>SyncID: 1<br>ID: 1010752839<br>Providers:<br>1. Name: mirror/gm0<br> Mediasize: 1000204885504 (932G)<br> Sectorsize: 512<br> Mode: r5w5e6<br>Consumers:<br>1. Name: ad0<br> Mediasize: 1000204886016 (932G)<br> Sectorsize: 512<br> Mode: r1w1e1<br> State: ACTIVE<br> Priority: 0<br> Flags: DIRTY<br> GenID: 0<br> SyncID: 1<br> ID: 3257944739<br>2. Name: ad2<br> Mediasize: 1000204886016 (932G)<br> Sectorsize: 512<br> Mode: r1w1e1<br> State: ACTIVE<br> Priority: 0<br> Flags: DIRTY<br> GenID: 0<br> SyncID: 1<br> ID: 3627728499<br><br><br>Сервер используется для веб-сайта с посещаемостью ~40-50k посетителей.<br>Много статики: аватарки, фотографии из галерей и прочее.<br>Из ПО стоит mysql5, php5.2 (php-fpm), nginx 0.8.54.<br><br>Проблема, а точнее вопрос в следующем.<br>Когда набираю gstat, то вижу сл Помогите определить, тормозят ли диски? (universite) https://www.opennet.ru/openforum/vsluhforumID1/90794.html#35 Mon, 31 Jan 2011 21:55:14 GMT &gt; Далее отключаю нгинкс: <br>&gt; # nginx -s stop <br><br>смотрим nginx на предмет опции sendfile<br><br>и заодно показываем вывод:<br>[code]<br>kldstat -v &#124; grep accf<br>и<br>nginx -V<br>[/code]<br> Помогите определить, тормозят ли диски? (temny) https://www.opennet.ru/openforum/vsluhforumID1/90794.html#34 Tue, 25 Jan 2011 13:14:24 GMT &gt; переползание видимо произошло<br><br>да - в этом плане всё хорошо - почти 6Гб в дисковом кэше<br> Помогите определить, тормозят ли диски? (makarov321) https://www.opennet.ru/openforum/vsluhforumID1/90794.html#33 Tue, 25 Jan 2011 09:13:20 GMT &gt;&gt; и ситуация сейчас такая: <br>&gt;&gt; Mem: 721M Active, 2238M Inact, 734M Wired, 195M Cache, 399M Buf, 4001M <br>&gt;&gt; Free <br>&gt; если через несколько часов мы не увидим переползания Free в Inactive, то <br>&gt; я бы хотел посмотреть на вывод команды <br>&gt; sysctl -a &#124; grep vnodes <br><br>переползание видимо произошло:<br>Mem: 988M Active, 5781M Inact, 749M Wired, 112M Cache, 399M Buf, 258M Free<br><br># sysctl -a &#124; grep vnodes<br>kern.maxvnodes: 100000<br>kern.minvnodes: 25000<br>vfs.freevnodes: 1803<br>vfs.wantfreevnodes: 25000<br>vfs.numvnodes: 87503<br> Помогите определить, тормозят ли диски? (temny) https://www.opennet.ru/openforum/vsluhforumID1/90794.html#32 Mon, 24 Jan 2011 21:23:00 GMT &gt; и ситуация сейчас такая: <br>&gt; Mem: 721M Active, 2238M Inact, 734M Wired, 195M Cache, 399M Buf, 4001M <br>&gt; Free <br><br>если через несколько часов мы не увидим переползания Free в Inactive, то я бы хотел посмотреть на вывод команды<br>sysctl -a &#124; grep vnodes<br> Помогите определить, тормозят ли диски? (temny) https://www.opennet.ru/openforum/vsluhforumID1/90794.html#31 Mon, 24 Jan 2011 21:15:18 GMT &gt; 1. а как узнать, кто источник операций? или только через top?<br><br>top как вы его уже использовали (top -m io -o total) разделяет операции чтения и записи - более удобного способа найти источник записей я не знаю. <br>Есть подозрение, что сам нгинкс создаёт большое количество write iops - если это так, то первое, что приходит в голову - логи. Полезно будет проверить, уменьшится ли количество записей если вы временно отключите логи. Если дело в них - убедитесь, что параметр buffer указан/используется для логов.<br><br>Вообще про операции записи я заговорил только потому, что в один из двух выводов iostat , которые привели вы, операции записи составляли более 99 процентов. Если это случайность и данная картина совсем не характерна серверу, то можно дальше не углубляться. Однако если процент операций записи высок, то было бы неплохо разобраться в их источнике.<br><br>&gt; 2. нет, не смонтированы. существенный прирост дает?<br><br>обычно прирост незначительный - от нескольких процентов до десяти, но всё зависит от характера дисковы Помогите определить, тормозят ли диски? (makarov321) https://www.opennet.ru/openforum/vsluhforumID1/90794.html#30 Mon, 24 Jan 2011 20:05:13 GMT попробовал тест на скорость.<br># dd if=/dev/ad0 of=/dev/null bs=1m count=1000<br>1000+0 records in<br>1000+0 records out<br>1048576000 bytes transferred in 58.482480 secs (17929746 bytes/sec)<br>~17Mb/s<br><br>Это при включенном nginx'е.<br><br>Далее отключаю нгинкс:<br># nginx -s stop<br><br>Пробую снова:<br># dd if=/dev/ad0 of=/dev/null bs=1m count=1000<br>1000+0 records in<br>1000+0 records out<br>1048576000 bytes transferred in 12.383725 secs (84673714 bytes/sec)<br>~80Mb/s<br><br># dd if=/dev/ad0 of=/dev/null bs=1m count=1000<br>1000+0 records in<br>1000+0 records out<br>1048576000 bytes transferred in 9.832123 secs (106647974 bytes/sec)<br>~100Mb/s<br><br>Второй хард:<br># dd if=/dev/ad2 of=/dev/null bs=1m count=1000<br>1000+0 records in<br>1000+0 records out<br>1048576000 bytes transferred in 9.685279 secs (108264923 bytes/sec)<br>~103Mb/s<br><br><br>iostat при тестах:<br> tty ad0 ad2 cpu<br> tin tout KB/t tps MB/s KB/t tps MB/s us ni sy in id<br> 8 216 64.00 412 25.72 0.00 0 0.00 62 0 0 0 37<br> 0 121 64.00 165 Помогите определить, тормозят ли диски? (makarov321) https://www.opennet.ru/openforum/vsluhforumID1/90794.html#29 Mon, 24 Jan 2011 17:16:05 GMT еще некоторая информация, которая может оказаться полезной.<br>smartctl -a /dev/ad2<br>=== START OF INFORMATION SECTION ===<br>Model Family: Seagate Barracuda ES.2<br>Device Model: ST31000340NS<br>Serial Number: 9QJ4ZACA<br>Firmware Version: SN06<br>User Capacity: 1,000,204,886,016 bytes<br>Device is: In smartctl database [for details use: -P show]<br>ATA Version is: 8<br>ATA Standard is: ATA-8-ACS revision 4<br>Local Time is: Sun Jan 23 16:55:17 2011 MSK<br>SMART support is: Available - device has SMART capability.<br>SMART support is: Enabled<br><br>=== START OF READ SMART DATA SECTION ===<br>SMART overall-health self-assessment test result: PASSED<br><br>General SMART Values:<br>Offline data collection status: (0x82) Offline data collection activity<br> was completed without error.<br> Auto Offline Data Collection: Enabled.<br>Self-test execution status: ( 0) The previous self-test routine completed<br> Помогите определить, тормозят ли диски? (makarov321) https://www.opennet.ru/openforum/vsluhforumID1/90794.html#28 Mon, 24 Jan 2011 17:13:43 GMT MiF, спасибо за сообщения, очень интересные мысли по поводу вибраций.<br>Сегодня потушу нгинкс и попробую погонять на скорость записи/чтения.<br>Чуть позже отпишу нижу по результатам тестов.<br>Харды заменить готов без проблем, только в этом ли проблема..<br> Помогите определить, тормозят ли диски? (makarov321) https://www.opennet.ru/openforum/vsluhforumID1/90794.html#27 Mon, 24 Jan 2011 17:12:07 GMT &gt;[оверквотинг удален]<br>&gt;&gt; случае топикстартера двойного использования оперативки (двойного хранения файла в RAM) <br>&gt;&gt; в случае использования "диска-в-памяти" md ?<br>&gt; Я тоже подумал про double caching при работе с md, но автор <br>&gt; трида упоминал, что "Без (memory) диска ситуация еще хуже, в gstat'e <br>&gt; почти всегда 100%" <br>&gt; Единственное объяснение, приходящее в голову это при отключении md автор либо не <br>&gt; дождался хоть какого-то наполнения дискового кэша, либо горячая статика нгинкса продолжала <br>&gt; записываться на hdd, создавая дополнительную нагрузку. Или как вариант - md <br>&gt; не был удалён и память не была возвращена "в систему".<br>&gt; makarov, вы не моглибы подтвердить/опровергнуть приведённые выше предположения?<br><br>спасибо за ответ.<br>тестирование с диском в памяти продолжалось не час и не два, а пару дней.<br>сейчас диск в памяти вообще отключил, т.к. пользы от него не особо много.<br>и ситуация сейчас такая:<br>Mem: 721M Active, 2238M Inact, 734M Wired, 195M Cache, 399M Buf, 4001M Free<br>