https://www.opennet.dev/openforum/vsluhforumID13/826.html Добрый день.<br><br>Есть рейд 6 массив из 12 SATA дисков на контроллере Adaptec 6й серии 512MB Cache.<br>Read и Write cache включены. Файловая система xfs с заданными sw и su.<br><br><br>При тестировании получились интересные результаты.<br><br>iozone -O -i0 -i1 -i2 -s4G -r4k -R<br><br>"Writer report" 137649 <br>"Re-writer report" 193208 <br>"Reader report" 146244 <br>"Re-Reader report" 151575 <br><br>Случайное чтение идет со скоростью 200 iops(по iostat), окончания теста не дожидался.<br><br>При этом тест в 100 потоков дает такие результаты:<br><br>iozone -O -i0 -i1 -i2 -s40M -r4k -R -t 100<br><br>"  Initial write "   42760.28 <br>"        Rewrite "   31235.14 <br>"           Read "  135243.35 <br>"        Re-read "  133918.22 <br>"    Random read "    4361.25 <br>"   Random write "    3402.84 <br><br><br>Что может повлиять на производительность случайного чтения в первом случае?<br>Пробовал увеличить queue_depth и поменять scheduler на noop.<br>Тестировал разные уровни raid (10, 5, 50) со всеми так.<br>Так и должно быть или что-то не то с настройками?<br> https://www.opennet.dev/openforum/vsluhforumID13/826.html#10 Wed, 19 Dec 2012 06:29:12 GMT &gt; а что вам не нравится?<br>&gt; скорость приличная и это на обычных SATA дисках? цифры больше для SSD <br>&gt; подходят...<br><br>Скорость хорошая, при многопоточной работе.<br>А вот если загрузить на него 3 млн. файлов и запустить find, то можно ждать пол дня.<br>При этом find в 20 потоков выполняется меньше часа.<br> https://www.opennet.dev/openforum/vsluhforumID13/826.html#9 Sat, 15 Dec 2012 13:14:06 GMT а что вам не нравится?<br>скорость приличная и это на обычных SATA дисках? цифры больше для SSD подходят...<br> https://www.opennet.dev/openforum/vsluhforumID13/826.html#8 Tue, 04 Dec 2012 17:43:50 GMT &gt; привет!<br>&gt; read cache выключи, под raid6 контроллер должен быть заточен т.е. алгоритм этот <br>&gt; специфический, для raid6 оптимальное количество дисков при 12 шпинделях это 11 <br>&gt; + 1 spare.<br><br>Контроллер достаточно хороший, Adaptec 6серии, умеет множество уровней. Я думаю он должен справляться с raid6.<br><br>Можешь объяснить почему такое количество дисков оптимально?<br><br>&gt; затестите bonnie++, у меня есть для от него некоторая статистика для сравнения, <br>&gt; несколько raid6,raid10 и т.п. на 12 дисковых массивах.<br><br>Version 1.96 ------Sequential Output------ --Sequential Input- --Random-<br>Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--<br>Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP<br>b12 64G 2225 99 792466 42 289518 25 5454 98 659823 35 506.1 17<br>Latency 7584us 11953us 275ms 8801us 234ms 127ms<br>Version 1.96 ------Sequential Create------ --------Random Create--------<br>b12 -Cre https://www.opennet.dev/openforum/vsluhforumID13/826.html#7 Sat, 10 Nov 2012 13:09:45 GMT например, конкретно для raid6 вот:<br><br># node15 (hp dl165g6), ext4 (noatime, nobarrier), raid6, infortrend s12s, 12 sas disks, seagate st31000640ss<br>Version 1.96 ------Sequential Output------ --Sequential Input- --Random- <br>Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks-- <br>Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP <br>node15 63G 700 98 398214 88 69470 8 3304 96 288832 20 593.8 42 <br>Latency 11656us 296ms 905ms 27698us 237ms 81046us <br>Version 1.96 ------Sequential Create------ --------Random Create-------- <br>node15 -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete-- <br> files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP https://www.opennet.dev/openforum/vsluhforumID13/826.html#6 Sat, 10 Nov 2012 13:05:55 GMT &gt; Добрый день.<br>&gt; Есть рейд 6 массив из 12 SATA дисков на контроллере Adaptec 6й <br>&gt; серии 512MB Cache.<br>&gt; Read и Write cache включены. Файловая система xfs с заданными sw и <br>&gt; su.<br><br>привет!<br>read cache выключи, под raid6 контроллер должен быть заточен т.е. алгоритм этот специфический, для raid6 оптимальное количество дисков при 12 шпинделях это 11 + 1 spare.<br>затестите bonnie++, у меня есть для от него некоторая статистика для сравнения, несколько raid6,raid10 и т.п. на 12 дисковых массивах.<br> https://www.opennet.dev/openforum/vsluhforumID13/826.html#5 Wed, 07 Nov 2012 10:40:58 GMT &gt;[оверквотинг удален]<br>&gt; done <br>&gt; echo 10 &gt; /proc/sys/vm/swappiness <br>&gt; echo 10 &gt; /proc/sys/vm/dirty_ratio <br>&gt; echo 5 &gt; /proc/sys/vm/dirty_background_ratio <br>&gt; echo 1000 &gt; /proc/sys/vm/dirty_expire_centisecs <br>&gt; echo 1000 &gt; /proc/sys/vm/dirty_writeback_centisecs <br>&gt; echo 50 &gt; /proc/sys/vm/vfs_cache_pressure <br>&gt; Посмотри в /proc/interrupts <br>&gt; грепни по aacraid и сделай так что бы это прерывание работало <br>&gt; на ВСЕХ процах (если сервак малтикоре) <br><br>Спасибо.<br>Это настройки для теста или рекомендуется их использовать в работе?<br><br>Попробовал, ситуация не изменилась.<br>Я думал что при rnd r/w тесте iozone наполняет очередь устройства, но это оказалось не так: при i0 тесте avgqu-sz ~140, при i2 - avgqu-sz 1. При такой работе скорость соответствует теоретической.<br><br> https://www.opennet.dev/openforum/vsluhforumID13/826.html#4 Tue, 06 Nov 2012 17:03:24 GMT Тогда вперед к первому моему посту и пробуй )<br><br>&gt;[оверквотинг удален]<br>&gt; rnd read 4326.53 <br>&gt; rnd write 3181.74 <br>&gt; write 145705 <br>&gt; read 161480 <br>&gt; RAID 6 <br>&gt; rnd read 4361.25 <br>&gt; rnd write 3402.84 <br>&gt; write 137649 <br>&gt; read 146244 <br>&gt; В данном случае RAID 6 и 10 примерно наравне.<br><br> https://www.opennet.dev/openforum/vsluhforumID13/826.html#3 Tue, 06 Nov 2012 17:00:05 GMT &gt; И ,ДА !!!, 6 RAID он чисто просто тормоз бай дизайн <br>&gt; , если есть время собери 10 <br><br>Вот сводная таблица тестов в iops, rnd в 100 потоков, write/read в один:<br><br>RAID 10<br>rnd read4209.22<br>rnd write3597.51<br>write136689<br>read147415<br><br>RAID 5<br>rnd read4326.53<br>rnd write3181.74<br>write145705<br>read161480<br><br>RAID 6<br>rnd read4361.25<br>rnd write3402.84<br>write137649<br>read146244<br><br><br>В данном случае RAID 6 и 10 примерно наравне.<br> https://www.opennet.dev/openforum/vsluhforumID13/826.html#2 Tue, 06 Nov 2012 15:21:23 GMT И ,ДА !!!, 6 RAID он чисто просто тормоз бай дизайн , если есть время собери 10<br><br>&gt;[оверквотинг удален]<br>&gt; "  Initial write "   42760.28 <br>&gt; "        Rewrite "   31235.14 <br>&gt; "           Read "  135243.35 <br>&gt; "        Re-read "  133918.22 <br>&gt; "    Random read "    4361.25 <br>&gt; "   Random write "    3402.84 <br>&gt; Что может повлиять на производительность случайного чтения в первом случае?<br>&gt; Пробовал увеличить queue_depth и поменять scheduler на noop.<br>&gt; Тестировал разные уровни raid (10, 5, 50) со всеми так.<br>&gt; Так и должно быть или что-то не то с настройками?<br><br>