- RAID5 сильно тормозит.,
 Pofigist, 14:15 , 26-Мрт-17 (1)Расскажи подробней - как собирали RAID5? Что там S.M.A.R.T. о дисках глаголит? Ну вообще - подробности плиз. По твоему описанию - ничего не понятно, может диск глючит, а может он у тебя в софтовом режиме...
- RAID5 сильно тормозит., nops, 14:44 , 26-Мрт-17 (2)
> Расскажи подробней - как собирали RAID5? Что там S.M.A.R.T. о дисках глаголит?
> Ну вообще - подробности плиз. По твоему описанию - ничего не
> понятно, может диск глючит, а может он у тебя в софтовом
> режиме...RAID5 собирал при запуске компа, выбирал диски, потом на полную инициализацию. Аналогичную процедуру выполнял и когда отключил контроллер.
СМАРТ по каждому из дисков:
https://puu.sh/uYUq3/47eed8aa91.png
https://puu.sh/uYUty/dd9aba98dc.png
https://puu.sh/uYUtT/c43b2014b5.png
https://puu.sh/uYUuh/3d895a0d5d.png
Попробую заново описать.
Стоял сервак, на нем работал Win2012R2.
стоял контроллер LSI9260-8i, подключен к корзине в которую вставлены 6 дисков Hitachi(модели сейчас не помню).
В какой-то момент сервак стал жутко тормозить. Решили поменять диски на WD RE. купили 4 диска WD, и один SSD.
На горячую заменили по очереди каждый из дисков. После перезагрузки убрали лишние диски и поставили SSD. Получился RAID5 4x500, RAID0 1x120, RAID0 1x2000.
Проверяю скорость, скорость записи не подросла. Посчитал что контроллер дохнет. Решил убрать контролер LSI и собрать новый RAID на интегрированном контроллере.
Собрал заново RAID5, поставил с нуля винду, проверяю скорость, а она чуть еще упала.
Сейчас скорость записи никакая, чтения хреновая.
- RAID5 сильно тормозит., Pofigist, 04:29 , 27-Мрт-17 (3)
> Решил убрать контролер LSI и собрать новый RAID на интегрированном контроллере.Собрал заново RAID5, поставил с нуля винду, проверяю скорость, а она чуть еще упала Что за интегрированный контроллер? Ну вообщем скорей всего - Intel. То есть это SoftRAID. Для программного 5-го раида такая скорость на запись нормально.
Вообще проблемы со скоростью записи в RAID5 это нормально. Хотя может быть и отложенная инициализация - тогда через некоторое время скорость вырастет. P.S. Менять Hitachi на WD это глупость, если они были живые.
- RAID5 сильно тормозит., nops, 06:35 , 27-Мрт-17 (5)
>> Решил убрать контролер LSI и собрать новый RAID на интегрированном контроллере.
> Собрал заново RAID5, поставил с нуля винду, проверяю скорость, а она чуть
> еще упала
> Что за интегрированный контроллер? Ну вообщем скорей всего - Intel. То есть
> это SoftRAID. Для программного 5-го раида такая скорость на запись нормально.
> Вообще проблемы со скоростью записи в RAID5 это нормально.
> Хотя может быть и отложенная инициализация - тогда через некоторое время скорость
> вырастет.
> P.S. Менять Hitachi на WD это глупость, если они были живые.Я конечно понимаю вашу иронию, но скорость упала не после того, как я убрал из RAID5 2 диска. К тому же, при RAID5 использовать 6 дисков нелогично в силу отсутствия чередования записи Strip-блока, как собственно и 3-х дисков. Ввиду этого было принято решение использовать именно 4 диска.
После создания нового RAID5 из 4-х дисков, все чудесно работало год, потом начались вот такие проблемы, потому не нужно сваливать вину на RAID5.
Интегрированный контроллер да Intel, но они же не все софтовые или я не прав?! Ну да это сейчас и не важно.
Я пытаюсь понять, куда делась скорость работы.
Сейчас пытаюсь понять, либо это сама платформа чудит, либо все таки контроллер. Я написал тут для того, чтобы мне помогли разобраться, подсказали в какую сторону копнуть.
> Хотя может быть и отложенная инициализация - тогда через некоторое время скорость
> вырастет.
Ну за месяц инициализация должна была уже пройти... Давайте опустим встроенный RAID, давайте вернемся к платформе и контроллеру LSI.
Может ли сама платформа чудить?!
Кстати, на SSD скорость тоже на запись низкая, а на чтение высокая.
Вопрос кстати, а может ли "чудить" сама корзина?!
- RAID5 сильно тормозит., Pofigist, 08:52 , 27-Мрт-17 (6)
Ну наконец-то вы стали давать хоть какую-то конкретику...
> Вопрос кстати, а может ли "чудить" сама корзина?!Может - радиотехника наука о контактах. Но тут врятли - еслиб чудила корзина, то скорость бы упала и на запись и на чтение скорей всего. Хотя... Посмотрите на интерфейсах кол-во ошибок передачи.
- RAID5 сильно тормозит., Pofigist, 04:30 , 27-Мрт-17 (4)
Ой как же сразу не заметил - было 6 дисков а 5м раиде, а сейчас их 4е? Ну запомни - чем больше дисков в 5м раиде - тем он быстрее работает. :)
- RAID5 сильно тормозит., AnoAno, 16:47 , 27-Мрт-17 (7)
4 x HDD WD SATA 1TB 10k = raid 5 (Adaptec 6405) Win2k12 R2
Read 331Mb/s Write 425 Mb/s
Сделаем скидку на различие в rpm, и все равно скорость никак не может быть 20-30Mb/s.
- RAID5 сильно тормозит., nops, 18:59 , 27-Мрт-17 (8)
> 4 x HDD WD SATA 1TB 10k = raid 5 (Adaptec 6405)
> Win2k12 R2
> Read 331Mb/s Write 425 Mb/s
> Сделаем скидку на различие в rpm, и все равно скорость никак не
> может быть 20-30Mb/s.Я вам скажу больше, она была больше сотки,
У меня на моем личном сервере, ну как сервере, на обычной матери s775 переделанный под s771 стоит 2 WD Black и вот такие характеристики показывает: https://puu.sh/tM1Ih/bbf156f241.png
К слову, сегодня попробовал контроллер собрать в 6 рейд с 6 дисками, скорость показал 32Мб.
Ну вот что хотите со мной делайте, но я ума не приложу, как так-то?!
P.S. К слову сказать, без рейда, в частности просто диск, сам по себе, скорость нормальная, тормоза только конда собираю в raid-массив больше 1 диска.
- RAID5 сильно тормозит., AnoAno, 21:41 , 27-Мрт-17 (9)
При условии, что все диски работоспособны, дело может быть в настройках кэш контроллеров. Была подобная проблема на домашнем ПК с программным рейд, решение было в настройках intel RST (or matrix storage) типа write-back cache - enable (точно не помню). На LSI (mega raid bios utility - policies) тоже посмотрите настройки. Ну и настройки биос на сервере смотрите (как вариант default/optimize settings).
- RAID5 сильно тормозит., nops, 21:43 , 27-Мрт-17 (10)
> При условии, что все диски работоспособны, дело может быть в настройках кэш
> контроллеров. Была подобная проблема на домашнем ПК с программным рейд, решение
> было в настройках intel RST (or matrix storage) типа write-back cache
> - enable (точно не помню). На LSI (mega raid bios utility
> - policies) тоже посмотрите настройки. Ну и настройки биос на сервере
> смотрите (как вариант default/optimize settings).На трех разных компах, один из которых сервер одна и та же история. Скорость около 30Мб.
думаю настройки биоса тут точно не при чем, да и контроллер не трогался. Все же работало нормально и в один момент пришел капец:(
- RAID5 сильно тормозит., ACCA, 17:48 , 28-Мрт-17 (27)
> На трех разных компах, один из которых сервер одна и та же
> история. Скорость около 30Мб.Истории я прочитал три -
1. тормозит soft-RAID через контроллер Intel
2. тормозит LSI
3. тормозит мастдай Про №1 - ожидаемо. Про №2 - залезь в настройки LSI9260-8i и посмотри, что написано про cache. Ещё забавная идея - на LSI9260-8i сдохла батарейка, а слишком умный контроллер боится использовать кэш без батарейки. И не использует, хотя ты ему говорил. Про №3 - очередной апдейт, вендоюзеры должны страдать. Запиши на флешку какой-нибудь https://www.stresslinux.org/sl/, загрузись с него и померяй с помощью iozone или Bonnie++ скорость чтения/записи без файловой системы.
- RAID5 сильно тормозит., nops, 21:44 , 27-Мрт-17 (11)
> Ой как же сразу не заметил - было 6 дисков а 5м
> раиде, а сейчас их 4е? Ну запомни - чем больше дисков
> в 5м раиде - тем он быстрее работает. :) Я учту на будущее, спасибо.
При 6 дисках на raid6 прироста никакого.
- RAID5 сильно тормозит., rst07, 15:15 , 28-Мрт-17 (12)
скажите а зачем Вам именно 5-тый рейд? по идее он самый тормознутый именно на запись, вы б лучше выбрали либо 6-ой либо 10-тый.
- RAID5 сильно тормозит., nops, 15:20 , 28-Мрт-17 (13)
> скажите а зачем Вам именно 5-тый рейд? по идее он самый тормознутый
> именно на запись, вы б лучше выбрали либо 6-ой либо 10-тый. При использовании 4 дисков он самый оптимальный получается. На 6-й нет еще двух дисков.
Но, как вы могли прочитать выше, RAID6 так же тормозит в 30-32Мб
- RAID5 сильно тормозит., rst07, 15:33 , 28-Мрт-17 (14)
я правильно понимаю что у вас есть raid-контроллер и к нему подключена корзина посредством провода SFF-8087, если так то возможно у вас не и получится поднять скорость
- RAID5 сильно тормозит., nops, 15:34 , 28-Мрт-17 (15)
> я правильно понимаю что у вас есть raid-контроллер и к нему подключена
> корзина посредством провода SFF-8087, если так то возможно у вас не
> и получится поднять скорость Да, понимаете правильно, но объясните почему не получится поднять скорость, ведь до этого все прекрасно работало.
Очень признателен буду за ликбез
- RAID5 сильно тормозит., rst07, 15:42 , 28-Мрт-17 (16)
в общих чертах, этот проводок и корзина сделаны именно для sas,sata - это упрощенный sas, у него нет многих команд для работы с очередью, возможно из-за этого у вас и такая низкая скорость, а при подключении одного диска проблем с очередью нет. т.е. если ставите в корзину диски то нужны именно sas, у сигейта например есть диски 7200rpm но имеющие и sas или sata контроллеры и разумеется по разным ценами.
- RAID5 сильно тормозит., nops, 15:43 , 28-Мрт-17 (17)
> в общих чертах, этот проводок и корзина сделаны именно для sas,sata -
> это упрощенный sas, у него нет многих команд для работы с
> очередью, возможно из-за этого у вас и такая низкая скорость, а
> при подключении одного диска проблем с очередью нет. т.е. если ставите
> в корзину диски то нужны именно sas, у сигейта например есть
> диски 7200rpm но имеющие и sas или sata контроллеры и
> разумеется по разным ценами.Но ведь раньше таких тормозов не было...
Вы правы, когда диск стоит один, он причудесненько работает. Однако, со скоростью беда такая же наблюдается и при использовании интегрированного софт-контроллера.
- RAID5 сильно тормозит., rst07, 15:43 , 28-Мрт-17 (18)
немного запутал я вас, есть кабель SFF8087->SFF8087 т.е. он как раз для корзины, а есть SFF8087->4 sata этот как раз для подлючения sata дисков.
- RAID5 сильно тормозит., nops, 15:44 , 28-Мрт-17 (20)
> немного запутал я вас, есть кабель SFF8087->SFF8087 т.е. он как раз
> для корзины, а есть SFF8087->4 sata этот как раз для подлючения
> sata дисков.Да, вот этот у меня SFF8087->4 sata
- RAID5 сильно тормозит., rst07, 15:45 , 28-Мрт-17 (22)
тогда дело не в кабеле, я думал что у вас именно корзина подключена SFF8087->SFF8087
- RAID5 сильно тормозит., nops, 15:46 , 28-Мрт-17 (23)
> тогда дело не в кабеле, я думал что у вас именно корзина
> подключена SFF8087->SFF8087 Нет, у меня корзина SFF8087-> 4sata
- RAID5 сильно тормозит., rst07, 15:51 , 28-Мрт-17 (24)
- RAID5 сильно тормозит., nops, 15:54 , 28-Мрт-17 (25)
- RAID5 сильно тормозит., nops, 15:55 , 28-Мрт-17 (26)
- RAID5 сильно тормозит., электрик, 19:06 , 28-Мрт-17 (28)
проверьте батарею на контроллере LSI 9260-8i
- RAID5 сильно тормозит., nops, 19:27 , 28-Мрт-17 (29)
> проверьте батарею на контроллере LSI 9260-8i Спасибо за совет, выше тоже об этом писали.
А можете подсказать, как именно проверить?! Нужно же емкость как-то еще проверить, помимо напряжения?!
- RAID5 сильно тормозит., ACCA, 20:43 , 28-Мрт-17 (30)
> А можете подсказать, как именно проверить?! Нужно же емкость как-то еще проверить,
> помимо напряжения?!Залезть в конфигурашку LSI и внимательно почитать его лог, если такой есть. Бюджетный вариант - залезть в конфигурашку и заменить режим кэша с "Write Back with BBU" на "Write Back". Возможно, ещё включить "Disk Cache Policy" в On
- RAID5 сильно тормозит., Dimez, 17:38 , 31-Мрт-17 (31)
>> проверьте батарею на контроллере LSI 9260-8i
> Спасибо за совет, выше тоже об этом писали.
> А можете подсказать, как именно проверить?! Нужно же емкость как-то еще проверить,
> помимо напряжения?!storcli /c0/bbu show all и внимательно читать, что там написано.
|
Версия для распечатки
RAID5 сильно тормозит., 
