Друзья.
Обращаюсь за советом, сломал голову.
Есть сервер Depo, точную модель сказать не могу сейчас, но характеристики такие: 2 процессора Е5-2407, 48Гб оперативки.
Стоял RAID-контроллер LSI 9260-8i.
К нему подключены в RAID5 - 4 диска по 500Гб (WD RE4). В RAID0 - один SSD kingston.
Проверяю скорость записи на RAID5 скорость еле еле 20МБ: https://puu.sh/tKQ6Y/102bed26a8.png
Проверяю скорость записи на SSD диск, к сожалению скрин не сохранился, но там скорость была на запись около 100МБ, чтение 350-400.
Попробовал убрать контроллер и корзину воткнуть напрямую в мать и использовать материнский контроллер. скорости остались на прежнем уровне.Контроллер переспрашивали последней прошивкой, не помогло. Контроллер ставили на другую машину, скорости не изменились.
Прошу совета, куда лезть и что рыть, чтобы вернуть былую славу дисковой подсистеме.
P.S. еще у клиента такая же проблема образовалась, тоже скорость записи хромает, а чтение норм.
Расскажи подробней - как собирали RAID5? Что там S.M.A.R.T. о дисках глаголит? Ну вообще - подробности плиз. По твоему описанию - ничего не понятно, может диск глючит, а может он у тебя в софтовом режиме...
> Расскажи подробней - как собирали RAID5? Что там S.M.A.R.T. о дисках глаголит?
> Ну вообще - подробности плиз. По твоему описанию - ничего не
> понятно, может диск глючит, а может он у тебя в софтовом
> режиме...RAID5 собирал при запуске компа, выбирал диски, потом на полную инициализацию. Аналогичную процедуру выполнял и когда отключил контроллер.
СМАРТ по каждому из дисков:
https://puu.sh/uYUq3/47eed8aa91.png
https://puu.sh/uYUty/dd9aba98dc.png
https://puu.sh/uYUtT/c43b2014b5.png
https://puu.sh/uYUuh/3d895a0d5d.png
Попробую заново описать.
Стоял сервак, на нем работал Win2012R2.
стоял контроллер LSI9260-8i, подключен к корзине в которую вставлены 6 дисков Hitachi(модели сейчас не помню).
В какой-то момент сервак стал жутко тормозить. Решили поменять диски на WD RE. купили 4 диска WD, и один SSD.
На горячую заменили по очереди каждый из дисков. После перезагрузки убрали лишние диски и поставили SSD. Получился RAID5 4x500, RAID0 1x120, RAID0 1x2000.
Проверяю скорость, скорость записи не подросла. Посчитал что контроллер дохнет. Решил убрать контролер LSI и собрать новый RAID на интегрированном контроллере.
Собрал заново RAID5, поставил с нуля винду, проверяю скорость, а она чуть еще упала.Сейчас скорость записи никакая, чтения хреновая.
> Решил убрать контролер LSI и собрать новый RAID на интегрированном контроллере.Собрал заново RAID5, поставил с нуля винду, проверяю скорость, а она чуть еще упала
Что за интегрированный контроллер? Ну вообщем скорей всего - Intel. То есть это SoftRAID. Для программного 5-го раида такая скорость на запись нормально.
Вообще проблемы со скоростью записи в RAID5 это нормально.Хотя может быть и отложенная инициализация - тогда через некоторое время скорость вырастет.
P.S. Менять Hitachi на WD это глупость, если они были живые.
>> Решил убрать контролер LSI и собрать новый RAID на интегрированном контроллере.
> Собрал заново RAID5, поставил с нуля винду, проверяю скорость, а она чуть
> еще упала
> Что за интегрированный контроллер? Ну вообщем скорей всего - Intel. То есть
> это SoftRAID. Для программного 5-го раида такая скорость на запись нормально.
> Вообще проблемы со скоростью записи в RAID5 это нормально.
> Хотя может быть и отложенная инициализация - тогда через некоторое время скорость
> вырастет.
> P.S. Менять Hitachi на WD это глупость, если они были живые.Я конечно понимаю вашу иронию, но скорость упала не после того, как я убрал из RAID5 2 диска. К тому же, при RAID5 использовать 6 дисков нелогично в силу отсутствия чередования записи Strip-блока, как собственно и 3-х дисков. Ввиду этого было принято решение использовать именно 4 диска.
После создания нового RAID5 из 4-х дисков, все чудесно работало год, потом начались вот такие проблемы, потому не нужно сваливать вину на RAID5.
Интегрированный контроллер да Intel, но они же не все софтовые или я не прав?! Ну да это сейчас и не важно.
Я пытаюсь понять, куда делась скорость работы.
Сейчас пытаюсь понять, либо это сама платформа чудит, либо все таки контроллер. Я написал тут для того, чтобы мне помогли разобраться, подсказали в какую сторону копнуть.
> Хотя может быть и отложенная инициализация - тогда через некоторое время скорость
> вырастет.Ну за месяц инициализация должна была уже пройти...
Давайте опустим встроенный RAID, давайте вернемся к платформе и контроллеру LSI.
Может ли сама платформа чудить?!
Кстати, на SSD скорость тоже на запись низкая, а на чтение высокая.
Вопрос кстати, а может ли "чудить" сама корзина?!
Ну наконец-то вы стали давать хоть какую-то конкретику...
> Вопрос кстати, а может ли "чудить" сама корзина?!Может - радиотехника наука о контактах. Но тут врятли - еслиб чудила корзина, то скорость бы упала и на запись и на чтение скорей всего. Хотя... Посмотрите на интерфейсах кол-во ошибок передачи.
Ой как же сразу не заметил - было 6 дисков а 5м раиде, а сейчас их 4е? Ну запомни - чем больше дисков в 5м раиде - тем он быстрее работает. :)
4 x HDD WD SATA 1TB 10k = raid 5 (Adaptec 6405) Win2k12 R2
Read 331Mb/s Write 425 Mb/s
Сделаем скидку на различие в rpm, и все равно скорость никак не может быть 20-30Mb/s.
> 4 x HDD WD SATA 1TB 10k = raid 5 (Adaptec 6405)
> Win2k12 R2
> Read 331Mb/s Write 425 Mb/s
> Сделаем скидку на различие в rpm, и все равно скорость никак не
> может быть 20-30Mb/s.Я вам скажу больше, она была больше сотки,
У меня на моем личном сервере, ну как сервере, на обычной матери s775 переделанный под s771 стоит 2 WD Black и вот такие характеристики показывает: https://puu.sh/tM1Ih/bbf156f241.png
К слову, сегодня попробовал контроллер собрать в 6 рейд с 6 дисками, скорость показал 32Мб.
Ну вот что хотите со мной делайте, но я ума не приложу, как так-то?!P.S. К слову сказать, без рейда, в частности просто диск, сам по себе, скорость нормальная, тормоза только конда собираю в raid-массив больше 1 диска.
При условии, что все диски работоспособны, дело может быть в настройках кэш контроллеров. Была подобная проблема на домашнем ПК с программным рейд, решение было в настройках intel RST (or matrix storage) типа write-back cache - enable (точно не помню). На LSI (mega raid bios utility - policies) тоже посмотрите настройки. Ну и настройки биос на сервере смотрите (как вариант default/optimize settings).
> При условии, что все диски работоспособны, дело может быть в настройках кэш
> контроллеров. Была подобная проблема на домашнем ПК с программным рейд, решение
> было в настройках intel RST (or matrix storage) типа write-back cache
> - enable (точно не помню). На LSI (mega raid bios utility
> - policies) тоже посмотрите настройки. Ну и настройки биос на сервере
> смотрите (как вариант default/optimize settings).На трех разных компах, один из которых сервер одна и та же история. Скорость около 30Мб.
думаю настройки биоса тут точно не при чем, да и контроллер не трогался. Все же работало нормально и в один момент пришел капец:(
> На трех разных компах, один из которых сервер одна и та же
> история. Скорость около 30Мб.Истории я прочитал три -
1. тормозит soft-RAID через контроллер Intel
2. тормозит LSI
3. тормозит мастдайПро №1 - ожидаемо.
Про №2 - залезь в настройки LSI9260-8i и посмотри, что написано про cache.
Ещё забавная идея - на LSI9260-8i сдохла батарейка, а слишком умный контроллер боится использовать кэш без батарейки. И не использует, хотя ты ему говорил.
Про №3 - очередной апдейт, вендоюзеры должны страдать. Запиши на флешку какой-нибудь https://www.stresslinux.org/sl/, загрузись с него и померяй с помощью iozone или Bonnie++ скорость чтения/записи без файловой системы.
> Ой как же сразу не заметил - было 6 дисков а 5м
> раиде, а сейчас их 4е? Ну запомни - чем больше дисков
> в 5м раиде - тем он быстрее работает. :)Я учту на будущее, спасибо.
При 6 дисках на raid6 прироста никакого.
скажите а зачем Вам именно 5-тый рейд? по идее он самый тормознутый именно на запись, вы б лучше выбрали либо 6-ой либо 10-тый.
> скажите а зачем Вам именно 5-тый рейд? по идее он самый тормознутый
> именно на запись, вы б лучше выбрали либо 6-ой либо 10-тый.При использовании 4 дисков он самый оптимальный получается. На 6-й нет еще двух дисков.
Но, как вы могли прочитать выше, RAID6 так же тормозит в 30-32Мб
я правильно понимаю что у вас есть raid-контроллер и к нему подключена корзина посредством провода SFF-8087, если так то возможно у вас не и получится поднять скорость
> я правильно понимаю что у вас есть raid-контроллер и к нему подключена
> корзина посредством провода SFF-8087, если так то возможно у вас не
> и получится поднять скоростьДа, понимаете правильно, но объясните почему не получится поднять скорость, ведь до этого все прекрасно работало.
Очень признателен буду за ликбез
в общих чертах, этот проводок и корзина сделаны именно для sas,sata - это упрощенный sas, у него нет многих команд для работы с очередью, возможно из-за этого у вас и такая низкая скорость, а при подключении одного диска проблем с очередью нет. т.е. если ставите в корзину диски то нужны именно sas, у сигейта например есть диски 7200rpm но имеющие и sas или sata контроллеры и разумеется по разным ценами.
> в общих чертах, этот проводок и корзина сделаны именно для sas,sata -
> это упрощенный sas, у него нет многих команд для работы с
> очередью, возможно из-за этого у вас и такая низкая скорость, а
> при подключении одного диска проблем с очередью нет. т.е. если ставите
> в корзину диски то нужны именно sas, у сигейта например есть
> диски 7200rpm но имеющие и sas или sata контроллеры и
> разумеется по разным ценами.Но ведь раньше таких тормозов не было...
Вы правы, когда диск стоит один, он причудесненько работает. Однако, со скоростью беда такая же наблюдается и при использовании интегрированного софт-контроллера.
а диски были sata или sas?
> а диски были sata или sas?SATA
немного запутал я вас, есть кабель SFF8087->SFF8087 т.е. он как раз для корзины, а есть SFF8087->4 sata этот как раз для подлючения sata дисков.
> немного запутал я вас, есть кабель SFF8087->SFF8087 т.е. он как раз
> для корзины, а есть SFF8087->4 sata этот как раз для подлючения
> sata дисков.Да, вот этот у меня SFF8087->4 sata
тогда дело не в кабеле, я думал что у вас именно корзина подключена SFF8087->SFF8087
> тогда дело не в кабеле, я думал что у вас именно корзина
> подключена SFF8087->SFF8087Нет, у меня корзина SFF8087-> 4sata
>> тогда дело не в кабеле, я думал что у вас именно корзина
>> подключена SFF8087->SFF8087
> Нет, у меня корзина SFF8087-> 4satahttp://static.nix.ru/autocatalog/controllers_3ware/95290_225...
http://static.nix.ru/autocatalog/controllers_cables_sas_sata...
кабель как красный?
>>> тогда дело не в кабеле, я думал что у вас именно корзина
>>> подключена SFF8087->SFF8087
>> Нет, у меня корзина SFF8087-> 4sata
> http://static.nix.ru/autocatalog/controllers_3ware/95290_225...
> http://static.nix.ru/autocatalog/controllers_cables_sas_sata...
> кабель как красный?Нет. Голубой. к каждому sata подходит 2 тоненьких проводочка
>>> тогда дело не в кабеле, я думал что у вас именно корзина
>>> подключена SFF8087->SFF8087
>> Нет, у меня корзина SFF8087-> 4sata
> http://static.nix.ru/autocatalog/controllers_3ware/95290_225...
> http://static.nix.ru/autocatalog/controllers_cables_sas_sata...
> кабель как красный?Вот такой: http://store.supermicro.com/media/catalog/product/cache/1/im...
проверьте батарею на контроллере LSI 9260-8i
> проверьте батарею на контроллере LSI 9260-8iСпасибо за совет, выше тоже об этом писали.
А можете подсказать, как именно проверить?! Нужно же емкость как-то еще проверить, помимо напряжения?!
> А можете подсказать, как именно проверить?! Нужно же емкость как-то еще проверить,
> помимо напряжения?!Залезть в конфигурашку LSI и внимательно почитать его лог, если такой есть.
Бюджетный вариант - залезть в конфигурашку и заменить режим кэша с "Write Back with BBU" на "Write Back". Возможно, ещё включить "Disk Cache Policy" в On
>> проверьте батарею на контроллере LSI 9260-8i
> Спасибо за совет, выше тоже об этом писали.
> А можете подсказать, как именно проверить?! Нужно же емкость как-то еще проверить,
> помимо напряжения?!storcli /c0/bbu show all и внимательно читать, что там написано.