URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 12939
[ Назад ]

Исходное сообщение
"OpenNews: Оценка производительности программного RAID в Linux"

Отправлено opennews , 07-Дек-05 13:49 
Опубликованы (http://www.catux.org/index.php?contingut=articles&num=101) результаты тестирования производительности реализации программного RAID 0, 1 в Linux.  Для сравнения приводятся данные для тех же дисков, но без использования RAID.


В качестве тестов использовались типовые приемы копирования данных и комплект Bonnie++. Одновременно запускались 1, 2 , 3 и 4 теста, для эмуляции параллельных запросов от различных процессов.


В итоге программный RAID 1, при запуске одного тестового процесса, показал падение производительности, по сравнению с обычным диском, на уровне 15%. Напротив,  RAID 0 в "striped" режиме оказался быстрее обычного диска на 13.5%.

При двух параллельно запущенных тестах,  RAID 1 наверстал упущенное и обогнал обычный диск на 3%, а выигрыш RAID 0 возрос до 16.7%.
Для 3-х одновременно запущенных тестовых процессов RAID конфигурации опережали уже на 7,19% и 19,08%, для четырех -  на 8,97% и 19,86%.

URL: http://www.catux.org/index.php?contingut=articles&num=101
Новость: http://www.opennet.me/opennews/art.shtml?num=6576


Содержание

Сообщения в этом обсуждении
"Оценка производительности программного RAID в Linux"
Отправлено Sun , 07-Дек-05 13:49 
Надо было тестировать не сравнение программного рэйда с одиночным диском, а сравнение программного и аппаратного рейдов.

"Оценка производительности программного RAID в Linux"
Отправлено sash , 07-Дек-05 14:03 
Тестировал, приводил результаты в одном из постов.

Вывод один: софтовый ни в чем не уступает аппаратному, а местами ведет себя гораздо лучше.

А учитывая цену решения.... Конечно речь идет о использовании софтового рейда на серверах класса entry 1000$-5000$.


"Оценка производительности программного RAID в Linux"
Отправлено xz , 07-Дек-05 15:19 
вот это бред, просто зачот.
апаратный рейд стоит щас 350$ одноканальный и 430$ 2х канальный, и это не entry класс ???
про проиводительность кхе, это вобще просто в хумор нада.

"Оценка производительности программного RAID в Linux"
Отправлено sash , 07-Дек-05 15:29 
йо. прочти пост вниматочно.

Мож конечно не точно и не полно выскзался но мысль такова:

я утверждаю что софтовый рейд в равных условиях имеет в общем равную или бОльшую производительность чем аппаратный.

> апаратный рейд стоит щас 350$ одноканальный и 430$ 2х канальный, и это не entry класс ???
Да рейды так и стоят, да класс entry. Но некоторые raid идущие с различными серверами ведут себя мягко говоря х#$%^о, (adaptec, promise и иже с ними), и ведут себя так что приходиться либо устанавливать raid аналогичного класса (тот же 3ware), либо делать софтовый рейд.


"Оценка производительности программного RAID в Linux"
Отправлено Sun , 08-Дек-05 01:07 
Не могу согласиться с тем, что софтовый рейд местами ведет себя лучше. Пример простой -- зеркало, при аппаратном рейде по PCI шине данные проходят однократно, далее их распараллеливает контроллер, при программном -- данные проходят по шине дважды. Или я здесь не прав?

При страйпе и коню понятно, что ввиду простоты особых различий быть не должно.

Более того, ИМХО, аппаратный рейд все же надежный -- это железка, сломалась -- купил новую и вперед, а если в ядре что-то сломали, пересобрали его, грузимся и не едем? ИМХО, если сервер уровня $1000-$5000, то потратить на аппараттный рейд от $100 до $500 очень даже позволительно.


"Оценка производительности программного RAID в Linux"
Отправлено uldus , 08-Дек-05 09:44 
>Более того, ИМХО, аппаратный рейд все же надежный -- это железка, сломалась
>-- купил новую и вперед, а если в ядре что-то сломали,

Проблема в том, что если серверу больше года такой железяки может не оказаться в продаже или пообещают привести через месяц. Если привезут, нет гарантии, что без перестановки флеша информация о разбивке массива корректно считается и воспримется с дисков.

> то потратить на аппараттный рейд от $100 до $500 очень даже

За 100$ - это не RAID, цена приемлимых контроллеров начинается от 500$, все что ниже игрушки, с которыми вполне может конкурировать программный RAID.
Без батарейки, но с кешем на запись - тоже не RAID, иначе случайное проподание питания (шнур зацепили, БП сгорел) очень вероятно приведет к потере данных, файловая система думает одно, а на дисках совсем другое.


"Оценка производительности программного RAID в Linux"
Отправлено Sun , 08-Дек-05 22:36 
>За 100$ - это не RAID, цена приемлимых контроллеров начинается от 500$
Да ну? 3ware 7006-2 двухканальный IDE контроллер с поддержкой зеркала и страйпа. Железный между прочим. Стоимость в районе 120 долларов. Тоже не RAID?

"Оценка производительности программного RAID в Linux"
Отправлено uldus , 08-Дек-05 23:02 
>>За 100$ - это не RAID, цена приемлимых контроллеров начинается от 500$
>Да ну? 3ware 7006-2 двухканальный IDE контроллер с поддержкой зеркала и страйпа.
>Железный между прочим. Стоимость в районе 120 долларов. Тоже не RAID?

Про такие "RAID" я и говрил, это не райд, а средство для наживания гемороя.
Он лишь создает мнимую уверенность в надежности, подчеркиваю мнимую.
Если бы нужно было выбирать 3ware за 120$ или программный RAID, я бы поставил программный.



"Оценка производительности программного RAID в Linux"
Отправлено Sun , 09-Дек-05 13:10 
Что значит мнимую? Это чисто аппаратный рейд на тех же чипсетах, что и серия 95хх. Стоит он столько денег потому что двухканальный и IDE и без батарейки. Прошу не путать с промизом и прочими поделками. Это очень качественная плата и вполне стоит своих денег. Вдобавок с прекрасной поддержкой. Какие проблемы? Или вам разбработчик md_raid гарантирует поддержку?

"Оценка производительности программного RAID в Linux"
Отправлено uldus , 09-Дек-05 14:06 
А не у 3Ware ли пару раз были огромные проблемы с firmware, приводящие при определенных обстоятельствах к потере данных ? Так что, что из решений надежнее большой вопрос. Слишком новыми моделями любых аппаратных RAID я бы не рекомендовал пользоваться.
Дравер программного RAID, тоже сломать легко могут, ядро со сломанным ext3 выпускали ? Выпускали и никакой RAID не спасет, только бэкап. Вообщем нет в жизни счастья, и "rm -rf" переворачивает представления о любых типах RAID и локальных бэкапах.

"Оценка производительности программного RAID в Linux"
Отправлено Halyva , 17-Дек-05 12:08 
>Без батарейки, но с кешем на запись - тоже не RAID, иначе
>случайное проподание питания (шнур зацепили, БП сгорел) очень вероятно приведет к
>потере данных, файловая система думает одно, а на дисках совсем другое.
Ну вот это уже полный гон. Если какую то железку называют сервером то неотъемлемой его составляющей дожен быть упс и железка должна стоять в бронированном бункере без доступа кривоногих которые могут шнур зацепить. Я разве не прав? Если всего етого нету то значит значимость сервера стремиться очень быстро к нулю!

"Оценка производительности программного RAID в Linux"
Отправлено sash , 08-Дек-05 11:13 
>Пример простой -- зеркало, при аппаратном рейде по PCI шине данные проходят >однократно, далее их распараллеливает контроллер, при программном -- данные >проходят по шине дважды. Или я здесь не прав?

Чесное слово - не могу сказать. Мне кажется это специфика каждой шины в отдельности (IDE, SATA, SCSI), на SATA и SCSI особых проблем с загрузкой PCI шины не замечал (субъективно, допустим на системе с парой 3com 1Gbit сетевых, объективно мне кажется что нет средств для измерения нагрузки на pci шину. :) )

>Более того, ИМХО, аппаратный рейд все же надежный -- это железка, >сломалась -- купил новую и вперед, а если в ядре что-то сломали, >пересобрали его, грузимся и не едем?

Рейд в линуксе - это в первую очередь драйвер md, :) без него ничего не выйдет так сказать, так что ядро здесь непричем, есть md_raid0 есть рейд, нет, значит нет.


"Оценка производительности программного RAID в Linux"
Отправлено Sun , 08-Дек-05 22:47 
Насчет шины.
Если рейд программный, то у вас IDE контроллер захватывает шину на время, примерно в два раза бОльшее(речь о зеркале). В этой время, грубо говоря, всё остальное отдыхает и ждет своей очереди.
>Рейд в линуксе - это в первую очередь драйвер md, :)
>без него ничего не выйдет так сказать, так что ядро
>здесь непричем, есть md_raid0 есть рейд, нет, значит нет.

Мы говорим об аппаратном рейде? Тогда зачем md_raid0? Аппаратный рейд он на то и аппаратный, чтоб представить системе себя, как один диск и работать с ним с помощью _стандартных_ средств операционной системы абсолютно прозрачно. Мне очень интересно было бы посмотреть, как в случае паники ядра будет сбрасываться дамп на программный рейд, с учетом того, что система в данный момент нестабильна, попытка воспользоваться программной прокладкой для записи дампа на диск выглядит просто самоубийством.

В любом случае работа программного рейда зависит от:
1. безупречной работы драйвера самого контроллера диска
2. безупречной работы эмулятора рейда, которая, на собственном опыте ощутил, месяц работает и в пятницу вечером перестает хоть ты тресни.
В случае аппаратной успешная работа массива зависит от:
1. безупречной работы драйвера контроллера диска.


"Оценка производительности программного RAID в Linux"
Отправлено sash , 09-Дек-05 12:27 
>Насчет шины.
>Если рейд программный, то у вас IDE контроллер захватывает шину на время,
>примерно в два раза бОльшее(речь о зеркале). В этой время, грубо
>говоря, всё остальное отдыхает и ждет своей очереди.
урл на информацию, к сожалению не нашел этого в документации к md.


>>Рейд в линуксе - это в первую очередь драйвер md, :)
>>без него ничего не выйдет так сказать, так что ядро
>>здесь непричем, есть md_raid0 есть рейд, нет, значит нет.
>
>Мы говорим об аппаратном рейде? Тогда зачем md_raid0?
О программном.


Аппаратный рейд он на
>то и аппаратный, чтоб представить системе себя, как один диск и
>работать с ним с помощью _стандартных_ средств операционной системы абсолютно прозрачно.
не всегда это так, как пример рейды на promise sata

>Мне очень интересно было бы посмотреть, как в случае паники ядра
>будет сбрасываться дамп на программный рейд, с учетом того, что система
>в данный момент нестабильна, попытка воспользоваться программной прокладкой для записи дампа
>на диск выглядит просто самоубийством.
все в порядке - проверено.

>
>В любом случае работа программного рейда зависит от:
>1. безупречной работы драйвера самого контроллера диска
>2. безупречной работы эмулятора рейда, которая, на собственном опыте ощутил, месяц работает
>и в пятницу вечером перестает хоть ты тресни.
>В случае аппаратной успешная работа массива зависит от:
>1. безупречной работы драйвера контроллера диска.
Вы забыли добавить 2-м пунктом
2. От безупреной работы контроллера аппаратного рейда,

а с этим к с любой железякой не всегда хорошо. Вы думаете что в пятницу вечером не может отказать аппаратный рейд? :) отказывают сволочи, к сожалению


"Оценка производительности программного RAID в Linux"
Отправлено Sun , 09-Дек-05 13:17 
>>>Рейд в линуксе - это в первую очередь драйвер md, :)
>>>без него ничего не выйдет так сказать, так что ядро
>>>здесь непричем, есть md_raid0 есть рейд, нет, значит нет.
>>
>>Мы говорим об аппаратном рейде? Тогда зачем md_raid0?
>О программном.
Отлично, а я об аппаратном, но мы друг друга поняли 8))

>Аппаратный рейд он на
>>то и аппаратный, чтоб представить системе себя, как один диск и
>>работать с ним с помощью _стандартных_ средств операционной системы абсолютно прозрачно.
>не всегда это так, как пример рейды на promise sata
RAID от промизов -- это не аппаратный рейд. И вообще промиз -- это самое дно моря RAID контроллеров и ориентироваться на него не стОит.

>>Мне очень интересно было бы посмотреть, как в случае паники ядра
>>будет сбрасываться дамп на программный рейд, с учетом того, что система
>>в данный момент нестабильна, попытка воспользоваться программной прокладкой для записи дампа
>>на диск выглядит просто самоубийством.
>все в порядке - проверено.
Ядро сбрасывает дамп на программный рейд, который реализован этим же аварийным ядром? Либо вы ошибаетесь, либо об этом в багрепорт надо писать.

>>
>>В любом случае работа программного рейда зависит от:
>>1. безупречной работы драйвера самого контроллера диска
>>2. безупречной работы эмулятора рейда, которая, на собственном опыте ощутил, месяц работает
>>и в пятницу вечером перестает хоть ты тресни.
>>В случае аппаратной успешная работа массива зависит от:
>>1. безупречной работы драйвера контроллера диска.
>Вы забыли добавить 2-м пунктом
>2. От безупреной работы контроллера аппаратного рейда,
нет я не забыл, ибо бОльшая часть ошибок зависит от программной части.
В данном случае не важно что откажет, RAID контроллер или обычный контроллер -- в любом случае имеем проблему.
А вот в случае аппартного массива отказ какого-то драйвера md_raid в принципе никакой роли не играет. Опять же повторю, ошибок в программном коде зачастую допущено больше, чем при проектировании железа.


"Оценка производительности программного RAID в Linux"
Отправлено sash , 09-Дек-05 13:53 
я бы сказал что мы друг друга поняли. :)

рассуждать о проектировании не буду - потому как не компетентен

вывод один - всему свое место. по поводу дампа - не было сбоев еще софтового рейда, вроде кернелпаника или оопсов. во всяком случае у меня.

главная моя мысль - там где надо использовать аппаратный рейд используем, но там где возникают какие-то проблемы или политика - можно без соменния испольовать софтовый рейд, конечно при этом необходимо правильно проектировать систему.

все равно при любых раскладах бекапить важную инфу с железных рейдов надо, и без этого никуда.


"Оценка производительности программного RAID в Linux"
Отправлено злобный , 07-Дек-05 14:03 
> Надо было тестировать не сравнение программного
> рэйда с одиночным диском, а сравнение
> программного и аппаратного рейдов.

не имеет смысла - в зависимости от использованного железа тест может склоняться в ту или иную сторону

а приведенный тест дает вполне предсказуемые результаты - и без тестов вполне понятно что страйп ускоряет работу, а зеркало замедляет.

показанный проигрыш одиночного винта зеркалу при нескольких потоках объясняется тоже элементарно

в общем - тест ни очем


"Оценка производительности программного RAID в Linux"
Отправлено Аноним , 07-Дек-05 14:12 
>понятно что страйп ускоряет работу, а зеркало замедляет.

А почему зеркало замедляет ? По идее замедлять при записи должно процентов на 10, но при одновременном чтении разных блоков данных должно в среднем процентов на 30-40 ускорять, если настроено балансировать нагрузку на диски.


"Оценка производительности программного RAID в Linux"
Отправлено злобный , 07-Дек-05 14:20 
> А почему зеркало замедляет ? По идее замедлять при записи должно процентов
> на 10, но при одновременном чтении разных блоков данных должно в среднем
> процентов на 30-40 ускорять, если настроено балансировать нагрузку на
> диски.

ну дык это и мы видим в приведенном тесте.


"Оценка производительности программного RAID в Linux"
Отправлено Vanoha , 07-Дек-05 15:38 
Бред.

Какая конфигурация железа?
По каким интерфейсам и как подключались диски?
Почему в одних тестах использовалось кеширование fs, а в других - нет?
Сбрасывался ли fs кеш между тестами?
...

Весной мерял RAID-1 по два диска самое на ATA и SATA (для любопытствующих - CeleronD-2400,
диски по 80GB, матери от Intel).

Общая конфигурация 12 потоков:
4 - randomize чтение по всему диску с блоком 4к,
2 - randomize чтение по всему диску с блоком 64к,
2 - randomize запись по всему диску с блоком 4к,
1 - randomize запись по всему диску с блоком 64к,
2 - последовательное чтение по всему диску (блоки - 10GB),
1 - последовательная запись по всему диску (блоки - 10GB).

Кеширование fs есс-но не использовалось.


Получил (сравнение с одиночным диском той же системы):
1. 2HDD ATA на одном канале = 88%
2. 2HDD ATA на разных каналах = 174%
3. 2HDD SATA на одном канале = 191%


"Оценка производительности программного RAID в Linux"
Отправлено Vanoha , 07-Дек-05 15:39 
Sorry,
2HDD SATA на разных каналах, есс-но!

"Оценка производительности программного RAID в Linux"
Отправлено Аноним , 08-Дек-05 09:40 
> я утверждаю что софтовый рейд в равных условиях
> имеет в общем равную или бОльшую
> производительность чем аппаратный

Какой идиот будет использовать софтовый райд на продакшн серверах? Если данные совсем неважны - можно обойтись без райда. Если важны - аппаратный райд без вариантов. С хорошим контроллером, умеющим write back и энергонезависимой памятью.


"Оценка производительности программного RAID в Linux"
Отправлено sash , 08-Дек-05 11:58 
мы говорим только о серверах начального уровня, тогда как хороший рейд для того же SATA - 3WARE 9500S -8,12 стоит в районе штуцера$, а для scsi кроме адаптеков на нашем рынке попросту ничего нет.

не буду же я в каждый back-up сервер втыкать железяку за 500$-1000$, и не оставлять работать на подобных серверах adaptec скорость на котором простого копирования 7Mb/s когда софтового 24Mb/s


"Оценка производительности программного RAID в Linux"
Отправлено xz , 08-Дек-05 12:44 
adaptec 2200S + батарейка
нагруженый веб сервер, ось solaris 10 x86 скорость копирования не ниже 20 Mb/sec, внимание вопрос знатокам: чо я делаю нитак ?

"Оценка производительности программного RAID в Linux"
Отправлено sash , 08-Дек-05 13:02 
йо.  и при чем здесь веб-сервер?

из прайса:
RAID (0/1/5) ADAPTEC AHA-2200S U-320 Single - 425$

втыкни его на backup сервер + винтов на ~1Тб, скока-скока??

(самый дешевый)73.5G FUJITSU 10K U320 - 224$

425$+12 x 224$ = 3113$

2-е я НИГДЕ не упоминал что аппаратный рейд это муйня. сам пользую везде где моно. отстань.

все свое место, и софтовому рейду в том числе.


"Оценка производительности программного RAID в Linux"
Отправлено Sun , 08-Дек-05 22:49 
>мы говорим только о серверах начального уровня, тогда как хороший рейд для
>того же SATA - 3WARE 9500S -8,12 стоит в районе штуцера$,
>а для scsi кроме адаптеков на нашем рынке попросту ничего нет.
линейка 95xx у 3ware -- это не единственная линейка.
кроме адаптеков есть еще LSI MegaRAID, который тоже хорошо работает.

"Оценка производительности программного RAID в Linux"
Отправлено AdVv , 08-Дек-05 10:40 
Видимо находятся такие идиоты. И небезуспешно как я понимаю.

"Оценка производительности программного RAID в Linux"
Отправлено xz , 08-Дек-05 12:54 
софтовый рейд лучше апаратного также как реалтек лучше карточки от например интела.

"Оценка производительности программного RAID в Linux"
Отправлено sash , 08-Дек-05 13:07 
>софтовый рейд лучше апаратного также как реалтек лучше карточки от например интела.
>

сравнил грушу с яблоком. думаю что риалтек пораспрастраненней даже интела будет. с какого фига спрашивается?

Ну и что  что карточка галимая, и нельзя использовать в серверах (про 8169 молчу напрочь) 8139 - это классика

всему свое место


"Оценка производительности программного RAID в Linux"
Отправлено xz , 08-Дек-05 13:37 
а с каких это пор мы на бэкап сервер будем скази вставлять сата чо никатит ?  - откровенная глупость, шлангом прикинулся.
то что риалтека больше чем инетла ГДЕ ? в серверах ?
шутка юмора клевая. в хумор.

"Оценка производительности программного RAID в Linux"
Отправлено sash , 08-Дек-05 13:45 
катит. например мне нравиться 3ware 8000 + supermicro case 5hdd + 250Gb SATA WD

> то что риалтека больше чем инетла ГДЕ ? в серверах ?
общее количество проданных риалтеков гораздо превышает количество проданых интелов.

> а с каких это пор мы на бэкап сервер будем скази вставлять сата чо никатит ?
ты привел пример использования рейда. на 2200s.

но либо мы упорно не понимаем кто из что хочет сказать, либо кто-то валяет дурку.

вообщем проехали. бред.