Опубликованы (http://www.catux.org/index.php?contingut=articles&num=101) результаты тестирования производительности реализации программного RAID 0, 1 в Linux. Для сравнения приводятся данные для тех же дисков, но без использования RAID.
В качестве тестов использовались типовые приемы копирования данных и комплект Bonnie++. Одновременно запускались 1, 2 , 3 и 4 теста, для эмуляции параллельных запросов от различных процессов.
В итоге программный RAID 1, при запуске одного тестового процесса, показал падение производительности, по сравнению с обычным диском, на уровне 15%. Напротив, RAID 0 в "striped" режиме оказался быстрее обычного диска на 13.5%.При двух параллельно запущенных тестах, RAID 1 наверстал упущенное и обогнал обычный диск на 3%, а выигрыш RAID 0 возрос до 16.7%.
Для 3-х одновременно запущенных тестовых процессов RAID конфигурации опережали уже на 7,19% и 19,08%, для четырех - на 8,97% и 19,86%.URL: http://www.catux.org/index.php?contingut=articles&num=101
Новость: http://www.opennet.me/opennews/art.shtml?num=6576
Надо было тестировать не сравнение программного рэйда с одиночным диском, а сравнение программного и аппаратного рейдов.
Тестировал, приводил результаты в одном из постов.Вывод один: софтовый ни в чем не уступает аппаратному, а местами ведет себя гораздо лучше.
А учитывая цену решения.... Конечно речь идет о использовании софтового рейда на серверах класса entry 1000$-5000$.
вот это бред, просто зачот.
апаратный рейд стоит щас 350$ одноканальный и 430$ 2х канальный, и это не entry класс ???
про проиводительность кхе, это вобще просто в хумор нада.
йо. прочти пост вниматочно.Мож конечно не точно и не полно выскзался но мысль такова:
я утверждаю что софтовый рейд в равных условиях имеет в общем равную или бОльшую производительность чем аппаратный.
> апаратный рейд стоит щас 350$ одноканальный и 430$ 2х канальный, и это не entry класс ???
Да рейды так и стоят, да класс entry. Но некоторые raid идущие с различными серверами ведут себя мягко говоря х#$%^о, (adaptec, promise и иже с ними), и ведут себя так что приходиться либо устанавливать raid аналогичного класса (тот же 3ware), либо делать софтовый рейд.
Не могу согласиться с тем, что софтовый рейд местами ведет себя лучше. Пример простой -- зеркало, при аппаратном рейде по PCI шине данные проходят однократно, далее их распараллеливает контроллер, при программном -- данные проходят по шине дважды. Или я здесь не прав?При страйпе и коню понятно, что ввиду простоты особых различий быть не должно.
Более того, ИМХО, аппаратный рейд все же надежный -- это железка, сломалась -- купил новую и вперед, а если в ядре что-то сломали, пересобрали его, грузимся и не едем? ИМХО, если сервер уровня $1000-$5000, то потратить на аппараттный рейд от $100 до $500 очень даже позволительно.
>Более того, ИМХО, аппаратный рейд все же надежный -- это железка, сломалась
>-- купил новую и вперед, а если в ядре что-то сломали,Проблема в том, что если серверу больше года такой железяки может не оказаться в продаже или пообещают привести через месяц. Если привезут, нет гарантии, что без перестановки флеша информация о разбивке массива корректно считается и воспримется с дисков.
> то потратить на аппараттный рейд от $100 до $500 очень даже
За 100$ - это не RAID, цена приемлимых контроллеров начинается от 500$, все что ниже игрушки, с которыми вполне может конкурировать программный RAID.
Без батарейки, но с кешем на запись - тоже не RAID, иначе случайное проподание питания (шнур зацепили, БП сгорел) очень вероятно приведет к потере данных, файловая система думает одно, а на дисках совсем другое.
>За 100$ - это не RAID, цена приемлимых контроллеров начинается от 500$
Да ну? 3ware 7006-2 двухканальный IDE контроллер с поддержкой зеркала и страйпа. Железный между прочим. Стоимость в районе 120 долларов. Тоже не RAID?
>>За 100$ - это не RAID, цена приемлимых контроллеров начинается от 500$
>Да ну? 3ware 7006-2 двухканальный IDE контроллер с поддержкой зеркала и страйпа.
>Железный между прочим. Стоимость в районе 120 долларов. Тоже не RAID?Про такие "RAID" я и говрил, это не райд, а средство для наживания гемороя.
Он лишь создает мнимую уверенность в надежности, подчеркиваю мнимую.
Если бы нужно было выбирать 3ware за 120$ или программный RAID, я бы поставил программный.
Что значит мнимую? Это чисто аппаратный рейд на тех же чипсетах, что и серия 95хх. Стоит он столько денег потому что двухканальный и IDE и без батарейки. Прошу не путать с промизом и прочими поделками. Это очень качественная плата и вполне стоит своих денег. Вдобавок с прекрасной поддержкой. Какие проблемы? Или вам разбработчик md_raid гарантирует поддержку?
А не у 3Ware ли пару раз были огромные проблемы с firmware, приводящие при определенных обстоятельствах к потере данных ? Так что, что из решений надежнее большой вопрос. Слишком новыми моделями любых аппаратных RAID я бы не рекомендовал пользоваться.
Дравер программного RAID, тоже сломать легко могут, ядро со сломанным ext3 выпускали ? Выпускали и никакой RAID не спасет, только бэкап. Вообщем нет в жизни счастья, и "rm -rf" переворачивает представления о любых типах RAID и локальных бэкапах.
>Без батарейки, но с кешем на запись - тоже не RAID, иначе
>случайное проподание питания (шнур зацепили, БП сгорел) очень вероятно приведет к
>потере данных, файловая система думает одно, а на дисках совсем другое.
Ну вот это уже полный гон. Если какую то железку называют сервером то неотъемлемой его составляющей дожен быть упс и железка должна стоять в бронированном бункере без доступа кривоногих которые могут шнур зацепить. Я разве не прав? Если всего етого нету то значит значимость сервера стремиться очень быстро к нулю!
>Пример простой -- зеркало, при аппаратном рейде по PCI шине данные проходят >однократно, далее их распараллеливает контроллер, при программном -- данные >проходят по шине дважды. Или я здесь не прав?Чесное слово - не могу сказать. Мне кажется это специфика каждой шины в отдельности (IDE, SATA, SCSI), на SATA и SCSI особых проблем с загрузкой PCI шины не замечал (субъективно, допустим на системе с парой 3com 1Gbit сетевых, объективно мне кажется что нет средств для измерения нагрузки на pci шину. :) )
>Более того, ИМХО, аппаратный рейд все же надежный -- это железка, >сломалась -- купил новую и вперед, а если в ядре что-то сломали, >пересобрали его, грузимся и не едем?
Рейд в линуксе - это в первую очередь драйвер md, :) без него ничего не выйдет так сказать, так что ядро здесь непричем, есть md_raid0 есть рейд, нет, значит нет.
Насчет шины.
Если рейд программный, то у вас IDE контроллер захватывает шину на время, примерно в два раза бОльшее(речь о зеркале). В этой время, грубо говоря, всё остальное отдыхает и ждет своей очереди.
>Рейд в линуксе - это в первую очередь драйвер md, :)
>без него ничего не выйдет так сказать, так что ядро
>здесь непричем, есть md_raid0 есть рейд, нет, значит нет.Мы говорим об аппаратном рейде? Тогда зачем md_raid0? Аппаратный рейд он на то и аппаратный, чтоб представить системе себя, как один диск и работать с ним с помощью _стандартных_ средств операционной системы абсолютно прозрачно. Мне очень интересно было бы посмотреть, как в случае паники ядра будет сбрасываться дамп на программный рейд, с учетом того, что система в данный момент нестабильна, попытка воспользоваться программной прокладкой для записи дампа на диск выглядит просто самоубийством.
В любом случае работа программного рейда зависит от:
1. безупречной работы драйвера самого контроллера диска
2. безупречной работы эмулятора рейда, которая, на собственном опыте ощутил, месяц работает и в пятницу вечером перестает хоть ты тресни.
В случае аппаратной успешная работа массива зависит от:
1. безупречной работы драйвера контроллера диска.
>Насчет шины.
>Если рейд программный, то у вас IDE контроллер захватывает шину на время,
>примерно в два раза бОльшее(речь о зеркале). В этой время, грубо
>говоря, всё остальное отдыхает и ждет своей очереди.
урл на информацию, к сожалению не нашел этого в документации к md.
>>Рейд в линуксе - это в первую очередь драйвер md, :)
>>без него ничего не выйдет так сказать, так что ядро
>>здесь непричем, есть md_raid0 есть рейд, нет, значит нет.
>
>Мы говорим об аппаратном рейде? Тогда зачем md_raid0?
О программном.
Аппаратный рейд он на
>то и аппаратный, чтоб представить системе себя, как один диск и
>работать с ним с помощью _стандартных_ средств операционной системы абсолютно прозрачно.
не всегда это так, как пример рейды на promise sata>Мне очень интересно было бы посмотреть, как в случае паники ядра
>будет сбрасываться дамп на программный рейд, с учетом того, что система
>в данный момент нестабильна, попытка воспользоваться программной прокладкой для записи дампа
>на диск выглядит просто самоубийством.
все в порядке - проверено.>
>В любом случае работа программного рейда зависит от:
>1. безупречной работы драйвера самого контроллера диска
>2. безупречной работы эмулятора рейда, которая, на собственном опыте ощутил, месяц работает
>и в пятницу вечером перестает хоть ты тресни.
>В случае аппаратной успешная работа массива зависит от:
>1. безупречной работы драйвера контроллера диска.
Вы забыли добавить 2-м пунктом
2. От безупреной работы контроллера аппаратного рейда,а с этим к с любой железякой не всегда хорошо. Вы думаете что в пятницу вечером не может отказать аппаратный рейд? :) отказывают сволочи, к сожалению
>>>Рейд в линуксе - это в первую очередь драйвер md, :)
>>>без него ничего не выйдет так сказать, так что ядро
>>>здесь непричем, есть md_raid0 есть рейд, нет, значит нет.
>>
>>Мы говорим об аппаратном рейде? Тогда зачем md_raid0?
>О программном.
Отлично, а я об аппаратном, но мы друг друга поняли 8))>Аппаратный рейд он на
>>то и аппаратный, чтоб представить системе себя, как один диск и
>>работать с ним с помощью _стандартных_ средств операционной системы абсолютно прозрачно.
>не всегда это так, как пример рейды на promise sata
RAID от промизов -- это не аппаратный рейд. И вообще промиз -- это самое дно моря RAID контроллеров и ориентироваться на него не стОит.
>>Мне очень интересно было бы посмотреть, как в случае паники ядра
>>будет сбрасываться дамп на программный рейд, с учетом того, что система
>>в данный момент нестабильна, попытка воспользоваться программной прокладкой для записи дампа
>>на диск выглядит просто самоубийством.
>все в порядке - проверено.
Ядро сбрасывает дамп на программный рейд, который реализован этим же аварийным ядром? Либо вы ошибаетесь, либо об этом в багрепорт надо писать.
>>
>>В любом случае работа программного рейда зависит от:
>>1. безупречной работы драйвера самого контроллера диска
>>2. безупречной работы эмулятора рейда, которая, на собственном опыте ощутил, месяц работает
>>и в пятницу вечером перестает хоть ты тресни.
>>В случае аппаратной успешная работа массива зависит от:
>>1. безупречной работы драйвера контроллера диска.
>Вы забыли добавить 2-м пунктом
>2. От безупреной работы контроллера аппаратного рейда,
нет я не забыл, ибо бОльшая часть ошибок зависит от программной части.
В данном случае не важно что откажет, RAID контроллер или обычный контроллер -- в любом случае имеем проблему.
А вот в случае аппартного массива отказ какого-то драйвера md_raid в принципе никакой роли не играет. Опять же повторю, ошибок в программном коде зачастую допущено больше, чем при проектировании железа.
я бы сказал что мы друг друга поняли. :)рассуждать о проектировании не буду - потому как не компетентен
вывод один - всему свое место. по поводу дампа - не было сбоев еще софтового рейда, вроде кернелпаника или оопсов. во всяком случае у меня.
главная моя мысль - там где надо использовать аппаратный рейд используем, но там где возникают какие-то проблемы или политика - можно без соменния испольовать софтовый рейд, конечно при этом необходимо правильно проектировать систему.
все равно при любых раскладах бекапить важную инфу с железных рейдов надо, и без этого никуда.
> Надо было тестировать не сравнение программного
> рэйда с одиночным диском, а сравнение
> программного и аппаратного рейдов.не имеет смысла - в зависимости от использованного железа тест может склоняться в ту или иную сторону
а приведенный тест дает вполне предсказуемые результаты - и без тестов вполне понятно что страйп ускоряет работу, а зеркало замедляет.
показанный проигрыш одиночного винта зеркалу при нескольких потоках объясняется тоже элементарно
в общем - тест ни очем
>понятно что страйп ускоряет работу, а зеркало замедляет.А почему зеркало замедляет ? По идее замедлять при записи должно процентов на 10, но при одновременном чтении разных блоков данных должно в среднем процентов на 30-40 ускорять, если настроено балансировать нагрузку на диски.
> А почему зеркало замедляет ? По идее замедлять при записи должно процентов
> на 10, но при одновременном чтении разных блоков данных должно в среднем
> процентов на 30-40 ускорять, если настроено балансировать нагрузку на
> диски.ну дык это и мы видим в приведенном тесте.
Бред.Какая конфигурация железа?
По каким интерфейсам и как подключались диски?
Почему в одних тестах использовалось кеширование fs, а в других - нет?
Сбрасывался ли fs кеш между тестами?
...Весной мерял RAID-1 по два диска самое на ATA и SATA (для любопытствующих - CeleronD-2400,
диски по 80GB, матери от Intel).Общая конфигурация 12 потоков:
4 - randomize чтение по всему диску с блоком 4к,
2 - randomize чтение по всему диску с блоком 64к,
2 - randomize запись по всему диску с блоком 4к,
1 - randomize запись по всему диску с блоком 64к,
2 - последовательное чтение по всему диску (блоки - 10GB),
1 - последовательная запись по всему диску (блоки - 10GB).Кеширование fs есс-но не использовалось.
Получил (сравнение с одиночным диском той же системы):
1. 2HDD ATA на одном канале = 88%
2. 2HDD ATA на разных каналах = 174%
3. 2HDD SATA на одном канале = 191%
Sorry,
2HDD SATA на разных каналах, есс-но!
> я утверждаю что софтовый рейд в равных условиях
> имеет в общем равную или бОльшую
> производительность чем аппаратныйКакой идиот будет использовать софтовый райд на продакшн серверах? Если данные совсем неважны - можно обойтись без райда. Если важны - аппаратный райд без вариантов. С хорошим контроллером, умеющим write back и энергонезависимой памятью.
мы говорим только о серверах начального уровня, тогда как хороший рейд для того же SATA - 3WARE 9500S -8,12 стоит в районе штуцера$, а для scsi кроме адаптеков на нашем рынке попросту ничего нет.не буду же я в каждый back-up сервер втыкать железяку за 500$-1000$, и не оставлять работать на подобных серверах adaptec скорость на котором простого копирования 7Mb/s когда софтового 24Mb/s
adaptec 2200S + батарейка
нагруженый веб сервер, ось solaris 10 x86 скорость копирования не ниже 20 Mb/sec, внимание вопрос знатокам: чо я делаю нитак ?
йо. и при чем здесь веб-сервер?из прайса:
RAID (0/1/5) ADAPTEC AHA-2200S U-320 Single - 425$втыкни его на backup сервер + винтов на ~1Тб, скока-скока??
(самый дешевый)73.5G FUJITSU 10K U320 - 224$
425$+12 x 224$ = 3113$
2-е я НИГДЕ не упоминал что аппаратный рейд это муйня. сам пользую везде где моно. отстань.
все свое место, и софтовому рейду в том числе.
>мы говорим только о серверах начального уровня, тогда как хороший рейд для
>того же SATA - 3WARE 9500S -8,12 стоит в районе штуцера$,
>а для scsi кроме адаптеков на нашем рынке попросту ничего нет.
линейка 95xx у 3ware -- это не единственная линейка.
кроме адаптеков есть еще LSI MegaRAID, который тоже хорошо работает.
Видимо находятся такие идиоты. И небезуспешно как я понимаю.
софтовый рейд лучше апаратного также как реалтек лучше карточки от например интела.
>софтовый рейд лучше апаратного также как реалтек лучше карточки от например интела.
>сравнил грушу с яблоком. думаю что риалтек пораспрастраненней даже интела будет. с какого фига спрашивается?
Ну и что что карточка галимая, и нельзя использовать в серверах (про 8169 молчу напрочь) 8139 - это классика
всему свое место
а с каких это пор мы на бэкап сервер будем скази вставлять сата чо никатит ? - откровенная глупость, шлангом прикинулся.
то что риалтека больше чем инетла ГДЕ ? в серверах ?
шутка юмора клевая. в хумор.
катит. например мне нравиться 3ware 8000 + supermicro case 5hdd + 250Gb SATA WD> то что риалтека больше чем инетла ГДЕ ? в серверах ?
общее количество проданных риалтеков гораздо превышает количество проданых интелов.> а с каких это пор мы на бэкап сервер будем скази вставлять сата чо никатит ?
ты привел пример использования рейда. на 2200s.но либо мы упорно не понимаем кто из что хочет сказать, либо кто-то валяет дурку.
вообщем проехали. бред.