Итак.. Есть проблема, которая связана с работой Adaptec 2120S во FreeBSD разных версий. Эта проблема - скорость.Имеется два сервера след. конфигурации:
server1: P4 3Ghz, Intel 875, 1Gb RAM, Promise + RAID 0(из 2-х IDE Seagate 80Gb) Операционка: FreeBSD 5.1server2: P4 3,2Ghz, Intel 865, 1Gb RAM, Adaptec 2120S + RAID 0(из 8-ми!!! SCSI Fujitsu 70Gb) Операционки: FreeBSD(4.11, 5.2, 5.3, 5.4) Windows XP SP2 Corporate
Тестирование производительности проводил максимально просто: ставлю голую ОС, компилю ядро без всяких лишних вещей, скачиваю ports.tar.gz и распаковываю все это дело в /usr. При установки ОС специально создаю отдельный раздел /usr1. Затем запускаю:
time cp -pR /usr/ports /usr1/
и на другой консоли смотрю загрузку дисков через iostat или systat -vmstatСамое интересное в этой истории, что результаты получаются приблизительно одинаковые на всех серваках(180-200 сек. при средней скорости 4МБ/сек ). Причем я специально собирал RAID 0 из 2-х, 4-х, 8-ми SCSI дисков и результаты почти одинаковые!!!
Т.е. получается, что RAID 0 из 2-х IDE = RAID 0 из 8 SCSI !!!
Про RAID 5+0 (ради которого покупался данный контроллер) вообще молчу - там скорость была еще в 2 раза меньше.Я конечно понимаю, что такое тестирование слишком далеко от идеала, т.к. и пишется все с одного диска на тот же, и кеширование включено и sync, но ведь даже если грубо прикинуть и сравнить в уме скорость работы 2-х шпинделей и 8-ми, то оно должно отличаться, ну хотя бы в 2 раза.
В результате поставил винду с родными адаптековскими дровами - там все летало на действительно большой скорости.Перечитал все что только мог (или нет???) и пришел к выводу, что дело в драйвере aac для адаптековских контроллеров, а точнее в его кривой реализации для FBSD.
Если я не прав, то подскажите плиз, в какую сторону рыть, или хотя бы посмотрите сколько занимает у вас подобное копирование портов с одного раздела на другой в рамках одного диска.p.s. Есть подозрение, что если такая проблема и впрямь существует, то она должна проявляться и на других адаптековских адаптерах, т.к. драйвер один для всех.
>Итак.. Есть проблема, которая связана с работой Adaptec 2120S во FreeBSD разных
>версий. Эта проблема - скорость.
>
>Имеется два сервера след. конфигурации:
>server1: P4 3Ghz, Intel 875, 1Gb RAM, Promise + RAID 0(из 2-х
>IDE Seagate 80Gb) Операционка: FreeBSD 5.1
>
>server2: P4 3,2Ghz, Intel 865, 1Gb RAM, Adaptec 2120S + RAID 0(из
>8-ми!!! SCSI Fujitsu 70Gb) Операционки: FreeBSD(4.11, 5.2, 5.3, 5.4) Windows XP
>SP2 Corporate
>
>Тестирование производительности проводил максимально просто: ставлю голую ОС, компилю ядро без всяких
>лишних вещей, скачиваю ports.tar.gz и распаковываю все это дело в /usr.
>При установки ОС специально создаю отдельный раздел /usr1. Затем запускаю:
>time cp -pR /usr/ports /usr1/
>и на другой консоли смотрю загрузку дисков через iostat или systat -vmstat
>
>
>Самое интересное в этой истории, что результаты получаются приблизительно одинаковые на всех
>серваках(180-200 сек. при средней скорости 4МБ/сек ). Причем я специально собирал
>RAID 0 из 2-х, 4-х, 8-ми SCSI дисков и результаты почти
>одинаковые!!!
>
>Т.е. получается, что RAID 0 из 2-х IDE = RAID 0 из
>8 SCSI !!!
>Про RAID 5+0 (ради которого покупался данный контроллер) вообще молчу - там
>скорость была еще в 2 раза меньше.
>
>Я конечно понимаю, что такое тестирование слишком далеко от идеала, т.к. и
>пишется все с одного диска на тот же, и кеширование включено
>и sync, но ведь даже если грубо прикинуть и сравнить в
>уме скорость работы 2-х шпинделей и 8-ми, то оно должно отличаться,
>ну хотя бы в 2 раза.
>В результате поставил винду с родными адаптековскими дровами - там все летало
>на действительно большой скорости.
>
>Перечитал все что только мог (или нет???) и пришел к выводу, что
>дело в драйвере aac для адаптековских контроллеров, а точнее в его
>кривой реализации для FBSD.
>Если я не прав, то подскажите плиз, в какую сторону рыть, или
>хотя бы посмотрите сколько занимает у вас подобное копирование портов с
>одного раздела на другой в рамках одного диска.
>
>p.s. Есть подозрение, что если такая проблема и впрямь существует, то она
>должна проявляться и на других адаптековских адаптерах, т.к. драйвер один для
>всех.
конкретно этот контроллер довольно клинический, об этом был небольшой
треп в maillists freebsd, советы были такие:- проверить и заменить кабель
- проверить терминацию
- СТРОГО ОТКЛЮЧИТЬ в Бивосе контроллера READ CACHE!!! После чего скорость
очень существенно возрастала.Что-то еще, не помню, поищи по мейллистам.
>>Итак.. Есть проблема, которая связана с работой Adaptec 2120S во FreeBSD разных
>>версий. Эта проблема - скорость.
>>
>>Имеется два сервера след. конфигурации:
>>server1: P4 3Ghz, Intel 875, 1Gb RAM, Promise + RAID 0(из 2-х
>>IDE Seagate 80Gb) Операционка: FreeBSD 5.1
>>
>>server2: P4 3,2Ghz, Intel 865, 1Gb RAM, Adaptec 2120S + RAID 0(из
>>8-ми!!! SCSI Fujitsu 70Gb) Операционки: FreeBSD(4.11, 5.2, 5.3, 5.4) Windows XP
>>SP2 Corporate
>>
>>Тестирование производительности проводил максимально просто: ставлю голую ОС, компилю ядро без всяких
>>лишних вещей, скачиваю ports.tar.gz и распаковываю все это дело в /usr.
>>При установки ОС специально создаю отдельный раздел /usr1. Затем запускаю:
>>time cp -pR /usr/ports /usr1/
>>и на другой консоли смотрю загрузку дисков через iostat или systat -vmstat
>>
>>
>>Самое интересное в этой истории, что результаты получаются приблизительно одинаковые на всех
>>серваках(180-200 сек. при средней скорости 4МБ/сек ). Причем я специально собирал
>>RAID 0 из 2-х, 4-х, 8-ми SCSI дисков и результаты почти
>>одинаковые!!!
>>
>>Т.е. получается, что RAID 0 из 2-х IDE = RAID 0 из
>>8 SCSI !!!
>>Про RAID 5+0 (ради которого покупался данный контроллер) вообще молчу - там
>>скорость была еще в 2 раза меньше.
>>
>>Я конечно понимаю, что такое тестирование слишком далеко от идеала, т.к. и
>>пишется все с одного диска на тот же, и кеширование включено
>>и sync, но ведь даже если грубо прикинуть и сравнить в
>>уме скорость работы 2-х шпинделей и 8-ми, то оно должно отличаться,
>>ну хотя бы в 2 раза.
>>В результате поставил винду с родными адаптековскими дровами - там все летало
>>на действительно большой скорости.
>>
>>Перечитал все что только мог (или нет???) и пришел к выводу, что
>>дело в драйвере aac для адаптековских контроллеров, а точнее в его
>>кривой реализации для FBSD.
>>Если я не прав, то подскажите плиз, в какую сторону рыть, или
>>хотя бы посмотрите сколько занимает у вас подобное копирование портов с
>>одного раздела на другой в рамках одного диска.
>>
>>p.s. Есть подозрение, что если такая проблема и впрямь существует, то она
>>должна проявляться и на других адаптековских адаптерах, т.к. драйвер один для
>>всех.
>
>
>конкретно этот контроллер довольно клинический, об этом был небольшойклинический - это значит проблемный ? :)))
>треп в maillists freebsd, советы были такие:
>
>- проверить и заменить кабель
>- проверить терминацию
>- СТРОГО ОТКЛЮЧИТЬ в Бивосе контроллера READ CACHE!!! После чего скорость
>очень существенно возрастала.
>
>Что-то еще, не помню, поищи по мейллистам.Мейллисты читал в первую очередь! Пробовал отключать READ CACHE - результат тот же. На уровне контроллера там отколючается только WRITE CACHE, а READ CACHE устанавливается только при сборке RAID...
Меня больше всего смущают 2-е вещи.
Во-первых вот что пишет сервер при старте:
pass0: <FUJITSU MAT3073NP 0105> Fixed unknown SCSI-3 device
pass0: 160.000MB/s transfers (80.000MHz, offset 127, 16bit)
pass1 at aacp0 bus 0 target 2 lun 0
pass1: <FUJITSU MAT3073NP 0105> Fixed unknown SCSI-3 device
pass1: 160.000MB/s transfers (80.000MHz, offset 127, 16bit)
и т.д....В контроллере везде стоит 320MB/s. Те же 320 показывает accli.
Откуда берется 160???Второе - самое главное.
Результат команды "negotiate 0:1 -v" для любого диска
(pass0:aacp0:0:1:0): sync parameter: 8
(pass0:aacp0:0:1:0): frequency: 160.000MHz
(pass0:aacp0:0:1:0): offset: 127
(pass0:aacp0:0:1:0): bus width: 16 bits
(pass0:aacp0:0:1:0): disconnection is disabled
(pass0:aacp0:0:1:0): tagged queueing is disabled (!!!!!)
aacp0: SIM/HBA version: 1
aacp0: supports 16 bit wide SCSI
aacp0: user has disabled initial BUS RESET or controller is in target/mixed mode (!!!!!)
aacp0: HBA engine count: 0
aacp0: maximum target: 15
aacp0: maximum LUN: 8
aacp0: highest path ID in subsystem: 0
aacp0: initiator ID: 7
aacp0: SIM vendor: FreeBSD
aacp0: HBA vendor: Adaptec
aacp0: bus ID: 0
aacp0: base transfer speed: 3.300MB/secПочему вырублен tagged queueing и как его включить? Ведь он как раз и должен положительно влиять на производительность...
Ну и естественно ни о каком target/mixed в настройках контроллера речи не идет..
К сожалению большего я тебе подсказать не могу, ниже твой вариант в
котором Скот Лонг помог человеку:read cache отрубается при создании RAID'а, кабель зависимый для 160 и 320
как я понял и нужен фирмешный, возможно не больше какой-то длины.Почитай обязательно тред:
http://groups.google.ru/groups?hl=en&lr=&threadm=c7tson%...*freebsd*%26as_drrb%3Db%26as_mind%3D12%26as_minm%3D5%26as_miny%3D2003%26as_maxd%3D21%26as_maxm%3D4%26as_maxy%3D2005%26lr%3D%26hl%3Den
там все решилось после апгрейда firmware.
PS. Что интересно, как я понял 2120S разные выпускались и гнилые те что с процессором Intel 80302 :( Почему - Скот там классно и понятно расписал,
в том числе и указал на зависимость от дисков (правда там до этого не дошло)
>К сожалению большего я тебе подсказать не могу, ниже твой вариант в
>
>котором Скот Лонг помог человеку:
>
>read cache отрубается при создании RAID'а, кабель зависимый для 160 и 320
>
>как я понял и нужен фирмешный, возможно не больше какой-то длины.
>
>Почитай обязательно тред:
>
>http://groups.google.ru/groups?hl=en&lr=&threadm=c7tson$js5$1@FreeBSD.csie.NCTU.edu.tw&rnum=3&prev=/groups?as_epq=2120S&as_oq=pure%20perfomance&safe=images&as_ugroup=*freebsd*&as_drrb=b&as_mind=12&as_minm=5&as_miny=2003&as_maxd=21&as_maxm=4&as_maxy=2005&lr=&hl=en
>
>там все решилось после апгрейда firmware.
>
>PS. Что интересно, как я понял 2120S разные выпускались и гнилые те
>что с процессором Intel 80302 :( Почему - Скот там классно
>и понятно расписал,
>в том числе и указал на зависимость от дисков (правда там до
>этого не дошло)Спасибо за помощь!!!
Тред этот уже читал где-то в другом месте :)
Провод пробовал менять на более короткий на 8 девайсов вместо базового на 14... ничего не поменялось.
Насчет левых процов, так это как я понял на 2120 было. Здесь же точно 2120s стоит.
Пробовал делать страйп из двух баракуд - тоже самое.
Завтра попробую достать другой контроллер, например LSI и потестить на нем. Если не поможет, то видимо придется отказываться от аппаратного рейда, покупать простой SCSI контроллер и ставить vinum. Жаль конечно...
>>К сожалению большего я тебе подсказать не могу, ниже твой вариант в
>>
>>котором Скот Лонг помог человеку:
>>
>>read cache отрубается при создании RAID'а, кабель зависимый для 160 и 320
>>
>>как я понял и нужен фирмешный, возможно не больше какой-то длины.
>>
>>Почитай обязательно тред:
>>
>>http://groups.google.ru/groups?hl=en&lr=&threadm=c7tson$js5$1@FreeBSD.csie.NCTU.edu.tw&rnum=3&prev=/groups?as_epq=2120S&as_oq=pure%20perfomance&safe=images&as_ugroup=*freebsd*&as_drrb=b&as_mind=12&as_minm=5&as_miny=2003&as_maxd=21&as_maxm=4&as_maxy=2005&lr=&hl=en
>>
>>там все решилось после апгрейда firmware.
>>
>>PS. Что интересно, как я понял 2120S разные выпускались и гнилые те
>>что с процессором Intel 80302 :( Почему - Скот там классно
>>и понятно расписал,
>>в том числе и указал на зависимость от дисков (правда там до
>>этого не дошло)
>
>Спасибо за помощь!!!
>Тред этот уже читал где-то в другом месте :)
>Провод пробовал менять на более короткий на 8 девайсов вместо базового на
>14... ничего не поменялось.
>Насчет левых процов, так это как я понял на 2120 было. Здесь
>же точно 2120s стоит.
>Пробовал делать страйп из двух баракуд - тоже самое.
>Завтра попробую достать другой контроллер, например LSI и потестить на нем. Если
>не поможет, то видимо придется отказываться от аппаратного рейда, покупать простой
>SCSI контроллер и ставить vinum. Жаль конечно...мб зря? ну неудачная это модель, но можно же еще попробовать firmware
проапгрейдить...Все ж аппаратный raid0/5 куда лучше и быстрей чем программный.
PS. Если уж так уперлось, возьми и напиши Скоту, адрес его известен,
сто пудов поможет разобрать проблему, только напиши сразу подробно и
по шагам - как биос настраивал, dmesg, ядро, kldstat, sysctl, версия
firmware
>>>К сожалению большего я тебе подсказать не могу, ниже твой вариант в
>>>
>>>котором Скот Лонг помог человеку:
>>>
>>>read cache отрубается при создании RAID'а, кабель зависимый для 160 и 320
>>>
>>>как я понял и нужен фирмешный, возможно не больше какой-то длины.
>>>
>>>Почитай обязательно тред:
>>>
>>>http://groups.google.ru/groups?hl=en&lr=&threadm=c7tson$js5$1@FreeBSD.csie.NCTU.edu.tw&rnum=3&prev=/groups?as_epq=2120S&as_oq=pure perfomance&safe=images&as_ugroup=*freebsd*&as_drrb=b&as_mind=12&as_minm=5&as_miny=2003&as_maxd=21&as_maxm=4&as_maxy=2005&lr=&hl=en
>>>
>>>там все решилось после апгрейда firmware.
>>>
>>>PS. Что интересно, как я понял 2120S разные выпускались и гнилые те
>>>что с процессором Intel 80302 :( Почему - Скот там классно
>>>и понятно расписал,
>>>в том числе и указал на зависимость от дисков (правда там до
>>>этого не дошло)
>>
>>Спасибо за помощь!!!
>>Тред этот уже читал где-то в другом месте :)
>>Провод пробовал менять на более короткий на 8 девайсов вместо базового на
>>14... ничего не поменялось.
>>Насчет левых процов, так это как я понял на 2120 было. Здесь
>>же точно 2120s стоит.
>>Пробовал делать страйп из двух баракуд - тоже самое.
>>Завтра попробую достать другой контроллер, например LSI и потестить на нем. Если
>>не поможет, то видимо придется отказываться от аппаратного рейда, покупать простой
>>SCSI контроллер и ставить vinum. Жаль конечно...
>
>мб зря? ну неудачная это модель, но можно же еще попробовать firmware
>
>проапгрейдить...
>
>Все ж аппаратный raid0/5 куда лучше и быстрей чем программный.
>
>PS. Если уж так уперлось, возьми и напиши Скоту, адрес его известен,
>
>сто пудов поможет разобрать проблему, только напиши сразу подробно и
>по шагам - как биос настраивал, dmesg, ядро, kldstat, sysctl, версия
>firmwareСпасибо, попробую, т.к. другого варианта видимо нет. За контроллер уже уплачено. Самое обидное что специально выбирали Adaptec, вроде и поддержка есть и связка Adaptec+FBSD всегда была надежной... и тут такое
>>>>К сожалению большего я тебе подсказать не могу, ниже твой вариант в
>>>>
>>>>котором Скот Лонг помог человеку:
>>>>
>>>>read cache отрубается при создании RAID'а, кабель зависимый для 160 и 320
>>>>
>>>>как я понял и нужен фирмешный, возможно не больше какой-то длины.
>>>>
>>>>Почитай обязательно тред:
>>>>
>>>>http://groups.google.ru/groups?hl=en&lr=&threadm=c7tson$js5$1@FreeBSD.csie.NCTU.edu.tw&rnum=3&prev=/groups?as_epq=2120S&as_oq=pure perfomance&safe=images&as_ugroup=*freebsd*&as_drrb=b&as_mind=12&as_minm=5&as_miny=2003&as_maxd=21&as_maxm=4&as_maxy=2005&lr=&hl=en
>>>>
>>>>там все решилось после апгрейда firmware.
>>>>
>>>>PS. Что интересно, как я понял 2120S разные выпускались и гнилые те
>>>>что с процессором Intel 80302 :( Почему - Скот там классно
>>>>и понятно расписал,
>>>>в том числе и указал на зависимость от дисков (правда там до
>>>>этого не дошло)
>>>
>>>Спасибо за помощь!!!
>>>Тред этот уже читал где-то в другом месте :)
>>>Провод пробовал менять на более короткий на 8 девайсов вместо базового на
>>>14... ничего не поменялось.
>>>Насчет левых процов, так это как я понял на 2120 было. Здесь
>>>же точно 2120s стоит.
>>>Пробовал делать страйп из двух баракуд - тоже самое.
>>>Завтра попробую достать другой контроллер, например LSI и потестить на нем. Если
>>>не поможет, то видимо придется отказываться от аппаратного рейда, покупать простой
>>>SCSI контроллер и ставить vinum. Жаль конечно...
>>
>>мб зря? ну неудачная это модель, но можно же еще попробовать firmware
>>
>>проапгрейдить...
>>
>>Все ж аппаратный raid0/5 куда лучше и быстрей чем программный.
>>
>>PS. Если уж так уперлось, возьми и напиши Скоту, адрес его известен,
>>
>>сто пудов поможет разобрать проблему, только напиши сразу подробно и
>>по шагам - как биос настраивал, dmesg, ядро, kldstat, sysctl, версия
>>firmware
>
>Спасибо, попробую, т.к. другого варианта видимо нет. За контроллер уже уплачено. Самое
>обидное что специально выбирали Adaptec, вроде и поддержка есть и связка
>Adaptec+FBSD всегда была надежной... и тут такоеВообще после общения со Скотом :) я совсем разочаровался в своем адаптеке и решил сделать программный RAID0 на основе geom.
Взял для тестов обычный одноканальный SCSI 320 контроллер Tekram DC-390U4B/W и повесил все диск на одмн шлейф.
Если оставить все мелочи, то сухой остаток был очень простой и неприятный: 80МБ/сек независимо от кол-ва дисков(2,4,6!) в RAIDе
И тут мне пришла мысль попробовать вообще не собирать никакие RAID массивы. Просто набираю dd if=/dev/da0 of=/dev/null bs=1m и смотрю на скорость. Через iostat или Ctrl+t получаю скорость 70-80 МБ/сек. При этом параллельно запускаю dd для других дисков. ВНИМАНИЕ! Скорость падает на всех дисках и суммарная цифра не превышает 100МБ/сек.
Это какое-то софтверное ограничение что-ли? Может у кого есть мысли на эту тему или хотя бы результаты подобных тестов?
p.s. И вообще смотрел еще на 5 других серверах. Там приблизительно такая же ситуация, только диски IDE и их всего 2 штуки в RAID 1Заранее спасибо
>>>>К сожалению большего я тебе подсказать не могу, ниже твой вариант в
>>>>
>>>>котором Скот Лонг помог человеку:
>>>>
>>>>read cache отрубается при создании RAID'а, кабель зависимый для 160 и 320
>>>>
>>>>как я понял и нужен фирмешный, возможно не больше какой-то длины.
>>>>
>>>>Почитай обязательно тред:
>>>>
>>>>http://groups.google.ru/groups?hl=en&lr=&threadm=c7tson$js5$1@FreeBSD.csie.NCTU.edu.tw&rnum=3&prev=/groups?as_epq=2120S&as_oq=pure perfomance&safe=images&as_ugroup=*freebsd*&as_drrb=b&as_mind=12&as_minm=5&as_miny=2003&as_maxd=21&as_maxm=4&as_maxy=2005&lr=&hl=en
>>>>
>>>>там все решилось после апгрейда firmware.
>>>>
>>>>PS. Что интересно, как я понял 2120S разные выпускались и гнилые те
>>>>что с процессором Intel 80302 :( Почему - Скот там классно
>>>>и понятно расписал,
>>>>в том числе и указал на зависимость от дисков (правда там до
>>>>этого не дошло)
>>>
>>>Спасибо за помощь!!!
>>>Тред этот уже читал где-то в другом месте :)
>>>Провод пробовал менять на более короткий на 8 девайсов вместо базового на
>>>14... ничего не поменялось.
>>>Насчет левых процов, так это как я понял на 2120 было. Здесь
>>>же точно 2120s стоит.
>>>Пробовал делать страйп из двух баракуд - тоже самое.
>>>Завтра попробую достать другой контроллер, например LSI и потестить на нем. Если
>>>не поможет, то видимо придется отказываться от аппаратного рейда, покупать простой
>>>SCSI контроллер и ставить vinum. Жаль конечно...
>>
>>мб зря? ну неудачная это модель, но можно же еще попробовать firmware
>>
>>проапгрейдить...
>>
>>Все ж аппаратный raid0/5 куда лучше и быстрей чем программный.
>>
>>PS. Если уж так уперлось, возьми и напиши Скоту, адрес его известен,
>>
>>сто пудов поможет разобрать проблему, только напиши сразу подробно и
>>по шагам - как биос настраивал, dmesg, ядро, kldstat, sysctl, версия
>>firmware
>
>Спасибо, попробую, т.к. другого варианта видимо нет. За контроллер уже уплачено. Самое
>обидное что специально выбирали Adaptec, вроде и поддержка есть и связка
>Adaptec+FBSD всегда была надежной... и тут такоеВообще после общения со Скотом :) я совсем разочаровался в своем адаптеке и решил сделать программный RAID0 на основе geom.
Взял для тестов обычный одноканальный SCSI 320 контроллер Tekram DC-390U4B/W и повесил все диск на одмн шлейф.
Если оставить все мелочи, то сухой остаток был очень простой и неприятный: 80МБ/сек независимо от кол-ва дисков(2,4,6!) в RAIDе
И тут мне пришла мысль попробовать вообще не собирать никакие RAID массивы. Просто набираю dd if=/dev/da0 of=/dev/null bs=1m и смотрю на скорость. Через iostat или Ctrl+t получаю скорость 70-80 МБ/сек. При этом параллельно запускаю dd для других дисков. ВНИМАНИЕ! Скорость падает на всех дисках и суммарная цифра не превышает 100МБ/сек.
Это какое-то софтверное ограничение что-ли? Может у кого есть мысли на эту тему или хотя бы результаты подобных тестов?
p.s. И вообще смотрел еще на 5 других серверах. Там приблизительно такая же ситуация, только диски IDE и их всего 2 штуки в RAID 1Заранее спасибо