The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка  RSS
"Пробдема с производительностью RAID"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [Проследить за развитием треда]

"Пробдема с производительностью RAID"  
Сообщение от nightowl email(ok) on 06-Ноя-06, 15:12 
Всем доброго времени суток !

Исторически сложилось, что прийдя в определенную контору, есть типисное кастомеровское ядро для установки да FreeBSD сервера. Так вот, недавно заметил, что при использовании данного ядра производительность дисковой подсистемы очень низкая (13-14 мег/сек на чтение), при загрузке в дженерик, все нормализуется (26 мег/сек на чтение), привожу конфиг сабжевого ядра:

machine         i386
cpu             I686_CPU
ident           MYSERVER
maxusers        1024

options         SCHED_4BSD              # 4BSD scheduler
options         INET                    # InterNETworking
options         FFS                     # Berkeley Fast Filesystem
options         SOFTUPDATES             # Enable FFS soft updates support
options         UFS_DIRHASH             # Improve performance on big directories
options         PROCFS                  # Process filesystem (requires PSEUDOFS)
options         PSEUDOFS                # Pseudo-filesystem framework
options         COMPAT_43               # Compatible with BSD 4.3 [KEEP THIS!]
options         COMPAT_FREEBSD4         # Compatible with FreeBSD4
options         SCSI_DELAY=15000        # Delay (in ms) before probing SCSI
options         KTRACE                  # ktrace(1) support
options         SYSVSHM                 # SYSV-style shared memory
options         SYSVMSG                 # SYSV-style message queues
options         SYSVSEM                 # SYSV-style semaphores
options         _KPOSIX_PRIORITY_SCHEDULING # POSIX P1003_1B real-time extensions
options         KBD_INSTALL_CDEV        # install a CDEV entry in /dev
options         AHC_REG_PRETTY_PRINT    # Print register bitfields in debug
                                        # output.  Adds ~128k to driver.
options         AHD_REG_PRETTY_PRINT    # Print register bitfields in debug
                                        # output.  Adds ~215k to driver.
options         ADAPTIVE_GIANT          # Giant mutex is adaptive.

options         SMP
device          apic                    # I/O APIC

device          isa
device          eisa
device          pci

device          scbus
device          mpt
device          ses             # SCSI Environmental Services (and SAF-TE)
device          amr             # AMI MegaRAID
device          atkbd           # AT keyboard

device          splash          # Splash screen and screen saver support
device          vga
device          sc

device          npx

device          pmtimer


device          miibus          # MII bus support
device          em              #
device          loop            # Network loopback
device          ether           # Ethernet support
device          pty             # Pseudo-ttys (telnet etc)
device          bpf             # Berkeley packet filter
device          random
device          mem

options         IPFIREWALL
options         IPFIREWALL_VERBOSE
options         IPFIREWALL_FORWARD
options         IPFIREWALL_DEFAULT_TO_ACCEPT

device          atkbdc          # AT keyboard controller


Хочу добавить, что на запись ничего небыло, машина практически была в простои, да и то не важно когда с дженериком, то все любое время надлюдаем значительный прирость производительности.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени, UBB]


1. "Пробдема с производительностью RAID"  
Сообщение от lavr email on 06-Ноя-06, 17:20 
>Всем доброго времени суток !
>
>Исторически сложилось, что прийдя в определенную контору, есть типисное кастомеровское ядро для
>установки да FreeBSD сервера. Так вот, недавно заметил, что при использовании
>данного ядра производительность дисковой подсистемы очень низкая (13-14 мег/сек на чтение),
>при загрузке в дженерик, все нормализуется (26 мег/сек на чтение), привожу
>конфиг сабжевого ядра:
>
>machine         i386
>cpu            
> I686_CPU
>ident           MYSERVER
>
>maxusers        1024
>
>options         SCHED_4BSD  
>          
># 4BSD scheduler
>options         INET  
>          
>      # InterNETworking
>options         FFS  
>          
>       # Berkeley Fast Filesystem
>
>options         SOFTUPDATES  
>          #
>Enable FFS soft updates support
>options         UFS_DIRHASH  
>          #
>Improve performance on big directories
>options         PROCFS  
>          
>    # Process filesystem (requires PSEUDOFS)
>options         PSEUDOFS  
>          
>  # Pseudo-filesystem framework
>options         COMPAT_43  
>          
> # Compatible with BSD 4.3 [KEEP THIS!]
>options         COMPAT_FREEBSD4  
>      # Compatible with FreeBSD4
>options         SCSI_DELAY=15000  
>     # Delay (in ms) before probing
>SCSI
>options         KTRACE  
>          
>    # ktrace(1) support
>options         SYSVSHM  
>          
>   # SYSV-style shared memory
>options         SYSVMSG  
>          
>   # SYSV-style message queues
>options         SYSVSEM  
>          
>   # SYSV-style semaphores
>options         _KPOSIX_PRIORITY_SCHEDULING # POSIX
>P1003_1B real-time extensions
>options         KBD_INSTALL_CDEV  
>     # install a CDEV entry in
>/dev
>options         AHC_REG_PRETTY_PRINT  
> # Print register bitfields in debug
>            
>          
>          
>      # output.  Adds ~128k
>to driver.
>options         AHD_REG_PRETTY_PRINT  
> # Print register bitfields in debug
>            
>          
>          
>      # output.  Adds ~215k
>to driver.
>options         ADAPTIVE_GIANT  
>       # Giant mutex is
>adaptive.
>
>options         SMP
>device          apic  
>          
>       # I/O APIC
>
>device          isa
>device          eisa
>device          pci
>
>device          scbus
>device          mpt
>device          ses  
>          
># SCSI Environmental Services (and SAF-TE)
>device          amr  
>          
># AMI MegaRAID
>device          atkbd  
>         # AT
>keyboard
>
>device          splash  
>        # Splash screen
>and screen saver support
>device          vga
>device          sc
>
>device          npx
>
>device          pmtimer
>
>
>device          miibus  
>        # MII bus
>support
>device          em  
>          
> #
>device          loop  
>          #
>Network loopback
>device          ether  
>         # Ethernet
>support
>device          pty  
>          
># Pseudo-ttys (telnet etc)
>device          bpf  
>          
># Berkeley packet filter
>device          random
>device          mem
>
>options         IPFIREWALL
>options         IPFIREWALL_VERBOSE
>options         IPFIREWALL_FORWARD
>options         IPFIREWALL_DEFAULT_TO_ACCEPT
>
>device          atkbdc  
>        # AT keyboard
>controller
>
>
>Хочу добавить, что на запись ничего небыло, машина практически была в простои,
>да и то не важно когда с дженериком, то все любое
>время надлюдаем значительный прирость производительности.

О чем речь?! Телепаты в отпуске

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Пробдема с производительностью RAID"  
Сообщение от nightowl email(ok) on 06-Ноя-06, 17:33 
>>Всем доброго времени суток !
>>
>>Исторически сложилось, что прийдя в определенную контору, есть типисное кастомеровское ядро для
>>установки да FreeBSD сервера. Так вот, недавно заметил, что при использовании
>>данного ядра производительность дисковой подсистемы очень низкая (13-14 мег/сек на чтение),
>>при загрузке в дженерик, все нормализуется (26 мег/сек на чтение),

Так вот в чем могут быть грабли ? что можно "такого" отключить в ядре, чтоб настолько падала производительность?

>О чем речь?! Телепаты в отпуске

Согласен, что все в отпуске, но мне показалось, что из поста было понятно, что нужен совет, о том, что в конфиге ядра может приводить к такой потери производительности, да и в конфиге ли дело ? Какая информация еще необходима для создания "полной картины" происходящего.

з.ы. Если был резор, прошу прощения.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Пробдема с производительностью RAID"  
Сообщение от lavr email on 06-Ноя-06, 18:51 
>>>Всем доброго времени суток !
>>>
>>>Исторически сложилось, что прийдя в определенную контору, есть типисное кастомеровское ядро для
>>>установки да FreeBSD сервера. Так вот, недавно заметил, что при использовании
>>>данного ядра производительность дисковой подсистемы очень низкая (13-14 мег/сек на чтение),
>>>при загрузке в дженерик, все нормализуется (26 мег/сек на чтение),
>
>Так вот в чем могут быть грабли ? что можно "такого" отключить
>в ядре, чтоб настолько падала производительность?
>
>>О чем речь?! Телепаты в отпуске
>
>Согласен, что все в отпуске, но мне показалось, что из поста было
>понятно, что нужен совет, о том, что в конфиге ядра может
>приводить к такой потери производительности, да и в конфиге ли дело
>? Какая информация еще необходима для создания "полной картины" происходящего.
>
>з.ы. Если был резор, прошу прощения.

что понятно?

uname -rs?
какой raid? какой контроллер? какие диски?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Пробдема с производительностью RAID"  
Сообщение от nightowl email(ok) on 06-Ноя-06, 19:11 
bash-2.05b# uname -rs
FreeBSD 5.4-STABLE


amr0: <LSILogic MegaRAID 1.51> mem 0xfe9c0000-0xfe9fffff,0xf80f0000-0xf80fffff irq 46 at device 14.0 on pci2
amr0: <LSILogic PERC 4e/Di> Firmware 521S, BIOS H430, 256MB RAM

amrd0: <LSILogic MegaRAID logical drive> on amr0
amrd0: 279520MB (572456960 sectors) RAID 5 (optimal)
ses0 at amr0 bus 0 target 6 lun 0
ses0: <PE/PV 1x6 SCSI BP 1.0> Fixed Processor SCSI-2 device
ses0: SAF-TE Compliant Device

С дисками проблемно узнать, но точно 10тысячники

Пинимаете, такое наблюдается на 3х системах :( На одной из них FreeBSD 5.5 релиз, из дженерика убрано
только USB, FireWare, Wi-Fi, IP v6, NFS и поставлено
options         SCSI_DELAY=15000
все остально не менялось.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Пробдема с производительностью RAID"  
Сообщение от lavr email on 07-Ноя-06, 13:44 
>bash-2.05b# uname -rs
>FreeBSD 5.4-STABLE
>
>
>amr0: <LSILogic MegaRAID 1.51> mem 0xfe9c0000-0xfe9fffff,0xf80f0000-0xf80fffff irq 46 at device 14.0 on pci2
>amr0: <LSILogic PERC 4e/Di> Firmware 521S, BIOS H430, 256MB RAM
>
>amrd0: <LSILogic MegaRAID logical drive> on amr0
>amrd0: 279520MB (572456960 sectors) RAID 5 (optimal)
>ses0 at amr0 bus 0 target 6 lun 0
>ses0: <PE/PV 1x6 SCSI BP 1.0> Fixed Processor SCSI-2 device
>ses0: SAF-TE Compliant Device
>
>С дисками проблемно узнать, но точно 10тысячники
>
>Пинимаете, такое наблюдается на 3х системах :( На одной из них FreeBSD
>5.5 релиз, из дженерика убрано
>только USB, FireWare, Wi-Fi, IP v6, NFS и поставлено
>options         SCSI_DELAY=15000
>все остально не менялось.


SCSI_DELAY - задержка при инициализации вроде, так что не влияет

Если не ошибаюсь, то общие советы таковы:

- обновить firmware
- разобрать ньюансы с BIOS (точно не помню, но для LSILogic что-то вроде Patrol -> Disable
в BIOS попробовать)
- если используется SMP ядро, собрать Non-SMP и посмотреть как с ним
- посмотреть на предмет используется ли shared-interrupt (vmstat -i)
...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Пробдема с производительностью RAID"  
Сообщение от nightowl email(ok) on 07-Ноя-06, 14:08 
спасибо, вот по интерупптам:
vmstat -i

bash-2.05b# vmstat -i | less
interrupt                          total       rate
irq1: atkbd0                          10          0
irq6: fdc0                             9          0
irq8: rtc                       41075760        127
irq13: npx0                            1          0
irq14: ata0                           66          0
irq15: ata1                           16          0
irq16: uhci0 uhci3              19083115         59
irq18: uhci2                    64249300        200
irq32: ahd0                           15          0
irq33: ahd1                           15          0
irq48: amr0                     19082006         59
irq54: em0                      64249306        200
irq0: clk                       32089289         99
Total                          239828908        747

Но чес слово эта иформация, к ожалению для меня "мертва", пожет оживите, многоуважаемый lavr ?

По поводу SMP, пока не представляется возможным проверить. Проверю, отпишусь.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Пробдема с производительностью RAID"  
Сообщение от lavr email on 07-Ноя-06, 16:13 
>спасибо, вот по интерупптам:
>vmstat -i
>
>bash-2.05b# vmstat -i | less
>interrupt            
>          
>   total       rate
>
>irq1: atkbd0          
>          
>    10      
>   0
>irq6: fdc0          
>          
>       9    
>      0
>irq8: rtc          
>          
> 41075760        127
>irq13: npx0          
>          
>      1    
>     0
>irq14: ata0          
>          
>     66      
>    0
>irq15: ata1          
>          
>     16      
>    0
>irq16: uhci0 uhci3          
>    19083115      
>  59
>irq18: uhci2          
>         64249300  
>      200
>irq32: ahd0          
>          
>     15      
>    0
>irq33: ahd1          
>          
>     15      
>    0
>irq48: amr0          
>          19082006
>        59
>irq54: em0          
>          
>64249306        200
>irq0: clk          
>          
> 32089289         99
>
>Total            
>          
>   239828908        
>747
>
>Но чес слово эта иформация, к ожалению для меня "мертва", пожет оживите,
>многоуважаемый lavr ?
>
>По поводу SMP, пока не представляется возможным проверить. Проверю, отпишусь.


да вобщем-то не вижу особого криминала, разве что неприятно большое кол-во прерываний
на PCI-USB мосте: uhci, особенно uhci2 - зачем оно на сервере?! То что такой же рейтинг
на ethernet - em0 неудивительно. А вот все USB на сервере я бы отрубил.

Ну и еще вопрос: у тебя amr - LSILogic RAID, а ahd - зачем (в системе еще есть Adaptec SCSI с подключенными к нему дисками и/или ATA диски?)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Пробдема с производительностью RAID"  
Сообщение от nightowl email(ok) on 16-Ноя-06, 19:25 
Вообщем оказалось все и правда в SMP. Спасибо еще раз lavr`у
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "Пробдема с производительностью RAID"  
Сообщение от Nikolaev D. on 16-Ноя-06, 22:39 
>Вообщем оказалось все и правда в SMP. Спасибо еще раз lavr`у


ибо SMP реализован нормально только в солярке
гыыы :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "Пробдема с производительностью RAID"  
Сообщение от nightowl (ok) on 16-Ноя-06, 23:19 
>>Вообщем оказалось все и правда в SMP. Спасибо еще раз lavr`у
>
>
>ибо SMP реализован нормально только в солярке
>гыыы :)


Уже оффтоп, но всеж, тут в дровах и железках дело :) Потому как на других контроллерах все ок. Вот есть, например, подшевная машина на 280 оптеронах, так там та-же FreeBSD тот-же LSI, только духканальный и побольше кеша (сам чип на контроллека подобный), а читает гектарные файлы 36метров/сек, а, что интересно, 7 гектарный файл прочитало при 50 или 56 , сейчас не помню :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "Пробдема с производительностью RAID"  
Сообщение от lavr email on 17-Ноя-06, 11:47 
>>Вообщем оказалось все и правда в SMP. Спасибо еще раз lavr`у
>
>
>ибо SMP реализован нормально только в солярке
>гыыы :)

злой ты, зараза :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "Пробдема с производительностью RAID"  
Сообщение от dsl on 17-Ноя-06, 16:35 
А у меня такой же двухканальный LSI правда дисков 6, по 3 на канал, скорость дисков ~65.
А скорость Raid5 ~210.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

13. "Пробдема с производительностью RAID"  
Сообщение от nightowl email(??) on 20-Ноя-06, 11:29 
>А у меня такой же двухканальный LSI правда дисков 6, по 3
>на канал, скорость дисков ~65.
>А скорость Raid5 ~210.

А какая ОС ? и остальное железо ?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

14. "Пробдема с производительностью RAID"  
Сообщение от dsl on 21-Ноя-06, 07:59 
CentOS4.4 (версия x64)
Два процессора Opteron 265, база Tyan K8SRE S2891
Контроллер двухканальный LSI SRCU42x версия биос 414E

Может правда мы о разных цифрах говорим :)))

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

15. "Пробдема с производительностью RAID"  
Сообщение от dsl on 21-Ноя-06, 08:04 
>CentOS4.4 (версия x64)
>Два процессора Opteron 265, база Tyan K8SRE S2891
>Контроллер двухканальный LSI SRCU42x версия биос 414E
>
>Может правда мы о разных цифрах говорим :)))


хотя если даже чисто логически судить, все современные винчестеры дают скорость порядка 50-65 Мб, а в рейде должно быть не менее.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру