URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 77582
[ Назад ]
Исходное сообщение
"Supermicro"
Отправлено бусик , 28-Ноя-07 13:42 
Здравствуйте, уважаемое community :)

В кратце опишу проблемку:

Доставили сегодня новый сервер, Xeon 2.13, 3ware RAID в зеркале, 2х250Гб HDD. При установке с CD-ROM FreeBSD ставилась ощутимо долго.

Первым делом после установки обновил порты, и заметил следующую закономерность:

Скачалось всё быстро, распаковывалось и проверялось целостность архива долго, и вот сейчас за спиной идёт распаковка непосредственно дерева портов, а проходит она довольно странно:

50 портов распаковывает за секунду, после чего замирает секунд на 5-10, после чего снова распаковывает. Такое ощущение, что дисковая система не справляется, хотя это ерунда, ну не может такого быть. top в этом случае показывает полностью idle систему. Во время распаковки показатель прыгает примерно на 86 idle, потом идёт назад.

В связи с этим вопрос: что можете посоветовать? как погонять дисковую подсистему на производительность? Быть может какие-то опции включить в BIOS материнки/рейд-контроллера?

Кто сталкивался с данным контроллером? Проблемы были?

OS FreeBSD 6.2, без обновлений

Спасибо

Содержание
Сообщения в этом обсуждении
"Supermicro"
Отправлено SubGun , 28-Ноя-07 14:00 
Странно. Мало информации для диагноза. Дайте выводы
sysctl -a | grep hw

Как загружен диск вы можете увидеть с помощью утилитки saidar и statgrab из /usr/ports/devel/libstatgrab.
А еще фича в том, что неизвестные SATA контроллеры работают в режиме PIO.
Программный ввод/вывод (англ. Programmed input/output, PIO) — режим обмена данными, с участием
Центрального Процессора. За счет чего повышается нагрузка на процессор и замедляется работы в целом.
Является технически устаревшим и практически полностью вытеснен более новым режимом DMA.

А вот еще из man ata:
The currently supported ATA/SATA controller chips are:
     Acard:          ATP850P, ATP860A, ATP860R, ATP865A, ATP865R.
     ALI:            M5229, M5281, M5287, M5289.
     AMD:            AMD756, AMD766, AMD768, AMD8111.
     ATI:            IXP200, IXP300, IXP400.
     CMD:            CMD646, CMD646U2, CMD648, CMD649.
     Cypress:        Cypress 82C693.
     Cyrix:          Cyrix 5530.
     HighPoint:      HPT302, HPT366, HPT368, HPT370, HPT371, HPT372, HPT372N,
                     HPT374.
     Intel:          6300ESB, 31244, PIIX, PIIX3, PIIX4, ESB2, ICH, ICH0,
                     ICH2, ICH3, ICH4, ICH5, ICH6, ICH7, ICH8.
     ITE:            IT8211F, IT8212F.
     JMicron:        JMB360, JMB361, JMB363, JMB365, JMB366.
     Marvell         88SX5040, 88SX5041, 88SX5080, 88SX5081, 88SX6041,
                     88SX6081.
     National:       SC1100.
     nVidia:         nForce, nForce2, nForce2 MCP, nForce3, nForce3 MCP,
                     nForce3 Pro, nForce4.
     Promise:        PDC20246, PDC20262, PDC20263, PDC20265, PDC20267,
                     PDC20268, PDC20269, PDC20270, PDC20271, PDC20275,
                     PDC20276, PDC20277, PDC20318, PDC20319, PDC20371,
                     PDC20375, PDC20376, PDC20377, PDC20378, PDC20379,
                     PDC20571, PDC20575, PDC20579, PDC20580, PDC20617,
                     PDC20618, PDC20619, PDC20620, PDC20621, PDC20622,
                     PDC40518, PDC40519, PDC40718, PDC40719.
     ServerWorks:    HT1000, ROSB4, CSB5, CSB6.
     Silicon Image:  SiI0680, SiI3112, SiI3114, SiI3512.
     SiS:            SIS180, SIS181, SIS182, SIS5513, SIS530, SIS540, SIS550,
                     SIS620, SIS630, SIS630S, SIS633, SIS635, SIS730, SIS733,
                     SIS735, SIS745, SIS961, SIS962, SIS963, SIS964, SIS965.
     VIA:            VT6410, VT6420, VT6421, VT82C586, VT82C586B, VT82C596,
                     VT82C596B, VT82C686, VT82C686A, VT82C686B, VT8231,
                     VT8233, VT8233A, VT8233C, VT8235, VT8237, VT8237A,
                     VT8251.
     Unknown ATA chipsets are supported in PIO modes, and if the standard bus-
     master DMA registers are present and contain valid setup, DMA is also
     enabled, although the max mode is limited to UDMA33, as it is not known
     what the chipset can do and how to program it.

"Supermicro"
Отправлено бусик , 28-Ноя-07 14:10 
>Странно. Мало информации для диагноза. Дайте выводы
>
sysctl -a | grep hw
>Как загружен диск вы можете увидеть с помощью утилитки saidar и statgrab
>из /usr/ports/devel/libstatgrab

mx# sysctl -a | grep hw
vfs.flushwithdeps: 3609
hw.machine: i386
hw.model: Intel(R) Xeon(R) CPU            3050  @ 2.13GHz
hw.ncpu: 2
hw.byteorder: 1234
hw.physmem: 2137341952
hw.usermem: 2062761984
hw.pagesize: 4096
hw.floatingpoint: 1
hw.machine_arch: i386
hw.realmem: 2146304000
hw.aac.iosize_max: 65536
hw.amr.force_sg32: 0
hw.an.an_dump: off
hw.an.an_cache_mode: dbm
hw.an.an_cache_mcastonly: 0
hw.an.an_cache_iponly: 1
hw.ata.ata_dma: 1
hw.ata.atapi_dma: 1
hw.ata.wc: 1
hw.ath.hal.version: 0.9.17.2
hw.ath.hal.dma_brt: 2
hw.ath.hal.sw_brt: 10
hw.ath.hal.swba_backoff: 0
hw.ath.dwell: 200
hw.ath.calibrate: 30
hw.ath.outdoor: 1
hw.ath.xchanmode: 1
hw.ath.countrycode: 0
hw.ath.regdomain: 0
hw.ath.rxbuf: 40
hw.ath.txbuf: 100
hw.cardbus.debug: 0
hw.cardbus.cis_debug: 0
hw.cs.debug: 0
hw.cs.ignore_checksum_failure: 0
hw.cs.recv_delay: 570
hw.firewire.try_bmr: 1
hw.firewire.hold_count: 3
hw.firewire.fwmem.eui64_hi: 0
hw.firewire.fwmem.eui64_lo: 0
hw.firewire.fwmem.speed: 2
hw.firewire.fwe.stream_ch: 1
hw.firewire.fwe.tx_speed: 2
hw.firewire.fwe.rx_queue_len: 128
hw.firewire.sbp.auto_login: 1
hw.firewire.sbp.max_speed: -1
hw.firewire.sbp.exclusive_login: 1
hw.firewire.sbp.login_delay: 1000
hw.firewire.sbp.scan_delay: 500
hw.firewire.sbp.use_doorbell: 0
hw.firewire.sbp.tags: 0
hw.mfi.event_locale: 65535
hw.mfi.event_class: -2
hw.pccard.debug: 0
hw.pccard.cis_debug: 0
hw.cbb.start_memory: 2281701376
hw.cbb.start_16_io: 256
hw.cbb.start_32_io: 4096
hw.cbb.debug: 0
hw.pcic.intr_mask: 57016
hw.pci.enable_io_modes: 1
hw.pci.do_power_nodriver: 0
hw.pci.do_power_resume: 1
hw.pci.host_mem_start: 2147483648
hw.pci.irq_override_mask: 57080
hw.wi.txerate: 0
hw.wi.debug: 0
hw.xe.debug: 0
hw.intr_storm_threshold: 500
hw.availpages: 521812
hw.bus.devctl_disable: 0
hw.dc_quick: 1
hw.ste.rxsyncs: 0
hw.psm.tap_threshold: 25
hw.psm.tap_timeout: 125000
hw.kbd.keymap_restrict_change: 0
hw.nve_pollinterval: 0
hw.syscons.saver.keybonly: 1
hw.syscons.bell: 1
hw.syscons.kbd_reboot: 1
hw.syscons.kbd_debug: 1
hw.syscons.sc_no_suspend_vtswitch: 0
hw.busdma.total_bpages: 32
hw.busdma.zone0.total_bpages: 32
hw.busdma.zone0.free_bpages: 32
hw.busdma.zone0.reserved_bpages: 0
hw.busdma.zone0.active_bpages: 0
hw.busdma.zone0.total_bounced: 0
hw.busdma.zone0.total_deferred: 0
hw.busdma.zone0.lowaddr: 0xffffffff
hw.busdma.zone0.alignment: 2
hw.busdma.zone0.boundary: 65536
hw.clockrate: 2128
hw.instruction_sse: 1
hw.via_feature_rng: 0
hw.via_feature_xcrypt: 0
hw.apic.enable_extint: 0
hw.acpi.supported_sleep_state: S1 S4 S5
hw.acpi.power_button_state: S5
hw.acpi.sleep_button_state: S1
hw.acpi.lid_switch_state: NONE
hw.acpi.standby_state: S1
hw.acpi.suspend_state: S3
hw.acpi.sleep_delay: 1
hw.acpi.s4bios: 0
hw.acpi.verbose: 0
hw.acpi.disable_on_reboot: 0
hw.acpi.handle_reboot: 0
hw.acpi.reset_video: 0
hw.acpi.cpu.cx_supported: C1/0
hw.acpi.cpu.cx_lowest: C1
hw.acpi.cpu.cx_usage: 100.00%
hw.twe0.driver_version: 1.50.01.002

Включил в BIOS-е рейда Array write cache - полезло быстрей, но всё равно чувствуются задержки. Какие еще могут быть идеи?

"Supermicro"
Отправлено SubGun , 28-Ноя-07 14:12 
Чуть выше прочтите.
"Supermicro"
Отправлено бусик , 28-Ноя-07 14:19 
>[оверквотинг удален]
>
>     Unknown ATA chipsets are supported in PIO
>modes, and if the standard bus-
>     master DMA registers are present and contain
>valid setup, DMA is also
>     enabled, although the max mode is limited
>to UDMA33, as it is not known
>     what the chipset can do and how
>to program it.
>

Нет, нет, это не "неизвестный контроллер". 3ware советует даже BSD комьюнити, как одни из наиболее подходящих RAID-контроллеров для FreeBSD. Это я где-то недавно глазами натыкался на статью, посему тут и стоит данный контроллер. Тем более, в PIO скорость диска была бы значительно медленней, но не кусками по 100кб/пауза/100кб... Сейчас появилась идея поставить mc и замерять скорость копирования больших файлов.

"Supermicro"
Отправлено SubGun , 28-Ноя-07 14:27 
>Нет, нет, это не "неизвестный контроллер". 3ware советует даже BSD комьюнити, как
>одни из наиболее подходящих RAID-контроллеров для FreeBSD. Это я где-то недавно
>глазами натыкался на статью, посему тут и стоит данный контроллер. Тем
>более, в PIO скорость диска была бы значительно медленней, но не
>кусками по 100кб/пауза/100кб... Сейчас появилась идея поставить mc и замерять скорость
>копирования больших файлов.

Что за контроллер точно?

"Supermicro"
Отправлено бусик , 28-Ноя-07 14:32 
>>Нет, нет, это не "неизвестный контроллер". 3ware советует даже BSD комьюнити, как
>>одни из наиболее подходящих RAID-контроллеров для FreeBSD. Это я где-то недавно
>>глазами натыкался на статью, посему тут и стоит данный контроллер. Тем
>>более, в PIO скорость диска была бы значительно медленней, но не
>>кусками по 100кб/пауза/100кб... Сейчас появилась идея поставить mc и замерять скорость
>>копирования больших файлов.
>
>Что за контроллер точно?

twe0: <3ware Storage Controller. Driver version 1.50.01.002> port 0x4000-0x400f mem 0xe8800000-0xe880000f,0xe8000000-0xe87fffff irq 24 at device 1.0 on pci10
twe0: [GIANT-LOCKED]
twe0: 2 ports, Firmware FE8S 1.05.00.068, BIOS BE7X 1.08.00.048

Есть желание обновить всё-таки версию FreeBSD до 7.0, после чего проводить тесты. В данный момент собственно и запущен уже cvsup.

"Supermicro"
Отправлено SubGun , 28-Ноя-07 14:47 
7.0 на продакшене? Да вы изврат.
"Supermicro"
Отправлено бусик , 28-Ноя-07 14:51 
>7.0 на продакшене? Да вы изврат.

Вы видите другой вариант? Откатиться до 6.2 я успею, я же для тестов хочу. Так сказать проверить, как и что будет там с данной проблемой.

"Supermicro"
Отправлено SubGun , 28-Ноя-07 15:00 
>>7.0 на продакшене? Да вы изврат.
>
>Вы видите другой вариант? Откатиться до 6.2 я успею, я же для
>тестов хочу. Так сказать проверить, как и что будет там с
>данной проблемой.

Советую сходить на sysadmins.ru или на bsdportal.ru. Там есть дядька lavr, он большой дока в железках и их работе в FreeBSD.

"Supermicro"
Отправлено бусик , 28-Ноя-07 18:12 
>>>7.0 на продакшене? Да вы изврат.
>>
>>Вы видите другой вариант? Откатиться до 6.2 я успею, я же для
>>тестов хочу. Так сказать проверить, как и что будет там с
>>данной проблемой.
>
>Советую сходить на sysadmins.ru или на bsdportal.ru. Там есть дядька lavr, он
>большой дока в железках и их работе в FreeBSD.

обновление до 7.0 помогло. значит будем ждать релизика, а не бетки) благо - настройка эта не горит)

"Supermicro"
Отправлено SubGun , 28-Ноя-07 18:14 
>обновление до 7.0 помогло. значит будем ждать релизика, а не бетки) благо
>- настройка эта не горит)

1. А вам самому не интересно разобраться, почему тормоза были на 6.2? ;)
2. Я бы даже посоветовал для боевого сервера дождаться 7.1

"Supermicro"
Отправлено бусик , 28-Ноя-07 19:34 
>>обновление до 7.0 помогло. значит будем ждать релизика, а не бетки) благо
>>- настройка эта не горит)
>
>1. А вам самому не интересно разобраться, почему тормоза были на 6.2?
>;)
>2. Я бы даже посоветовал для боевого сервера дождаться 7.1

1. Интересно, но почему-то я склоняюсь, что:
а) возможно новые драйвера
б) быть может что-то оптимизировано

2. Тогда скорее 6.3 :)

"Supermicro"
Отправлено SubGun , 29-Ноя-07 11:03 
>1. Интересно, но почему-то я склоняюсь, что:
>а) возможно новые драйвера
>б) быть может что-то оптимизировано
>
>2. Тогда скорее 6.3 :)

6.3 тоже может принести неприятных сюрпризов :) Там где есть фичи, непременно появились новые баги.

"Supermicro"
Отправлено бусик , 29-Ноя-07 14:43 
>>1. Интересно, но почему-то я склоняюсь, что:
>>а) возможно новые драйвера
>>б) быть может что-то оптимизировано
>>
>>2. Тогда скорее 6.3 :)
>
>6.3 тоже может принести неприятных сюрпризов :) Там где есть фичи, непременно
>появились новые баги.

Да ну) Какие там фичи ) Там по большинству фиксы багов) А вообще поживем-увидим)

"Supermicro"
Отправлено Аноним , 29-Ноя-07 04:27 
>2. Я бы даже посоветовал для боевого сервера дождаться 7.1

Бред

"Supermicro"
Отправлено SubGun , 29-Ноя-07 11:02 
>>2. Я бы даже посоветовал для боевого сервера дождаться 7.1
>Бред

Тогда может умненький объяснит нам, неразумным, как можно ставить на боевой сервер такую сырую систему, как 7.0, релиз которой должен состоятся 19 декабря, но котороя еще обладает огромным кол-вом kernel panic и crash?

"Supermicro"
Отправлено бусик , 28-Ноя-07 14:34 
>>Нет, нет, это не "неизвестный контроллер". 3ware советует даже BSD комьюнити, как
>>одни из наиболее подходящих RAID-контроллеров для FreeBSD. Это я где-то недавно
>>глазами натыкался на статью, посему тут и стоит данный контроллер. Тем
>>более, в PIO скорость диска была бы значительно медленней, но не
>>кусками по 100кб/пауза/100кб... Сейчас появилась идея поставить mc и замерять скорость
>>копирования больших файлов.
>
>Что за контроллер точно?

По документам на сервер написано 3Ware 8006-2LP

"Supermicro"
Отправлено SubGun , 28-Ноя-07 14:49 
Судя по
hw.ata.ata_dma: 1

у вас таки режим dma стоит. Хм....интересно.