Решили поставить мощный сервер под FreeBSD на SuperMicro PDSME+(Conroe)3010 + 16HDD seagate 750 SATAII + Adaptec RAID 3405 + FreeBSD 6.3 amd64После того, как система не увидела (No Disc) собранный 5EE рейд, решили почитать документацию. Прочитали, узнали, что необходимо подгрузить драйвер под FreeBSD на этапе boot. Не хочется.
Решили попробовать собрать "зеркало" для системы на двух дисках и запуститься. И О ЧУДО!!! Все в порядке - система диск видит, устанавливается, все в порядке.
Создали 5ЕЕ рэйд на остальных 14 дисках (в надежде на большую скорость чтения).
Система рэйд не видит. Решили, что пора все пересобрать - тогда уж ТОЧНО увидит.
После пересборки ядра система рейд не видит.
Идем на adaptec.com, качаем драйвер под FreeBSD. В loader.conf прописываем aacu_load="YES" и ... система падает в mountroot. По lsdev обнаруживаем, что наш контроллер теперь называется aacu0, вместо aac0, но при этом ВИДЕН aacdu1 - наш 5ЕЕ рэйд!
Перемонтируем систему, взлетаем. Все в порядке. Все диски видны и работают.
Установили, подключили и т.д.Но!!!
Решили испытать на скорость 5ЕЕ рэйд, переведя нагрузку на этот сервер. Сеть 1Гбит.
При ~1000 одновременных подключений скорость отдачи файлов 50Кб-200Мб ограничивается ~170Мбит (при стандарте в 350-400Мбит на продакшн). Упор, насколько я понимаю, в дисковую - аасdu1 ~99-100% по systat. И это при том, что скорость отдачи ~16-20Мб...
Такая скорость у меня была на 4 HDD без рэйда при той же загрузке...
Все рэйды OPTIMAL (т.е. построены).1. Как сие понимать и как с этим бороться?
2. Что означает ошибка "aacu0: Error 5 sending VMIoctl command"?
3. Может так и должно быть, а мы надеемся на высокое чтение дисковой?Спасибо.
dmesg.boot
Copyright (c) 1992-2008 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 6.3-RELEASE #5: Fri Jan 25 05:58:53 MSK 2008
vvs@localhost:/usr/obj/usr/src/sys/ARROW
ACPI APIC Table: <PTLTD APIC >
Timecounter "i8254" frequency 1193182 Hz quality 0
CPU: Intel(R) Core(TM)2 Quad CPU Q6600 @ 2.40GHz (2394.01-MHz K8-class CPU)
Origin = "GenuineIntel" Id = 0x6fb Stepping = 11
Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
Features2=0xe3bd<SSE3,RSVD2,MON,DS_CPL,VMX,EST,TM2,SSSE3,CX16,xTPR,PDCM>
AMD Features=0x20100800<SYSCALL,NX,LM>
AMD Features2=0x1<LAHF>
Cores per package: 4
real memory = 4831838208 (4608 MB)
avail memory = 4132573184 (3941 MB)
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
cpu0 (BSP): APIC ID: 0
cpu1 (AP): APIC ID: 1
cpu2 (AP): APIC ID: 2
cpu3 (AP): APIC ID: 3
ioapic0 <Version 2.0> irqs 0-23 on motherboard
ioapic1 <Version 2.0> irqs 24-47 on motherboard
ioapic2 <Version 2.0> irqs 48-71 on motherboard
kbd1 at kbdmux0
acpi0: <PTLTD RSDT> on motherboard
acpi0: Power Button (fixed)
Timecounter "ACPI-fast" frequency 3579545 Hz quality 1000
acpi_timer0: <24-bit timer at 3.579545MHz> port 0x1008-0x100b on acpi0
cpu0: <ACPI CPU> on acpi0
cpu1: <ACPI CPU> on acpi0
cpu2: <ACPI CPU> on acpi0
cpu3: <ACPI CPU> on acpi0
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pci0: <ACPI PCI bus> on pcib0
pcib1: <ACPI PCI-PCI bridge> irq 16 at device 1.0 on pci0
pci1: <ACPI PCI bus> on pcib1
pcib2: <ACPI PCI-PCI bridge> at device 0.0 on pci1
pci2: <ACPI PCI bus> on pcib2
pcib3: <ACPI PCI-PCI bridge> at device 0.2 on pci1
pci3: <ACPI PCI bus> on pcib3
pcib4: <ACPI PCI-PCI bridge> irq 17 at device 28.0 on pci0
pci14: <ACPI PCI bus> on pcib4
pcib5: <PCI-PCI bridge> at device 0.0 on pci14
pci15: <PCI bus> on pcib5
aacu0: <Adaptec RAID 3405> mem 0xe0200000-0xe03fffff irq 18 at device 14.0 on pci15
aacu0: Enabling 64-bit address support
aacu0: Enable Raw I/O
aacu0: Enable 64-bit array
aacu0: New comm. interface enabled
aacu0: Adaptec Raid Controller 2.1.9-15317
aacu0: Error 5 sending VMIoctl command
pcib6: <PCI-PCI bridge> at device 0.2 on pci14
pci16: <PCI bus> on pcib6
pcib7: <ACPI PCI-PCI bridge> irq 17 at device 28.4 on pci0
pci18: <ACPI PCI bus> on pcib7
em0: <Intel(R) PRO/1000 Network Connection Version - 6.7.2> port 0x4000-0x401f mem 0xe0400000-0xe041ffff irq 16 at device 0.0 on pci18
em0: Ethernet address: 00:30:48:92:49:2a
pcib8: <ACPI PCI-PCI bridge> irq 16 at device 28.5 on pci0
pci19: <ACPI PCI bus> on pcib8
em1: <Intel(R) PRO/1000 Network Connection Version - 6.7.2> port 0x5000-0x501f mem 0xe0500000-0xe051ffff irq 17 at device 0.0 on pci19
em1: Ethernet address: 00:30:48:92:49:2b
pcib9: <ACPI PCI-PCI bridge> at device 30.0 on pci0
pci20: <ACPI PCI bus> on pcib9
pci20: <display, VGA> at device 4.0 (no driver attached)
isab0: <PCI-ISA bridge> at device 31.0 on pci0
isa0: <ISA bus> on isab0
atapci0: <Intel ICH7 UDMA100 controller> port 0x1f0-0x1f7,0x3f6,0x170-0x177,0x376,0x3020-0x302f at device 31.1 on pci0
ata0: <ATA channel 0> on atapci0
ata1: <ATA channel 1> on atapci0
pci0: <serial bus, SMBus> at device 31.3 (no driver attached)
acpi_button0: <Power Button> on acpi0
atkbdc0: <Keyboard controller (i8042)> port 0x60,0x64 irq 1 on acpi0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
psm0: <PS/2 Mouse> irq 12 on atkbdc0
psm0: [GIANT-LOCKED]
psm0: model IntelliMouse Explorer, device ID 4
sio0: <16550A-compatible COM port> port 0x3f8-0x3ff irq 4 flags 0x10 on acpi0
sio0: type 16550A
sio1: <16550A-compatible COM port> port 0x2f8-0x2ff irq 3 on acpi0
sio1: type 16550A
orm0: <ISA Option ROMs> at iomem 0xc0000-0xcafff,0xcb000-0xcbfff,0xcc000-0xccfff,0xcd000-0xd27ff on isa0
sc0: <System console> at flags 0x100 on isa0
sc0: VGA <16 virtual consoles, flags=0x300>
vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
ppc0: cannot reserve I/O port range
Timecounters tick every 1.000 msec
ipfw2 initialized, divert enabled, rule-based forwarding enabled, default to accept, logging limited to 100 packets/entry by default
acd0: DMA limited to UDMA33, controller found non-ATA66 cable
acd0: DVDROM <MATSHITADVD-ROM SR-8178/PZ16> at ata0-slave UDMA33
aacdu0: <RAID 1 (Mirror)> on aacu0
aacdu0: 714742MB (1463791616 sectors)
aacdu1: <RAID 5D> on aacu0
aacdu1: 8577002MB (17565700096 sectors)
SMP: AP CPU #1 Launched!
SMP: AP CPU #2 Launched!
SMP: AP CPU #3 Launched!
Trying to mount root from ufs:/dev/aacdu0s1a
em0: link state changed to UP
а разве 5-ый рэйд скоростной... имхо это 10 быстрый а 5-ый тихий. так что все нормально...
На 14 дисках при 1000 одновременных подключений 5 рэйд обязан давать скорость ЧТЕНИЯ подобную 10 рэйду на больших файлах.
Во всяком случае это должно быть 30+ Мб/сек, а не 20 Мб/сек при 100% загрузки дисковой.