URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 75615
[ Назад ]

Исходное сообщение
"Помогите -- затык с RAID1 на FreeBSD-6.2-RELEASE"

Отправлено partietz , 10-Авг-07 03:11 
Приветствую!

Сервер HP ProLiant DL140 G3, процессор Xeon 5140
SATA/SAS Hot-Swap PCI-X RAID-контроллер LSI SAS3080X-HP (на базе LSI1068)
Диски Seagate Barracuda 7.2K SATA 250GB в RAID-1
Прошивки BIOS мат.платы и RAID-контроллера -- последние с сайта HP

Система FreeBSD/amd64 -- 6.2-RELEASE
Ядро -- "монолитное", не пересобиравшееся

Установка протекала довольно медленно, да и после установки система явно задумывалась на операциях с дисками.

# uname -a
FreeBSD bee.departament.com 6.2-RELEASE FreeBSD 6.2-RELEASE #0: Fri Jan 12 08:43:30 UTC 2007     root@portnoy.cse.buffalo.edu:/usr/obj/usr/src/sys/SMP  amd64

bee# dmesg
Copyright (c) 1992-2007 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 6.2-RELEASE #0: Fri Jan 12 08:43:30 UTC 2007
    root@portnoy.cse.buffalo.edu:/usr/obj/usr/src/sys/SMP
ACPI APIC Table: <PTLTD          APIC  >
Timecounter "i8254" frequency 1193182 Hz quality 0
CPU: Intel(R) Xeon(R) CPU            5140  @ 2.33GHz (2327.51-MHz K8-class CPU)
  Origin = "GenuineIntel"  Id = 0x6f6  Stepping = 6
  Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0x4e3bd<SSE3,RSVD2,MON,DS_CPL,VMX,EST,TM2,<b9>,CX16,<b14>,<b15>,<b18>>
  AMD Features=0x20100800<SYSCALL,NX,LM>
  AMD Features2=0x1<LAHF>
  Cores per package: 2
real memory  = 5100273664 (4864 MB)
avail memory = 4121800704 (3930 MB)
FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs
cpu0 (BSP): APIC ID:  0
cpu1 (AP): APIC ID:  1
ioapic0 <Version 2.0> irqs 0-23 on motherboard
ioapic1 <Version 2.0> irqs 24-47 on motherboard
kbd1 at kbdmux0
ath_hal: 0.9.17.2 (AR5210, AR5211, AR5212, RF5111, RF5112, RF2413, RF5413)
acpi0: <PTLTD   RSDT> on motherboard
acpi0: Power Button (fixed)
Timecounter "ACPI-fast" frequency 3579545 Hz quality 1000
acpi_timer0: <24-bit timer at 3.579545MHz> port 0x1008-0x100b on acpi0
cpu0: <ACPI CPU> on acpi0
acpi_throttle0: <ACPI CPU Throttling> on cpu0
cpu1: <ACPI CPU> on acpi0
acpi_throttle1: <ACPI CPU Throttling> on cpu1
acpi_throttle1: failed to attach P_CNT
device_attach: acpi_throttle1 attach returned 6
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pci0: <ACPI PCI bus> on pcib0
pcib1: <ACPI PCI-PCI bridge> at device 2.0 on pci0
pci1: <ACPI PCI bus> on pcib1
pcib2: <ACPI PCI-PCI bridge> irq 16 at device 0.0 on pci1
pci2: <ACPI PCI bus> on pcib2
pcib3: <ACPI PCI-PCI bridge> irq 16 at device 0.0 on pci2
pci3: <ACPI PCI bus> on pcib3
pcib4: <ACPI PCI-PCI bridge> at device 0.3 on pci1
pci7: <ACPI PCI bus> on pcib4
mpt0: <LSILogic SAS/SATA Adapter> port 0x2000-0x20ff mem 0xdc210000-0xdc213fff,0xdc200000-0xdc20ffff irq 24 at device 1.0 on pci7
mpt0: [GIANT-LOCKED]
mpt0: MPI Version=1.5.14.0
mpt0: mpt_cam_event: 0x16
mpt0: Unhandled Event Notify Frame. Event 0x16 (ACK not required).
mpt0: mpt_cam_event: 0x16
mpt0: Unhandled Event Notify Frame. Event 0x16 (ACK not required).
mpt0: mpt_cam_event: 0x16
mpt0: Unhandled Event Notify Frame. Event 0x16 (ACK not required).
mpt0: mpt_cam_event: 0x12
mpt0: Unhandled Event Notify Frame. Event 0x12 (ACK not required).
mpt0: mpt_cam_event: 0x12
mpt0: Unhandled Event Notify Frame. Event 0x12 (ACK not required).
mpt0: mpt_cam_event: 0x16
mpt0: Unhandled Event Notify Frame. Event 0x16 (ACK not required).
mpt0: mpt_cam_event: 0x16
mpt0: Unhandled Event Notify Frame. Event 0x16 (ACK not required).
mpt0: mpt_cam_event: 0x16
mpt0: Unhandled Event Notify Frame. Event 0x16 (ACK not required).
mpt0: mpt_cam_event: 0xb
mpt0: Unhandled Event Notify Frame. Event 0xb (ACK not required).
pcib5: <ACPI PCI-PCI bridge> at device 3.0 on pci0
pci8: <ACPI PCI bus> on pcib5
pcib6: <ACPI PCI-PCI bridge> at device 4.0 on pci0
pci12: <ACPI PCI bus> on pcib6
pcib7: <PCI-PCI bridge> at device 5.0 on pci0
pci13: <PCI bus> on pcib7
pcib8: <ACPI PCI-PCI bridge> at device 6.0 on pci0
pci14: <ACPI PCI bus> on pcib8
pcib9: <PCI-PCI bridge> at device 7.0 on pci0
pci15: <PCI bus> on pcib9
pcib10: <ACPI PCI-PCI bridge> at device 28.0 on pci0
pci19: <ACPI PCI bus> on pcib10
bge0: <Broadcom BCM5750 B1, ASIC rev. 0x4101> mem 0xdc300000-0xdc30ffff irq 16 at device 0.0 on pci19
miibus0: <MII bus> on bge0
brgphy0: <BCM5750 10/100/1000baseTX PHY> on miibus0
brgphy0:  10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, 1000baseTX, 1000baseTX-FDX, auto
pcib11: <ACPI PCI-PCI bridge> at device 28.1 on pci0
pci20: <ACPI PCI bus> on pcib11
bge1: <Broadcom BCM5750 B1, ASIC rev. 0x4101> mem 0xdc400000-0xdc40ffff irq 17 at device 0.0 on pci20
miibus1: <MII bus> on bge1
brgphy1: <BCM5750 10/100/1000baseTX PHY> on miibus1
brgphy1:  10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, 1000baseTX, 1000baseTX-FDX, auto
uhci0: <UHCI (generic) USB controller> port 0x1800-0x181f irq 23 at device 29.0 on pci0
uhci0: [GIANT-LOCKED]
usb0: <UHCI (generic) USB controller> on uhci0
usb0: USB revision 1.0
uhub0: Intel UHCI root hub, class 9/0, rev 1.00/1.00, addr 1
uhub0: 2 ports with 2 removable, self powered
uhci1: <UHCI (generic) USB controller> port 0x1820-0x183f irq 23 at device 29.1 on pci0
uhci1: [GIANT-LOCKED]
usb1: <UHCI (generic) USB controller> on uhci1
usb1: USB revision 1.0
uhub1: Intel UHCI root hub, class 9/0, rev 1.00/1.00, addr 1
uhub1: 2 ports with 2 removable, self powered
uhci2: <UHCI (generic) USB controller> port 0x1840-0x185f irq 23 at device 29.2 on pci0
uhci2: [GIANT-LOCKED]
usb2: <UHCI (generic) USB controller> on uhci2
usb2: USB revision 1.0
uhub2: Intel UHCI root hub, class 9/0, rev 1.00/1.00, addr 1
uhub2: 2 ports with 2 removable, self powered
ehci0: <EHCI (generic) USB 2.0 controller> mem 0xdc000000-0xdc0003ff irq 23 at device 29.7 on pci0
ehci0: [GIANT-LOCKED]
usb3: EHCI version 1.0
usb3: companion controllers, 2 ports each: usb0 usb1 usb2
usb3: <EHCI (generic) USB 2.0 controller> on ehci0
usb3: USB revision 2.0
uhub3: Intel EHCI root hub, class 9/0, rev 2.00/1.00, addr 1
uhub3: 6 ports with 6 removable, self powered
pcib12: <ACPI PCI-PCI bridge> at device 30.0 on pci0
pci21: <ACPI PCI bus> on pcib12
pci21: <display, VGA> at device 2.0 (no driver attached)
isab0: <PCI-ISA bridge> at device 31.0 on pci0
isa0: <ISA bus> on isab0
atapci0: <Intel 63XXESB2 UDMA100 controller> port 0x1f0-0x1f7,0x3f6,0x170-0x177,0x376,0x1860-0x186f at device 31.1 on pci0
ata0: <ATA channel 0> on atapci0
ata1: <ATA channel 1> on atapci0
pci0: <serial bus, SMBus> at device 31.3 (no driver attached)
acpi_button0: <Power Button> on acpi0
sio0: <16550A-compatible COM port> port 0x3f8-0x3ff irq 4 flags 0x10 on acpi0
sio0: type 16550A
orm0: <ISA Option ROMs> at iomem 0xc0000-0xc7fff,0xc8000-0xc8fff,0xdc000-0xdffff on isa0
atkbdc0: <Keyboard controller (i8042)> at port 0x60,0x64 on isa0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
ppc0: cannot reserve I/O port range
sc0: <System console> at flags 0x100 on isa0
sc0: VGA <16 virtual consoles, flags=0x300>
sio1: configured irq 3 not in bitmap of probed irqs 0
sio1: port may not be enabled
vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
ukbd0: ServerEngines SE USB Device, rev 1.10/0.01, addr 2, iclass 3/1
kbd2 at ukbd0
ums0: ServerEngines SE USB Device, rev 1.10/0.01, addr 2, iclass 3/1
ums0: 8 buttons and Z dir.
Timecounters tick every 1.000 msec
acd0: DVDROM <DV-28E-V/C.AB> at ata0-master UDMA33
SMP: AP CPU #1 Launched!
da0 at mpt0 bus 0 target 1 lun 0
da0: <LSILOGIC Logical Volume 3000> Fixed Direct Access SCSI-2 device
da0: 300.000MB/s transfers, Tagged Queueing Enabled
da0: 237464MB (486326272 512 byte sectors: 255H 63S/T 30272C)
Trying to mount root from ufs:/dev/da0s1a
bge0: link state changed to UP

Различные программы оценки производительности дали примерно похожие результаты:

# /usr/local/sbin/bonnie++

Version 1.93c       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
               300M   439  97  6290   1  4735   1   708  99 +++++ +++  1909  28
Latency             78878us     442ms     399ms   30444us     854us   17635us

Version 1.93c       ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  2820   8 +++++ +++ +++++ +++  2211   6 +++++ +++ +++++ +++
Latency              1368ms      31us      54us    1352ms      34us   62821us

# ./tiotest -f 100
Tiotest results for 4 concurrent io threads:
,----------------------------------------------------------------------.
| Item                  | Time     | Rate         | Usr CPU  | Sys CPU |
+-----------------------+----------+--------------+----------+---------+
| Write         400 MBs |   58.0 s |   6.901 MB/s |   0.5 %  |   8.4 % |
| Random Write   16 MBs |   26.2 s |   0.596 MB/s |   0.1 %  |   1.8 % |
| Read          400 MBs |    0.5 s | 788.714 MB/s |  52.3 %  | 530.3 % |
| Random Read    16 MBs |    0.0 s | 347.099 MB/s |  16.1 %  | 605.7 % |
`----------------------------------------------------------------------'
Tiotest latency results:
,-------------------------------------------------------------------------.
| Item         | Average latency | Maximum latency | % >2 sec | % >10 sec |
+--------------+-----------------+-----------------+----------+-----------+
| Write        |        2.121 ms |      477.872 ms |  0.00000 |   0.00000 |
| Random Write |        1.952 ms |     6976.487 ms |  0.02500 |   0.00000 |
| Read         |        0.013 ms |       46.806 ms |  0.00000 |   0.00000 |
| Random Read  |        0.032 ms |       13.569 ms |  0.00000 |   0.00000 |
|--------------+-----------------+-----------------+----------+-----------|
| Total        |        1.064 ms |     6976.487 ms |  0.00047 |   0.00000 |
`--------------+-----------------+-----------------+----------+-----------'

# ./tiotest
Tiotest results for 4 concurrent io threads:
,----------------------------------------------------------------------.
| Item                  | Time     | Rate         | Usr CPU  | Sys CPU |
+-----------------------+----------+--------------+----------+---------+
| Write          40 MBs |    5.5 s |   7.337 MB/s |   0.2 %  |   9.9 % |
| Random Write   16 MBs |   16.2 s |   0.964 MB/s |   0.0 %  |   1.0 % |
| Read           40 MBs |    0.0 s | 1249.102 MB/s|  12.6 %  | 560.5 % |
| Random Read    16 MBs |    0.0 s | 1074.326 MB/s|   0.0 %  | 394.8 % |
`----------------------------------------------------------------------'
Tiotest latency results:
,-------------------------------------------------------------------------.
| Item         | Average latency | Maximum latency | % >2 sec | % >10 sec |
+--------------+-----------------+-----------------+----------+-----------+
| Write        |        1.980 ms |      147.902 ms |  0.00000 |   0.00000 |
| Random Write |        0.148 ms |      553.000 ms |  0.00000 |   0.00000 |
| Read         |        0.007 ms |       14.814 ms |  0.00000 |   0.00000 |
| Random Read  |        0.005 ms |        0.130 ms |  0.00000 |   0.00000 |
|--------------+-----------------+-----------------+----------+-----------|
| Total        |        0.736 ms |      553.000 ms |  0.00000 |   0.00000 |
`--------------+-----------------+-----------------+----------+-----------'

# /usr/local/bin/dbench 1000
dbench version 3.04 - Copyright Andrew Tridgell 1999-2004

Running for 600 seconds with load '/usr/local/share/dbench/client.txt' and minimum warmup 120 secs
1000 clients started
1000        58     3.79 MB/sec  execute 462 sec
1000        58     3.78 MB/sec  execute 463 sec
1000        58     3.77 MB/sec  execute 464 sec
1000        58     3.76 MB/sec  execute 465 sec
1000        58     3.76 MB/sec  execute 466 sec
1000        58     3.75 MB/sec  execute 467 sec
1000        58     3.75 MB/sec  execute 468 sec
1000        58     3.76 MB/sec  execute 469 sec
1000        58     3.76 MB/sec  execute 470 sec
1000        58     3.76 MB/sec  execute 471 sec
1000        58     3.76 MB/sec  execute 472 sec
1000        59     3.76 MB/sec  execute 473 sec

iostat под нагрузкой bonnie++

# iostat 1

      tty             da0            pass0             cpu
tin tout  KB/t tps  MB/s   KB/t tps  MB/s  us ni sy in id
   0  115 64.00  98  6.13   0.00   0  0.00   2  0  1  0 97
   0  346 62.57  97  5.93   0.00   0  0.00   2  0  1  0 97
   0  115 63.39  97  6.01   0.00   0  0.00   2  0  2  0 96
   0  115 64.00  98  6.13   0.00   0  0.00   2  0  1  0 97
   0  115 64.00  98  6.13   0.00   0  0.00   2  0  1  0 97
   0  115 64.00  98  6.13   0.00   0  0.00   0  0  0  0 99
   0  115 64.00 100  6.25   0.00   0  0.00   1  0  0  0 99
   0  115 64.00  97  6.07   0.00   0  0.00   3  0  0  0 97
   0  115 59.25  97  5.62   0.00   0  0.00   2  0  1  0 98
   0  115 64.00  98  6.13   0.00   0  0.00   3  0  1  0 96
   0  115 64.00 101  6.31   0.00   0  0.00   1  0  0  1 98
   0  115 64.00  99  6.19   0.00   0  0.00   0  0  0  0 100
   0  117 62.30  97  5.91   0.00   0  0.00   1  0  0  0 99
   0  115 64.00  98  6.13   0.00   0  0.00   0  0  0  0 100

diskinfo показывает, что все вроде бы ок

# diskinfo -ctv da0
da0
        512             # sectorsize
        248999051264    # mediasize in bytes (232G)
        486326272       # mediasize in sectors
        30272           # Cylinders according to firmware.
        255             # Heads according to firmware.
        63              # Sectors according to firmware.

I/O command overhead:
        time to read 10MB block      0.128195 sec       =    0.006 msec/sector
        time to read 20480 sectors   2.330130 sec       =    0.114 msec/sector
        calculated command overhead                     =    0.108 msec/sector

Seek times:
        Full stroke:      250 iter in   1.425764 sec =    5.703 msec
        Half stroke:      250 iter in   1.442128 sec =    5.769 msec
        Quarter stroke:   500 iter in   4.539487 sec =    9.079 msec
        Short forward:    400 iter in   2.336504 sec =    5.841 msec
        Short backward:   400 iter in   2.220089 sec =    5.550 msec
        Seq outer:       2048 iter in   0.248946 sec =    0.122 msec
        Seq inner:       2048 iter in   0.247340 sec =    0.121 msec
Transfer rates:
        outside:       102400 kbytes in   1.289482 sec =    79412 kbytes/sec
        middle:        102400 kbytes in   1.463749 sec =    69957 kbytes/sec
        inside:        102400 kbytes in   2.551353 sec =    40136 kbytes/sec

Самые странные результаты у iozone (значения в KB/s)

# iozone -Ra -i 0 -i 1

Writer report                                                    
    4    8    16    32    64    128    256    512    1024    2048    4096    8192    16384
64    349613    481234    577521    727850    801764                                
128    326403    475609    649331    595328    649331    656477                            
256    372593    509895    562815    608074    606700    557844    612584                        
512    440256    553502    612376    632952    682649    671129    709019    769761                    
1024    490192    590876    665390    688096    751287    755118    739898    772225    756848                
2048    11254    11159    12089    11105    11519    11986    11016    11191    12012    11377            
4096    8736    8872    8873    8767    9042    8883    8813    8815    8823    8897    9023        
8192    7407    7390    7407    7468    7407    7412    7386    7471    7173    7396    7419    7449    
16384    7403    7409    7405    7427    7295    7411    7405    7439    7406    7203    7398    7437    7412
32768    0    0    0    0    7110    7116    6903    7122    7116    7089    7130    7120    7112
65536    0    0    0    0    7021    7031    7014    6943    7052    7047    7050    7051    7032
131072    0    0    0    0    6925    6950    6963    6970    6938    6988    6964    6913    6973
262144    0    0    0    0    6925    6916    6924    6901    6905    6931    6930    6935    6931
524288    0    0    0    0    6893    6885    6890    6895    6876    6894    6880    6885    6891

Reader report                                                    
    4    8    16    32    64    128    256    512    1024    2048    4096    8192    16384
64    2006158    3057153    3203069    3588436    3791156                                
128    1802755    2784517    3359523    3657016    3380677    4135958                            
256    1839210    2842047    3368013    3879045    4054829    4350555    3879045                        
512    1848401    2860238    2141475    3905895    4228947    4305250    4195896    5177083                    
1024    2043465    2746483    3594699    3521025    4300102    4033569    4762630    4550690    4474829                
2048    1782585    2000075    3108009    3459769    3261415    3690142    3709263    3671217    2797290    2863496            
4096    1593117    2131284    2490267    2360908    2878275    2948925    3003050    2981164    2680666    2154808    1686151        
8192    1447895    1931537    2207527    2400293    2509877    2528346    2522962    2421438    2157488    1792481    1465996    1272827    
16384    1421239    1855938    2114913    2304336    2378593    2411141    2390092    2307586    2048282    1699386    1421239    1239331    1224775
32768    0    0    0    0    2381552    2411175    2396544    2303247    2050446    1689958    1389945    1218097    1200824
65536    0    0    0    0    2394953    2433198    2403833    2319198    2049220    1684210    1374322    1207326    1191718
131072    0    0    0    0    2411317    2444915    2423360    2334025    2073894    1706776    1398233    1224892    1204187
262144    0    0    0    0    1117989    1126933    1120483    1099925    1030051    932950    837432    785389    782262
524288    0    0    0    0    1122732    1131054    1128274    1106011    1037329    939671    844884    788923    787122

Итого -- "безумные" цифры на чтениут и (следствие кэширования?), и что-то неприлиличное на записи. 6MB/s -- как такое может быть?

Здесь (и в разных рассылках тоже) уже встречались жалобы на связку HP-DL+LSI-RAID+FreeBSD-6.x (например, http://www.opennet.me/openforum/vsluhforumID1/74296.html)
Советы, в итоге, сводились к пересборке на CURRENT

На пробу решил это сделать -- обновить все исходники до CURRENT и установить:

## ---- sup-file for CURRENT ----
*default tag=.
*default host=cvsup.ru.FreeBSD.org
*default base=/var/db
*default prefix=/usr
*default release=cvs delete use-rel-suffix compress

## Main Source Tree.
#
# The easiest way to get the main source tree is to use the "src-all"
# mega-collection.  It includes all of the individual "src-*" collections,
# except the export-restricted collections.

src-all

## ---- end of sup-file ----

Ядро собирал из GENERIC, с выключенными debug-options и устройствами типа PC-CARD, WLAN, Firewire.
саму систему -- все по дефолту.

В итоге, на получившейся 7.0-CURRENT amd64 имел ровно те же самые результаты, что и на 6.2-RELEASE

Строчка
mpt0: Unhandled Event Notify Frame. Event 0x16 (ACK not required).
в dmesg также присутствовала.

Пробовал поставить 7.0-CURRENT с нуля с июньского snapshot -- не вышло по причине того, что примерно на середине загрузки ядра клавиатура перестает откликаться.

В итоге откатился обратно на 6.2-RELEASE

Да, еще пару раз на 6.2-RELEASE глухо зависало при загрузке сразу после строчки
acd0: DVDROM <DV-28E-V/C.AB> at ata0-master UDMA33

В какую сторону рыть?

Или забить и ставить что-то из официально поддерживаемого (тут лишь два варианта -- RHEL 4/5 или SLES10) ? :)

Задачи сервера: боевой хостинг небольшого (до 100) количества сайтов, POP3, VoIP(CommuniGate). Хотелось бы все же остаться с  FreeBSD.

Спасибо!


Александр


Содержание

Сообщения в этом обсуждении
"Добавка"
Отправлено partietz , 10-Авг-07 03:59 
результаты еще одного теста

# iozone -r 8 -s 50M -l 1 -u 10 -i 0 -i 1                    
Throughput report Y-axis is type of test X-axis is number of processes                                
Record size = 8 Kbytes                                            
Output is in Mbytes/sec                                        

  Initial write         6,784013748    7,964415073    7,686108589    7,256638885    7,321347356    7,289850235    7,179648876    7,183037162    7,191423178    7,099757135
        Rewrite         6,769197464    7,484380722    7,307444096    6,997902036    6,967474937    7,019867539    6,962437153    6,865734994    6,940555274    6,865067899
           Read         1837,691895    2361,592773    2456,68042    2633,555511    1897,037003    1467,735926    1433,650627    1296,737602    1292,96299    1235,660697
        Re-read         1811,985352    2329,775146    2442,269165    2734,309937    2167,018814    1852,257454    1946,1791    2177,569077    1890,217388    1811,201475

Как такое может быть? :)


"Добавка"
Отправлено Lmer , 13-Авг-07 18:52 
У тебя дискы после создания RAID1 полностью засинхронизировались
я просто на своем HP DL140G3 щас такую картину наблюдаю, правда у меня идет синхронизация дисков


"Добавка"
Отправлено partietz , 13-Авг-07 19:16 
В смысле? Это вопрос? :)
RAID-1 делался из двух новых одинаковых дисков, соотсветственно, они изначально были Synchronized 100%

Сейчас провожу тесты на RHEL 5, предварительное впечатление -- все отлично. Но нужно-то, чтобы было отлично на FreeBSD :) Выложу картинки, как только.

Windows 2003 Enterprise R2 (x64 и i386) вообще запустить не смог -- установка проходит нормально, после чего на стартапе валится в BSOD 0x0000007B. шаманство с драйверами LSI не помогло.


"Помогите -- затык с RAID1 на FreeBSD-6.2-RELEASE"
Отправлено Lamer , 14-Авг-07 07:47 
Да странная железка, на офф сайте тоже про такую проблему ничего не написано

вот мои результаты
#dbench 1000
1000        58     4.93 MB/sec  execute 255 sec
1000        58     4.94 MB/sec  execute 256 sec
1000        58     4.95 MB/sec  execute 257 sec
1000        58     4.95 MB/sec  execute 258 sec
1000        58     4.96 MB/sec  execute 259 sec
1000        58     4.96 MB/sec  execute 260 sec
1000        58     4.95 MB/sec  execute 261 sec
1000        59     4.97 MB/sec  execute 262 sec
1000        59     4.98 MB/sec  execute 263 sec
1000        59     4.98 MB/sec  execute 264 sec
1000        59     5.00 MB/sec  execute 265 sec
1000        59     5.02 MB/sec  execute 266 sec
1000        60     4.97 MB/sec  execute 280 sec
1000        60     4.95 MB/sec  execute 281 sec
1000        60     4.94 MB/sec  execute 282 sec
1000        60     4.92 MB/sec  execute 283 sec
1000        60     4.90 MB/sec  execute 284 sec
1000        60     4.89 MB/sec  execute 285 sec
1000        60     4.87 MB/sec  execute 287 sec
1000        60     4.85 MB/sec  execute 288 sec

#iostat 1
      tty             da0             cpu
tin tout  KB/t tps  MB/s  us ni sy in id
   0   11 20.41 112  2.23   0  0 11  0 89
   0  176 55.84  74  4.03   0  0  0  0 100
   0   93 21.69 126  2.68   0  0  0  0 100
   0   93 16.00 117  1.82   0  0  0  0 100
   0   93 15.88 118  1.83   0  0  0  0 100
   0   93 29.52 113  3.25   0  0  0  0 100
   0   93 22.73 115  2.55   0  0  1  0 98
   0   92 20.97 116  2.37   0  0  0  0 100
   0   93 20.33 130  2.59   0  0  1  0 99
   0   92 40.11 120  4.69   0  0  0  0 100
   0   93 62.98  89  5.50   0  0  0  0 100
   0   93 44.42 101  4.39   0  0  0  0 100
   0   93 20.25 119  2.35   0  0  2  0 98
   0   92 21.05 133  2.74   0  0  1  0 99
   0   42 23.96 102  2.40   1  0 11  0 88
   0   73 63.58  80  4.94   0  0  1  0 99
   0   92 48.00  92  4.33   0  0  0  0 100
   0   93 43.58 101  4.30   0  0  0  0 100
   0   93 15.92 119  1.84   0  0  0  0 100
   0   93 16.79 118  1.93   0  0  0  0 100

на серваке стоит версия биоса 1.08.00 попробую поставить v1.13 (2007.05.18)
и потестить родными HP утилитами


"попробуйте, конечно..."
Отправлено partietz , 14-Авг-07 15:23 
у меня последние версии прошивок для всего -- изменений по сравнению с предыдущими не обнаружено.

какие "родные утилиты" имеются в виду -- HP Diagnostic CD? там совсем простые тесты и к тому же только качественные -- PASSED/FAILED.


"Результаты тестирования на RHEL5"
Отправлено partietz , 14-Авг-07 15:19 
Установил на ту же машину, в той же конфигурации Redhat Enterprise Linux 5 Server.
Файловая система -- ext3
Опции/настройки -- by default

Результаты, как говорится, "более другие":

Iozone:

Read
http://i.piccy.kiev.ua/i/1e/84/4d0b172dd4040d958e494acb6854.gif

Write
http://i.piccy.kiev.ua/i/5e/52/6f8e15f7a6798a18cc2151765da2.gif

Read scale
http://i.piccy.kiev.ua/i/e3/bb/b2d9e2ac60f9f81c9ba2c4cc96c5.gif

Write scale
http://i.piccy.kiev.ua/i/b0/e7/eb5486dc3454e0d2a3ca41d091c8.gif

# ./dbench -t 60 100
dbench version 3.04 - Copyright Andrew Tridgell 1999-2004

100 clients started
100      2628   595.30 MB/sec  warmup   3 sec  
100      3722   595.68 MB/sec  warmup   4 sec  
100      4746   591.29 MB/sec  warmup   6 sec  
100      7440   595.63 MB/sec  warmup   9 sec  
100      8318   583.45 MB/sec  warmup  10 sec  
100      8322   528.66 MB/sec  warmup  11 sec  
100      8322   483.25 MB/sec  warmup  12 sec  
100     18727   256.63 MB/sec  execute  22 sec  
100     19701   268.45 MB/sec  execute  23 sec  
100     20669   279.06 MB/sec  execute  24 sec  
100     21744   290.34 MB/sec  execute  25 sec  
100     22702   299.73 MB/sec  execute  26 sec  
100     23694   308.59 MB/sec  execute  27 sec  
100     24634   316.90 MB/sec  execute  28 sec  
100     25541   324.29 MB/sec  execute  29 sec  
100     26462   329.79 MB/sec  execute  30 sec  
100     27406   335.54 MB/sec  execute  31 sec  
100     28398   341.56 MB/sec  execute  32 sec  
100     29329   346.24 MB/sec  execute  33 sec  
Throughput 373.845 MB/sec 100 procs

# bonnie++

------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
6576M 13443  25 13781   3  9204   2 36568  58 39465   5 115.8   0

Вывод: проблема все-таки не в железе, а в драйвере FreeBSD. как быть? запускать продакшн на RHEL5 не хочется.


"Почти финал истории"
Отправлено partietz , 22-Авг-07 15:34 
вроде бы, разобрался.

после общения с разработчиками драйвера, стало ясно, что на данный момент FreeBSD не полностью поддерживает LSI SAS-HBA. работы в этом направлении ведутся, но сроков никаких нет, естественно.

в начале июня Scott Long (один из разработчиков драйвера mpt) выложил mpt.h Revision 1.6.2.7:

MFC: MPI 1.5.16, SAS topology scan, SATA WC enable tunable

эта версия является, на данный момент, последней для RELENG_6

в настройки добавлен "хак", позволяющий принудительно включить кэширование на запись для SATA-дисков, подключенных к LSI SAS-HBA.

собственно, сommit message:

scottl      2007-06-03 23:13:05 UTC

   FreeBSD src repository

   Modified files:
     sys/dev/mpt          mpt.c mpt.h mpt_cam.c
   Log:
   mpt.c:
   mpt.h:
           Add support for reading extended configuration pages.
   mpt_cam.c:
           Do a top level topology scan on the SAS controller.  If any
SATA device are discovered in this scan, send a passthrough FIS to set
the write cache.  This is controllable through the following tunable at
boot:
     hw.mpt.enable_sata_wc:
           -1 = Do not configure, use the controller default
            0 = Disable the write cache
            1 = Enable the write cache

           The default is -1.  This tunable is just a hack and may be
           deprecated in the future.

Turning on the write cache alleviates the write performance problems
with SATA that many people have observed.  It is not recommend for those
who value data reliability!  I cannot stress this strongly enough.
However,  it is useful in certain circumstances, and it brings the
performence in line with what a generic SATA controller running under
the FreeBSD ATA driver provides (and the ATA driver has had the WC
enabled by default for years).

на данный момент, это все, что сделано для более-менее адекватных показателей производительности LSI SAS-HBA в FreeBSD.

для чистоты эксперимента, проделал измерения с одним диском, подключенным к контроллеру, т.е. без RAID.

сначала -- на "чистой" FreeBSD/amd64-6.2-RELEASE
с "монолитным" ядром

Read
http://i.piccy.kiev.ua/i/82/ca/b85c91cc1acd58efb6115ac98fbf.gif

Write
http://i.piccy.kiev.ua/i/9e/a7/3a9994b3dc83590c5cef2383573c.gif

Read scale
http://i.piccy.kiev.ua/i/55/1e/80aa3c20877af71087135b02cc86.gif

Write scale
http://i.piccy.kiev.ua/i/44/54/6af4ef4d481b84a729510e263f23.gif

затем, на FreeBSD/amd64-6-STABLE, установленной с последнего августовского snapshot'а -- 200708
с включенным "хаком": hw.mpt.enable_sata_wc=1
и с пересобранным ядром

Read
http://i.piccy.kiev.ua/i/d0/20/570028968069a7ef99ef10a6596d.gif

Write
http://i.piccy.kiev.ua/i/01/ae/f62aa3fd30b8d75022cbd6ae31b7.gif

Read scale
http://i.piccy.kiev.ua/i/e9/b8/bfd8801d2a0b995a59de8eacd625.gif

Write scale
http://i.piccy.kiev.ua/i/f4/19/22bd403a5f7352c41c4039cd7f04.gif


Выводы:

показатели по чтению во FreeBSD на мелких файлах лучше, чем в RHEL5, что вполне устраивает ввиду основной функции сервера -- веб.

по записи -- после включения "хака" наконец-то удалось добиться "истинной" дисковой производительности на больших файлах, когда кэширование уже не работает -- ~60MB/s против ~7MB/s в случае 6.2-RELEASE. RHEL5 имеет более "равномерную" характеристику по кэшированию на запись, однако, опять-таки, для веб-задач это не так актуально. пиковые характеристики на запись небольших файлов выше у FreeBSD.

огорчает, конечно, тот факт, что это -- только "хак" и перспективы LSI SAS-HBA во FreeBSD неясны.

для чистоты эксперимента проведу измерения для RAID-1 c FreeBSD-6-STABLE и буду-таки собирать на ее основе сервер.

к тому же, что радует, в варианте 6-STABLE наконец заработал # reboot, без всяких Fatal Trap 12 и options BROKEN_KEYBOARD_RESET.
по крайней мере, для этого конкретного сервера :)


всем спасибо!


"RAID-1"
Отправлено partietz , 24-Авг-07 14:10 
В завершение, тесты RAID-1 на FreeBSD6-STABLE c включенным
hw.mpt.enable_sata_wc=1
система ставилась на готовый RAID-1

Read
http://i.piccy.kiev.ua/i/7f/f0/d503ece6cbc4e6fd56d3412dae27.gif

Write
http://i.piccy.kiev.ua/i/0e/e9/09e5d5d8d769ae340a9f5176cd41.gif

Read scale
http://i.piccy.kiev.ua/i/d8/61/74542b566cbbe2e79ff04403808b.gif

Write scale
http://i.piccy.kiev.ua/i/45/2f/e372b7914c0b6b42ad7e076f7a38.gif

Характеристики чтения аналогичны системе без RAID, запись -- чуть медленнее.
Впрочем, сойдет.


"RAID-1"
Отправлено Lamer , 27-Авг-07 11:40 
>В завершение, тесты RAID-1 на FreeBSD6-STABLE c включенным
>hw.mpt.enable_sata_wc=1
>система ставилась на готовый RAID-1
>

# cat /etc/cvsup/stable-supfile
*default host=cvsup6.ru.freebsd.org
*default base=/var/db
*default prefix=/usr
*default release=cvs tag=RELENG_6
*default delete use-rel-suffix

*default compress

src-all

нету у меня      hw.mpt.enable_sata_wc


# sysctl hw.mpt
sysctl: unknown oid 'hw.mpt'



"RAID-1"
Отправлено Lamer , 27-Авг-07 15:28 
а всё, не дочитал
запихал в loader.conf, вроде работает, но это скорее временное решение

"Помогите -- затык с RAID1 на FreeBSD-6.2-RELEASE"
Отправлено InOut , 04-Сен-07 21:22 
>Сервер HP ProLiant DL140 G3, процессор Xeon 5140
>FreeBSD bee.departament.com 6.2-RELEASE FreeBSD 6.2-RELEASE #0: Fri Jan 12 08:43:30 UTC 2007
>    root@portnoy.cse.buffalo.edu:/usr/obj/usr/src/sys/SMP  amd64
>CPU: Intel(R) Xeon(R) CPU        
>   5140  @ 2.33GHz (2327.51-MHz K8-class CPU)
>  Origin = "GenuineIntel"  Id = 0x6f6  Stepping =
>6

Добрый день! А зачем ставить Freebsd для AMD64 на Xeon 5140 ?


"Помогите -- затык с RAID1 на FreeBSD-6.2-RELEASE"
Отправлено Михалыч , 17-Сен-07 16:37 
>>Сервер HP ProLiant DL140 G3, процессор Xeon 5140
>>FreeBSD bee.departament.com 6.2-RELEASE FreeBSD 6.2-RELEASE #0: Fri Jan 12 08:43:30 UTC 2007
>>    root@portnoy.cse.buffalo.edu:/usr/obj/usr/src/sys/SMP  amd64
>>CPU: Intel(R) Xeon(R) CPU        
>>   5140  @ 2.33GHz (2327.51-MHz K8-class CPU)
>>  Origin = "GenuineIntel"  Id = 0x6f6  Stepping =
>>6
>
>Добрый день! А зачем ставить Freebsd для AMD64 на Xeon 5140 ?
>

Ещё один умник....
This page contains information of the FreeBSD port to AMD's AMD64 and Intel® EM64T (Extended Memory 64-bit Technology) architecture. The AMD64 architecture was previously known as x86-64 or ``Hammer.'' The Intel EM64T architecture was previously known as IA-32e, Clackamas Technology (CT), and Yamhill.

http://www.freebsd.org/platforms/amd64.html


"Помогите -- затык с RAID1 на FreeBSD-6.2-RELEASE"
Отправлено Ден , 29-Ноя-07 12:01 
Александр, здравствуйте!

Я вижу у вы RAID-контроллер отдельно прикупили? А не пробовали с его внутренним HP Embedded SATA RAID, который умеет только 0 или 1?

Собрал 1 рейд, сбилдил. Потом стал пробовать ОС. Сначала пробовал OpenBSD 4.2 (для меня эта ОС приоритетна, там будет роутер) - не видит диски. Потом FreeBSD 6.2 - видит два диска :-) ad1, ad2. Теперь вот думаю, стоит ли делать софтверный рейд или ну его нахрен :-) Роутеру вообщем-то не обязательно, можно один настроить, а второй сделать по образу первого, и бацкупить периодично по крону. Отдельно рейд-контроллер покупать нет времени и денег.