Вариант для распечатки		Пред. тема | След. тема
Форум Открытые системы на сервере (Файловые системы, диски)
Изначальное сообщение		[ Отслеживать ]

"FreeNAS 11.1 - непонятная статистика записи на диски"	+/–
Сообщение от eliot (ok), 04-Янв-20, 13:20
Здравствуйте Помогите, пожалуйста, не пойму почему данные zpool iostat отличается от nfsstat Детально: [root@srv-stg-01 ~]# zpool iostat                                                                                                                  capacity     operations    bandwidth                                                                                 pool        alloc   free   read  write   read  write                                                                                 ----------  -----  -----  -----  -----  -----  -----                                                                                 xen00       7.01T  11.1T     88    942  7.99M  36.3M [root@srv-stg-01 ~]# nfsstat -s                                                                                                                                                                                                                                          Server Info:                                                                                                                           Getattr   Setattr    Lookup  Readlink      Read     Write    Create    Remove                                                     48794677     27436       619         0 9601041492 8161527011         0        58                                                      Rename      Link   Symlink     Mkdir     Rmdir   Readdir  RdirPlus    Access                                                            22         0         0         0         0         6        53  20436173                                                         Mknod    Fsstat    Fsinfo  PathConf    Commit                                                                                           0      1949        28        14   6842208                                                                                   Server Ret-Failed                                                                                                                                   0                                                                                                                   Server Faults                                                                                                                                   0                                                                                                                       Server Cache Stats:                                                                                                                    Inprog      Idem  Non-idem    Misses                                                                                                     0         0         0 17818365070                                                                                           Server Write Gathering:                                                                                                             WriteOps  WriteRPC   Opsaved     Итого через nfs сервер пишется ~8МБ/с , а zpool показывает 36 Я бы предположил что кто-то ещё пишет на диски, но: top -m io -o write -s 1 показывает что nfsd создаёт 99.5% записи 91 processes:  1 running, 90 sleeping                                                                                               CPU:  1.8% user,  0.0% nice,  2.0% system,  0.3% interrupt, 95.9% idle                                                               Mem: 85M Active, 460M Inact, 856M Laundry, 45G Wired, 475M Free                                                                     ARC: 39G Total, 26G MFU, 12G MRU, 52M Anon, 900M Header, 145M Other                                                                      36G Compressed, 56G Uncompressed, 1.55:1 Ratio                                                                                 Swap: 10G Total, 310M Used, 9930M Free, 3% Inuse                                                                                                                                                                                                                            PID USERNAME        VCSW  IVCSW   READ  WRITE  FAULT  TOTAL PERCENT COMMAND                                                       2483 root            2126     27     67    785      0    852  99.53% nfsd                                                           40741 root               3      0      0      0      0      0   0.00% ksh93                                                         40738 root               2      0      0      0      0      0   0.00% dtrace Вывод pool status: pool: xen00                                                                                                                       state: ONLINE                                                                                                                         scan: scrub repaired 0 in 0 days 09:48:26 with 0 errors on Sun Dec  8 09:48:28 2019                                               config:                                                                                                                                                                                                                                                                          NAME                                            STATE     READ WRITE CKSUM                                                           xen00                                           ONLINE       0     0     0                                                             mirror-0                                      ONLINE       0     0     0                                                               gptid/cb37a880-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                               gptid/cc1547dc-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                             mirror-1                                      ONLINE       0     0     0                                                               gptid/ccdc1a94-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                               gptid/f8da6d72-20aa-11e9-9a63-90e2ba53b1bc  ONLINE       0     0     0                                                             mirror-2                                      ONLINE       0     0     0                                                               gptid/ce79bd56-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                               gptid/cf556c96-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                             mirror-3                                      ONLINE       0     0     0                                                               gptid/d01f2813-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                               gptid/981002ff-20ab-11e9-9a63-90e2ba53b1bc  ONLINE       0     0     0                                                             mirror-4                                      ONLINE       0     0     0                                                               gptid/d1a2938b-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                               gptid/d26f9500-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                           logs                                                                                                                                   da8p2                                         ONLINE       0     0     0                                                             da9p2                                         ONLINE       0     0     0                                                             da10p2                                        ONLINE       0     0     0                                                             da11p2                                        ONLINE       0     0     0                                                             da12p2                                        ONLINE       0     0     0                                                           cache                                                                                                                                 da8p1                                         ONLINE       0     0     0                                                             da10p1                                        ONLINE       0     0     0                                                             da12p1                                        ONLINE       0     0     0                                                             da11p1                                        ONLINE       0     0     0                                                             da9p1                                         ONLINE       0     0     0
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по времени | RSS]

1. "FreeNAS 11.1 - непонятная статистика записи на диски"	+/–
Сообщение от universite (ok), 04-Янв-20, 20:14
> Здравствуйте > Помогите, пожалуйста, не пойму почему данные zpool iostat отличается от nfsstat > Детально: Мало деталей. Нужно: что за диски? размер их блоков?куда они подключены? в RAID? какой там размер блоков указан? желательны еще графики нагрузки по IOPS за последний месяц, год.
Ответить | Правка | Наверх | Cообщить модератору

	2. "FreeNAS 11.1 - непонятная статистика записи на диски"	+/–
	Сообщение от eliot (ok), 05-Янв-20, 14:46
	> что за диски? ST4000NM0033-9ZM    8шт ST4000NM0035-1V4    2шт > размер их блоков? Sector Size:      512 bytes logical/physical > куда они подключены? в RAID? К серверу я подобраться не могу чтобы посмотреть. sas2ircu LIST  показывает:         Adapter      Vendor  Device                       SubSys  SubSys Index    Type          ID      ID    Pci Address          Ven ID  Dev ID -----  ------------  ------  ------  -----------------    ------  ------    0     SAS2308_2     1000h    87h   00h:01h:00h:00h      1000h   3020h [root@srv-stg-01 ~]# camcontrol devlist                                                                                             <LSI SAS2X36 0e12>                 at scbus0 target 8 lun 0 (ses0,pass0)                                                             <ATA ST4000NM0033-9ZM 0001>        at scbus0 target 12 lun 0 (pass1,da0)                                                             <ATA ST4000NM0033-9ZM SN06>        at scbus0 target 13 lun 0 (pass2,da1)                                                             <ATA ST4000NM0033-9ZM 0001>        at scbus0 target 14 lun 0 (pass3,da2)                                                             <ATA ST4000NM0033-9ZM 0001>        at scbus0 target 15 lun 0 (pass4,da3)                                                             <ATA ST4000NM0033-9ZM 0001>        at scbus0 target 17 lun 0 (pass5,da4)                                                             <ATA ST4000NM0033-9ZM 0001>        at scbus0 target 18 lun 0 (pass6,da5)                                                             <ATA ST4000NM0033-9ZM SN06>        at scbus0 target 19 lun 0 (pass7,da6)                                                             <ATA ST4000NM0033-9ZM 0001>        at scbus0 target 20 lun 0 (pass8,da7)                                                             <ATA KINGSTON SUV400S 96R9>        at scbus0 target 22 lun 0 (pass9,da8)                                                             <ATA KINGSTON SUV400S 96R9>        at scbus0 target 23 lun 0 (pass10,da9)                                                           <ATA KINGSTON SUV400S 37R5>        at scbus0 target 24 lun 0 (pass11,da10)                                                           <ATA KINGSTON SUV400S 96R9>        at scbus0 target 25 lun 0 (pass12,da11)                                                           <ATA KINGSTON SUV400S 96R9>        at scbus0 target 26 lun 0 (pass13,da12)                                                           <HGST HUH721010AL5204 C21D>        at scbus0 target 27 lun 0 (pass14,da13)                                                           <HGST HUH721010AL5204 C21D>        at scbus0 target 28 lun 0 (pass15,da14)                                                           <HGST HUH721010AL5204 C21D>        at scbus0 target 29 lun 0 (pass16,da15)                                                           <ATA ST4000NM0035-1V4 TN04>        at scbus0 target 32 lun 0 (pass17,da16)                                                           <ATA ST4000NM0035-1V4 TN04>        at scbus0 target 33 lun 0 (pass18,da17)                                                           <ATA Samsung SSD 860 2B6Q>         at scbus0 target 34 lun 0 (pass19,da18)                                                           <ATA Samsung SSD 860 2B6Q>         at scbus0 target 35 lun 0 (pass20,da19)                                                           <ATA WDC WD101KRYZ-01 1H02>        at scbus0 target 38 lun 0 (da20,pass22)                                                           <ST120FN0021 B550>                 at scbus2 target 0 lun 0 (pass21,ada0) > какой там размер блоков указан? подскажите пожалуйста где посмотреть > желательны еще графики нагрузки по IOPS за последний месяц, год. https://yadi.sk/i/cgdkx8CTLUQwLg https://yadi.sk/i/HXTBBwKtTpN86Q
	Ответить | Правка | Наверх | Cообщить модератору

	3. "FreeNAS 11.1 - непонятная статистика записи на диски"	+/–
	Сообщение от universite (ok), 05-Янв-20, 23:02
	>> что за диски? > ST4000NM0033-9ZM 8шт > ST4000NM0035-1V4 2шт >> размер их блоков? > Sector Size:      512 bytes logical/physical Очень странно. Используйте свежее smartmontools и просмотрите все-таки какой размер физического сектора. >[оверквотинг удален] >  at scbus0 target 34 lun 0 (pass19,da18) > <ATA Samsung SSD 860 2B6Q>         >  at scbus0 target 35 lun 0 (pass20,da19) > <ATA WDC WD101KRYZ-01 1H02>        at > scbus0 target 38 lun 0 (da20,pass22) > <ST120FN0021 B550>           >       at scbus2 target 0 lun > 0 (pass21,ada0) >> какой там размер блоков указан? > подскажите пожалуйста где посмотреть Смотреть через консольную утилиту вашей модели RAID. В крайнем случае перезагрузиться и посмотреть в самом меню RAID. >> желательны еще графики нагрузки по IOPS за последний месяц, год. > https://yadi.sk/i/cgdkx8CTLUQwLg > https://yadi.sk/i/HXTBBwKtTpN86Q Очень странно, у вас почти отсутствует нагрузка. Два варианта ситуации. 1) Или у вас один или несколько винтов так имеют размер сектора 4k 2) Или у вас массив собран, как будто у вас диски c размером сектора 4K. zdb | grep -i ashift это было лучше смотреть в момент создания массива ибо при заполнении массива zdb будет сильно тормозить.
	Ответить | Правка | Наверх | Cообщить модератору

	4. "FreeNAS 11.1 - непонятная статистика записи на диски"	+/–
	Сообщение от eliot (ok), 06-Янв-20, 13:10
	> Очень странно. > Используйте свежее smartmontools и просмотрите все-таки какой размер физического сектора. > Смотреть через консольную утилиту вашей модели RAID. В крайнем случае перезагрузиться и > посмотреть в самом меню RAID. Спасибо. Попробую перейти на FreeNAS 11.2 > Два варианта ситуации. > 1) Или у вас один или несколько винтов так имеют размер сектора > 4k > 2) Или у вас массив собран, как будто у вас диски c > размером сектора 4K. > > zdb | grep -i ashift > > это было лучше смотреть в момент создания массива ибо при заполнении массива > zdb будет сильно тормозить. Если верить смарту то у всех 512 root@srv-stg-01:~ # zdb | grep -i ashift             ashift: 12
	Ответить | Правка | Наверх | Cообщить модератору

	5. "FreeNAS 11.1 - непонятная статистика записи на диски"	+/–
	Сообщение от universite (ok), 06-Янв-20, 13:24
	>[оверквотинг удален] >> размером сектора 4K. >> >> zdb | grep -i ashift >> >> это было лучше смотреть в момент создания массива ибо при заполнении массива >> zdb будет сильно тормозить. > Если верить смарту то у всех 512 > root@srv-stg-01:~ # zdb | grep -i ashift >             > ashift: 12 Значит, пул подготовлен для дисков с размером блоков 4K. А так как ваш RAID SAS2308 не поддерживает JBOD, то нужно смотреть, с каким размером блока созданы одиночные блоки-диски RAID0. Supported RAID Modes     RAID 0, RAID1, RAID 10, RAID 1E
	Ответить | Правка | Наверх | Cообщить модератору

	6. "FreeNAS 11.1 - непонятная статистика записи на диски"	+/–
	Сообщение от eliot (ok), 06-Янв-20, 14:00
	> Значит, пул подготовлен для дисков с размером блоков 4K. > А так как ваш RAID SAS2308 не поддерживает JBOD, то нужно смотреть, > с каким размером блока созданы одиночные блоки-диски RAID0. > > Supported RAID Modes >     RAID 0, RAID1, RAID 10, RAID 1E > Средствами SAS2308 рейд не конфигурировался, даже одиночные диски не создавались Их просто подключили, и дальнейшее конфигурирование осуществлялось средствами ОС
	Ответить | Правка | Наверх | Cообщить модератору

	7. "FreeNAS 11.1 - непонятная статистика записи на диски"	+/–
	Сообщение от universite (ok), 06-Янв-20, 14:07
	>> Значит, пул подготовлен для дисков с размером блоков 4K. >> А так как ваш RAID SAS2308 не поддерживает JBOD, то нужно смотреть, >> с каким размером блока созданы одиночные блоки-диски RAID0. >> >> Supported RAID Modes >>     RAID 0, RAID1, RAID 10, RAID 1E >> > Средствами SAS2308 рейд не конфигурировался, даже одиночные диски не создавались > Их просто подключили, и дальнейшее конфигурирование осуществлялось средствами ОС А вы все-таки проверьте. Ибо da[0-9] диски обычно называются одиночные блоки в рейде. Если бы диски прозрачно проброшены, то имена были бы ada[0-9]. Например, покажите вывод: camcontrol identify da0
	Ответить | Правка | Наверх | Cообщить модератору

	8. "FreeNAS 11.1 - непонятная статистика записи на диски"	+/–
	Сообщение от eliot (ok), 06-Янв-20, 14:13
	root@srv-stg-01:~ # camcontrol identify da0 pass1: <ST4000NM0033-9ZM170 0001> ACS-2 ATA SATA 3.x device pass1: 600.000MB/s transfers, Command Queueing Enabled protocol              ATA/ATAPI-9 SATA 3.x device model          ST4000NM0033-9ZM170 firmware revision     0001 serial number         Z1Z1ZNSP WWN                   5000c50064d96704 cylinders             16383 heads                 16 sectors/track         63 sector size           logical 512, physical 512, offset 0 LBA supported         268435455 sectors LBA48 supported       7814037168 sectors PIO supported         PIO4 DMA supported         WDMA2 UDMA6 media RPM             7200 Feature                      Support  Enabled   Value           Vendor read ahead                     yes      yes write cache                    yes      yes flush cache                    yes      yes overlap                        no Tagged Command Queuing (TCQ)   no       no Native Command Queuing (NCQ)   yes              32 tags NCQ Queue Management           no NCQ Streaming                  no Receive & Send FPDMA Queued    no SMART                          yes      yes microcode download             yes      yes security                       yes      no power management               yes      yes advanced power management      no       no automatic acoustic management  no       no media status notification      no       no power-up in Standby            no       no write-read-verify              yes      no      0/0x0 unload                         yes      yes general purpose logging        yes      yes free-fall                      no       no Data Set Management (DSM/TRIM) no Host Protected Area (HPA)      yes      no      7814037168/7814037168 HPA - Security                 no
	Ответить | Правка | Наверх | Cообщить модератору

	9. "FreeNAS 11.1 - непонятная статистика записи на диски"	+/–
	Сообщение от lavr (ok), 06-Янв-20, 23:44
	> root@srv-stg-01:~ # camcontrol identify da0 > pass1: <ST4000NM0033-9ZM170 0001> ACS-2 ATA SATA 3.x device > pass1: 600.000MB/s transfers, Command Queueing Enabled sorry, вывод вырезал, но cache особливо на запись, правильно будет отключить. Лучше read/write disk cache в disable, все что связано с power management и advanced power management - disable, если BMS отключается - тоже лучше выключить (EN_BMS - Enable Background Medium Scan) >Итого через nfs сервер пишется ~8МБ/с , а zpool показывает 36 >Я бы предположил что кто-то ещё пишет на диски, но: >top -m io -o write -s 1 >показывает что nfsd создаёт 99.5% записи top вы смотрите с интервалом в 1 сек, а в zpool iostat - общую статистику? Что еще на вскидку, журнал и l2arc на партициях sata дисков..? В чем сей смысл? Для dataset'a который под NFS, журнал советую отключить, толку от него ноль, atime, dedup, sync в disable, checksum и compression - на Ваше усмотрение, я бы отключил.
	Ответить | Правка | Наверх | Cообщить модератору

	10. "FreeNAS 11.1 - непонятная статистика записи на диски"	+/–
	Сообщение от eliot (ok), 08-Янв-20, 10:37
	> sorry, вывод вырезал, но cache особливо на запись, правильно > будет отключить. > Лучше read/write disk cache в disable, все что связано > с power management и advanced power management - disable, > если BMS отключается - тоже лучше выключить (EN_BMS - Enable Background Medium > Scan) > Для dataset'a который под NFS, журнал советую отключить, толку > от него ноль, atime, dedup, sync в disable, checksum и compression > - на Ваше усмотрение, я бы отключил. Спасибо > Что еще на вскидку, журнал и l2arc на партициях sata дисков..? > В чем сей смысл? Сделано было до меня, предполагаю чтобы увеличить IOPS'ы > top вы смотрите с интервалом в 1 сек, а в zpool iostat > - общую > статистику? Да, а как правильно?) Также я смотрел статистику по записи в разделе Reports/Disks (WEB) По ней на каждый винт приходится примерно 8МБ/с, дисков 10, зеркала, значит общий объём 7 * 5 = 35. Что близко к тому что я вижу в zpool iostat Параллельно собрал статистику по серверам Xen, там в среднем 6-7МБ/с пишется Больше никто на них не пишет (кстати это можно ка-то проверить?) https://yadi.sk/i/1y3Q2wb77nC68w
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема