Приветствую.
FreeBSD 8.0 RC2
Архитекрута AMD64
Версия пула 13
Проблема - невероятно низкая скорость записи
zpool iostat 10
capacity operations bandwidth
pool used avail read write read write
---------- ----- ----- ----- ----- ----- -----
DSP 15.8T 492G 199 40 6.44M 1.16M
-------
/boot/loader.conf
isp_load="YES"
isp_2400_load="YES"
kern.maxusers=2048
zfs_load="YES"
#vm.kmem_size_max="999M" / не загружается при этих параметрах вообще
#vm.kmem_size="999M"
#vfs.zfs.arc_max="448M"
#vfs.zfs.prefetch_disable=1
#vfs.zfs.zil_disable=1
#vfs.zfs.cache_flush_disable=1
vm.kmem_size_max="1024M"
vm.kmem_size="1024M"
vfs.zfs.arc_max="100M"
----
Подскажите советом.
>> не загружается при этих параметрах вообщеВроде как настраивать память реально нужно только на i386, а у вас если процессор и ядро 64-битное, хватит и zfs_load="YES"
zpool iostat выводит информацию о текущей нагрузке. Т.е. если ничего не писать, он и по нулям bandwidth выдаёт. RTFM
>>> не загружается при этих параметрах вообще
>
>Вроде как настраивать память реально нужно только на i386, а у вас
>если процессор и ядро 64-битное, хватит и zfs_load="YES"
>zpool iostat выводит информацию о текущей нагрузке. Т.е. если ничего не писать,
>он и по нулям bandwidth выдаёт. RTFMzpool iostat делаю во время dd.
Тюнинг делал по http://wiki.freebsd.org/ZFSTuningGuide. Без параметров работа остается такой же.
>zpool iostat делаю во время dd.
>Тюнинг делал по http://wiki.freebsd.org/ZFSTuningGuide. Без параметров работа остается такой же.Сколько у Вас ОЗУ ?
Если меньше 8 Гб - отключайте prefetch - остальные параметры действительно в тюнинге не нуждаются (у меня системы на 1,2 и 4 Гб стоят в строю - все ОК).
Еще приведите top при низкой скорости записи.
Ну и неплохо узнать, сколько ОЗУ кушает ZFS на текущий момент - был скриптик на wiki.freebsd.org/ZFSTuningGuide.
>[оверквотинг удален]
>Сколько у Вас ОЗУ ?
>
>Если меньше 8 Гб - отключайте prefetch - остальные параметры действительно в
>тюнинге не нуждаются (у меня системы на 1,2 и 4 Гб
>стоят в строю - все ОК).
>
>Еще приведите top при низкой скорости записи.
>
>Ну и неплохо узнать, сколько ОЗУ кушает ZFS на текущий момент -
>был скриптик на wiki.freebsd.org/ZFSTuningGuide.У меня архитектура AMD64, на вики сказано что FreeBSD 7.2+ has improved kernel memory allocation strategy and no tuning may be necessary on systems with more than 2 GB of RAM.
--------------
ОЗУ
Prefetch выключу при следующей перезагрузке (к сожалению сейчас возможности перезагрузить нет)
---------------
Что именно в выводу топа нужно?
---------------
Вот вывод скриптика:
TEXT=15484192, 14.7669 MB
DATA=3466345472, 3305.76 MB
TOTAL=3481829664, 3320.53 MB
>У меня архитектура AMD64, на вики сказано что FreeBSD 7.2+ has improved
>kernel memory allocation strategy and no tuning may be necessary on
>systems with more than 2 GB of RAM.У меня тоже...везде, где ZFS...
Если бы Вы грузили 8-ку (+ ZFS) - то там явно в dmesg видно, как при 4 Гб ОЗУ ядро само автотюнингом prefetch выключает...
>--------------
>ОЗУ
>Prefetch выключу при следующей перезагрузке (к сожалению сейчас возможности перезагрузить нет)Должно помочь.
>---------------
>Что именно в выводу топа нужно?
>---------------первые 4 строки (шапка)
>Вот вывод скриптика:
>TEXT=15484192, 14.7669 MB
>DATA=3466345472, 3305.76 MB
>TOTAL=3481829664, 3320.53 MBУгу - prefetch все скушал...
>[оверквотинг удален]
>>---------------
>
>первые 4 строки (шапка)
>
>>Вот вывод скриптика:
>>TEXT=15484192, 14.7669 MB
>>DATA=3466345472, 3305.76 MB
>>TOTAL=3481829664, 3320.53 MB
>
>Угу - prefetch все скушал...Поставил
sysctl -a | grep prefetch
vfs.zfs.prefetch_disable: 1Вывод топа:
last pid: 2442; load averages: 3.73, 4.84, 5.24 up 0+02:44:13 11:26:06
7 processes: 1 running, 6 sleeping
CPU: 0.1% user, 0.0% nice, 64.0% system, 0.1% interrupt, 35.8% idle
Mem: 39M Active, 110M Inact, 6106M Wired, 196K Cache, 15M Buf, 1658M Free
Swap: 4062M Total, 4062M FreeВывод скриптика:
TEXT=15484192, 14.7669 MB
DATA=5235961856, 4993.4 MB
TOTAL=5251446048, 5008.17 MB
Подскажите, пожалуйста, как Вы определили что скушал все префетч. ПС - проблема остается, скорость остается такой же.
>[оверквотинг удален]
>Mem: 39M Active, 110M Inact, 6106M Wired, 196K Cache, 15M Buf, 1658M
>Free
>Swap: 4062M Total, 4062M Free
>
>Вывод скриптика:
>TEXT=15484192, 14.7669 MB
>DATA=5235961856, 4993.4 MB
>TOTAL=5251446048, 5008.17 MB
>Подскажите, пожалуйста, как Вы определили что скушал все префетч. ПС - проблема
>остается, скорость остается такой же.У меня при включенном prefetch TOTAL более 2 Гб (на 4 Гб системе). Если отключить - более 600 Мб не видел (при ОЗУ 4 Гб). Если ОЗУ 2 Гб - среднее значение TOTAL: 330-350 Мб.
У Вас сейчас 7 процессов в системе - непонятно, чем сервер загружен...
Что за железо ?
>Что за железо ?И еще - из ядра все отладочные вещи Вы убирали ?
>>Что за железо ?
>
>И еще - из ядра все отладочные вещи Вы убирали ?Да
>[оверквотинг удален]
>
>У меня при включенном prefetch TOTAL более 2 Гб (на 4 Гб
>системе). Если отключить - более 600 Мб не видел (при ОЗУ
>4 Гб). Если ОЗУ 2 Гб - среднее значение TOTAL: 330-350
>Мб.
>
>У Вас сейчас 7 процессов в системе - непонятно, чем сервер загружен...
>
>
>Что за железо ?AMD 64, 8Gb выполняются proftpd
В zpool status -v есть error в одном из файлов.
Я не могу понять, что за тип пула у меня. zpool status показывает:
NAME STATE READ WRITE CKSUM
DSR ONLINE 0 0 0
da1 ONLINE 0 0 0
raidz не сконфигурирован же.
>[оверквотинг удален]
>CKSUM
> DSR
> ONLINE
> 0 0
>0
> da1
> ONLINE
> 0 0
>0
>raidz не сконфигурирован же.Дайте содержимое файла: /var/run/dmesg.boot
>[оверквотинг удален]
>> ONLINE
>> 0 0
>>0
>> da1
>> ONLINE
>> 0 0
>>0
>>raidz не сконфигурирован же.
>
>Дайте содержимое файла: /var/run/dmesg.bootreal memory = 8589934592 (8192 MB)
avail memory = 8248455168 (7866 MB)
--------------------------------------------------------//несущественно
3ware device driver for 9000 series storage controllers, version: 3.70.05.001
twa0: <3ware 9000 series Storage Controller> port 0x2000-0x203f mem 0xd8000000-0xd9ffffff,0xda100000-0xda100fff irq 16 at device 1.0 on pci5
-----------------------------------------------------------//несущественно
da1 at twa0 bus 0 target 0 lun 1
da1: <AMCC 9550SX-16M DISK 3.08> Fixed Direct Access SCSI-5 device
da1: 100.000MB/s transfers
da1: 17125052MB (35072106497 512 byte sectors: 255H 63S/T 2183137C)
--------------------------------------------------//несущественно
(probe0:umass-sim0:0:0:0): TEST UNIT READY. CDB: 0 0 0 0 0 0
(probe0:umass-sim0:0:0:0): CAM Status: SCSI Status Error
(probe0:umass-sim0:0:0:0): SCSI Status: Check Condition
(probe0:umass-sim0:0:0:0): NOT READY asc:3a,0
(probe0:umass-sim0:0:0:0): Medium not present
(probe0:umass-sim0:0:0:0): Unretryable error
GEOM: da1: corrupt or invalid GPT detected.
GEOM: da1: GPT rejected -- may not be recoverable.
>[оверквотинг удален]
>da1: 17125052MB (35072106497 512 byte sectors: 255H 63S/T 2183137C)
>--------------------------------------------------//несущественно
>(probe0:umass-sim0:0:0:0): TEST UNIT READY. CDB: 0 0 0 0 0 0
>(probe0:umass-sim0:0:0:0): CAM Status: SCSI Status Error
>(probe0:umass-sim0:0:0:0): SCSI Status: Check Condition
>(probe0:umass-sim0:0:0:0): NOT READY asc:3a,0
>(probe0:umass-sim0:0:0:0): Medium not present
>(probe0:umass-sim0:0:0:0): Unretryable error
>GEOM: da1: corrupt or invalid GPT detected.
>GEOM: da1: GPT rejected -- may not be recoverable.Мда, железка у Вас интересная...мне такая не попадалась :)
Еще момент заметил:
>DSP 15.8T 492G 199 40 6.44M 1.16MЯ правильно понимаю, у Вас пул практически весь забит уже ? приведите вывод zpool list.
Вроде была информация, что ZFS начинает тормозить, когда пул занят более чем на 95%...из-за самой технологии (copy-on-write).
Когда только заполняли пул - скорость нормальная была ?
PS: Пул у вас обычный...как бы из одного диска.
>[оверквотинг удален]
>
>Я правильно понимаю, у Вас пул практически весь забит уже ? приведите
>вывод zpool list.
>
>Вроде была информация, что ZFS начинает тормозить, когда пул занят более чем
>на 95%...из-за самой технологии (copy-on-write).
>
>Когда только заполняли пул - скорость нормальная была ?
>
>PS: Пул у вас обычный...как бы из одного диска.есть подозрение что неплохо было бы сперва с twa разобраться...
что под ним организовано
>есть подозрение что неплохо было бы сперва с twa разобраться...
>что под ним организованоОоОоо - мое почтение!!!
2 года от Вас сообщений не видел....думал уж и не встречу ;)
>>есть подозрение что неплохо было бы сперва с twa разобраться...
>>что под ним организовано
>
>ОоОоо - мое почтение!!!
>
>2 года от Вас сообщений не видел....думал уж и не встречу ;)
>lavr на sysadmins.ru тусит
>[оверквотинг удален]
>
>Я правильно понимаю, у Вас пул практически весь забит уже ? приведите
>вывод zpool list.
>
>Вроде была информация, что ZFS начинает тормозить, когда пул занят более чем
>на 95%...из-за самой технологии (copy-on-write).
>
>Когда только заполняли пул - скорость нормальная была ?
>
>PS: Пул у вас обычный...как бы из одного диска.Да, пул забит на 97%. А источник что она тормозит при этом?
>Да, пул забит на 97%. А источник что она тормозит при этом?http://www.solarisinternals.com/wiki/index.php/ZFS_Best_Prac...
Storage Pool Performance Considerations
General Storage Pool Performance Considerations
...
Keep pool space under 80% utilization to maintain pool performance. Currently, pool performance can degrade when a pool is very full and file systems are updated frequently, such as on a busy mail server. Full pools might cause a performance penalty, but no other issues. If the primary workload is immutable files (write once, never remove), then you can keep a pool in the 95-98% utilization range. Keep in mind that even with mostly static content in the 95-98% range, write, read, and resilvering performance might suffer.
...
>[оверквотинг удален]
>...
>Keep pool space under 80% utilization to maintain pool performance. Currently, pool
>performance can degrade when a pool is very full and file
>systems are updated frequently, such as on a busy mail server.
>Full pools might cause a performance penalty, but no other issues.
>If the primary workload is immutable files (write once, never remove),
>then you can keep a pool in the 95-98% utilization range.
>Keep in mind that even with mostly static content in the
>95-98% range, write, read, and resilvering performance might suffer.
>...Спасибо! Думаю вот и решение.
1. Сколько ОЗУ на машине?
Покажи вывод zpool status -v
>
>
> 1. Сколько ОЗУ на машине?
>
> Покажи вывод zpool status -vpool: DSP
state: ONLINE
status: One or more devices has experienced an error resulting in data
corruption. Applications may be affected.
action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://www.sun.com/msg/ZFS-8000-8A
scrub: none requested
config:NAME STATE READ WRITE CKSUM
DSP ONLINE 0 0 0
da1 ONLINE 0 0 0errors: Permanent errors have been detected in the following files:
/home/my/base.data.sql
>errors: Permanent errors have been detected in the following files:
>
> /home/my/base.data.sqlА scrub вы зря не делаете.
Меня производительность работы ФС вполне устраивает даже когда она в qemu запущена. Athlon AM2 3800+ 2Gb RAM на базовой машине. Что конкретно вы dd'хаете? Может там одни нули? Что при этом сам dd показывает?
>>errors: Permanent errors have been detected in the following files:
>>
>> /home/my/base.data.sql
>
>А scrub вы зря не делаете.
>Меня производительность работы ФС вполне устраивает даже когда она в qemu запущена.
>Athlon AM2 3800+ 2Gb RAM на базовой машине. Что конкретно вы
>dd'хаете? Может там одни нули? Что при этом сам dd показывает?
>Я и random и null отправляю. dd показывает такую же грустную скорость.
Объем большой, scrub будет очень долгим.
>[оверквотинг удален]
>#vm.kmem_size="999M"
>#vfs.zfs.arc_max="448M"
>#vfs.zfs.prefetch_disable=1
>#vfs.zfs.zil_disable=1
>#vfs.zfs.cache_flush_disable=1
>vm.kmem_size_max="1024M"
>vm.kmem_size="1024M"
>vfs.zfs.arc_max="100M"
>----
>Подскажите советом.стакими параметрами работает уже больше года.
## -> speed to write
vfs.zfs.arc_max="448М"
vm.kmem_size_max="999M"
vm.kmem_size="999M"
vfs.zfs.zil_disable="1"
>стакими параметрами работает уже больше года.
>
>## -> speed to write
>vfs.zfs.arc_max="448М"
>vm.kmem_size_max="999M"
>vm.kmem_size="999M"
>vfs.zfs.zil_disable="1"Не нужно вводить людей в заблуждение....
Все зависит от объема ОЗУ:
Для архитектуры AMD64 параметр vfs.zfs.arc_max сам тюненгуется в зависимости от текущего ОЗУ (причем пропорция практически линейна).
vm.kmem_size_max и vm.kmem_size в AMD64.... ну совсем другие...
Если у Вас i386 и 2 Гб ОЗУ - я бы с этими параметрами еще согласился...НО для AMD64 и другим объемом ОЗУ опции не оптимальны!
>Если у Вас i386 и 2 Гб ОЗУ - я бы с
>этими параметрами еще согласился...НО для AMD64 и другим объемом ОЗУ опции
>не оптимальны!тесты скорости чтения-записи с вами не согласны.
>
>>Если у Вас i386 и 2 Гб ОЗУ - я бы с
>>этими параметрами еще согласился...НО для AMD64 и другим объемом ОЗУ опции
>>не оптимальны!
>
>тесты скорости чтения-записи с вами не согласны.При 8Гб оперативки
vfs.zfs.arc_max: 1728552960 установился