А как обстоят дела у фряхи с массивом более 4 терабайт? Есть ли у когонить опыт реализации подобных вещей на FreeBSD? Это скажем так будет медиа-ресурс на 14 терабайт, какую ФС нужно использовать тогда и что посоветуете уважаемые коллеги? =)Заранее благодарю за ответ.
>А как обстоят дела у фряхи с массивом более 4 терабайт? Есть
>ли у когонить опыт реализации подобных вещей на FreeBSD? Это скажем
>так будет медиа-ресурс на 14 терабайт, какую ФС нужно использовать тогда
>и что посоветуете уважаемые коллеги? =)
>
>Заранее благодарю за ответ.Есть опыт только с 2тб. Никаких проблем если не перегружать кнопочкой reset.
Иначе будет крутить fsck при загрузке тучу времени...
>Есть опыт только с 2тб. Никаких проблем если не перегружать кнопочкой reset.
>
>Иначе будет крутить fsck при загрузке тучу времени...FreeBSD 7.0(x64) + ZFS + 8Gb memory
+
#loader.conf
vfs.zfs.prefetch_disable=1
vfs.zfs.zil_disable=0
vm.kmem_size=4294967296
vm.kmem_size_max=4294967296
vfs.zfs.arc_max="2864M"
И тормознутый fsck с устаревшим UFS останутся в прошлом.
>[оверквотинг удален]
>
>#loader.conf
>vfs.zfs.prefetch_disable=1
>vfs.zfs.zil_disable=0
>vm.kmem_size=4294967296
>vm.kmem_size_max=4294967296
>vfs.zfs.arc_max="2864M"
>
>
> И тормознутый fsck с устаревшим UFS останутся в прошлом.так... заинтриговали Вы меня.
т.е. в качтве ФС Вы рекомендуете ZFS заюзать?
и память более 4 за счет х64, вроде есть нарекания по х64 и не рекомендуют его юзать... может я ошибаюсь - поправте тогда.Обращаю внимане:
Речь идет именно о более 4ТБ емкости, ибо у UFS после этого затык. И эта емкость идет не под систему а под огромную файлопомойкуТоже самое у фряхи(i386) затык с памятью, а если юзать "options PAE" в ядре то нужно отключить кучу нужных девайсов.
>так... заинтриговали Вы меня.
>т.е. в качтве ФС Вы рекомендуете ZFS заюзать?
>и память более 4 за счет х64, вроде есть нарекания по х64
>и не рекомендуют его юзать... может я ошибаюсь - поправте тогда.Собственно с amd64 особых проблем нет. Проблемы могут возникнуть с какими-то отдельными приложениями. У меня после перевода на amd64 были замечены проблемы только с ircd и ircservices, которые мной вскоре были исправлены. В остальном, фтп/самба и остальные сервисы - всё работает ничем не хуже. К тому же, практически всегда есть возможность исполнять 32-х битные бинарники в режиме совместимости с х86.
>так... заинтриговали Вы меня.
>т.е. в качтве ФС Вы рекомендуете ZFS заюзать?Очень рекомендую.
Вот, вам поможет:
http://dlc.sun.com/osol/g11n/downloads/docs/current/doc-ru-R...
http://dlc.sun.com/osol/g11n/downloads/docs/current/doc-ru-R...
>и память более 4 за счет х64, вроде есть нарекания по х64
>и не рекомендуют его юзать... может я ошибаюсь - поправте тогда.В вашей конфигурации большой "файлопомойки" проблем не будет.
Вам ведь не нужен nvidia драйвер под amd64?
>Обращаю внимане:
>Речь идет именно о более 4ТБ емкости, ибо у UFS после этого
>затык. И эта емкость идет не под систему а под огромную
>файлопомойку"Система ZFS была разработана с нуля с рассчетом на то, чтобы сделать ее наиболее масштабируемой из существующих файловых систем. ZFS представляет собой 128-битовой файловую систему с 256 квадриллионами зеттабайтов памяти. Распределение всех метаданных производится динамически, что позволяет избегать необхомости заранее определять элементы inode или иным способом ограничивать масшабируемость файловой системы при ее первоначальном создании. Все алгоритмы написаны с расчетом на масштабируемость. В каталогах может содержаться до 248 (256 триллиона) записей. Также нет ограничений на количество файловых систем или количество файлов внутри файловой системы." (c) Sun
>Тоже самое у фряхи(i386) затык с памятью, а если юзать "options PAE"
>в ядре то нужно отключить кучу нужных девайсов.ZFS + i386 использовать не рекомендуется. Но! Вполне нормально живет на маленьких
серверах и десктопах с 2-3 гигами памяти при определенных настройках.Поэтому ваш вариант это amd64 + побольше памяти что бы отдать как можно больше для
ZFS. И еще, установку ZFS лучьше производить на чистые винты без каких либо разделов
и НЕ ПОВЕРХ софтового рейда! Иначе потеряете сильно на производительности.Скачайте документацию ссылки на которую я дал и проработайте, еще проштудируйте форумы
по freebsd+zfs там есть много полезностей.
>[оверквотинг удален]
>
> Поэтому ваш вариант это amd64 + побольше памяти что бы отдать
>как можно больше для
>ZFS. И еще, установку ZFS лучьше производить на чистые винты без каких
>либо разделов
>и НЕ ПОВЕРХ софтового рейда! Иначе потеряете сильно на производительности.
>
> Скачайте документацию ссылки на которую я дал и проработайте, еще проштудируйте
>форумы
>по freebsd+zfs там есть много полезностей.ну скажем так... это будет супермикро с 2мя четырехядерными процами...
корзина c 16 винтами на апаратном рейде(скорее всего 3ware)... памяти 8 гиг(имеет ли смысл ставить 16?).
>ну скажем так... это будет супермикро с 2мя четырехядерными процами...гуд
>корзина c 16 винтами на апаратном рейде(скорее всего 3ware)...
Не используйте аппаратный рейд выше 0. Все что вам нужно раализуете средствами ZFS.
> памяти 8 гиг(имеет ли смысл ставить 16?).Все зависит от будущей загруженности сервера. Чем больше будет файловых операций
тем больше ставьте памяти и отдавайте ядру и ZFS.
Вот решение как делать бутовый ZFS.
--------------------------------------------------------------------------------------------------------
http://people.fruitsalad.org/adridg/bobulate/index.php?/arch...ZFS is arguably the greatest thing since sliced bread. However, the
OpenSolaris installer doesn't support it, so normally you end up with a boot
disk with UFS and then the rest of the system on ZFS. Doesn't seem sensible
(although I suppose putting the UFS on a small amount of flash memory might
make sense). So there is ZFS boot which futzes around a bit and gets GRUB to
boot OSOL from a ZFS pool. Tim provides a script and some more documentation,
but there's an issue with getting the disk partitions just right so ZFS will
work with it. Like so:
Suppose you've just zeroed out a disk and want to use it for ZFS root. You
have an installed OSOL and want to transition to ZFS root. The disk is
totally unlabled and has no partition table. What now? I kept running around
in circles until I found a recipe for re-labeling. But there's one thing
left: you have to go into format's partition menu and manually add a
partition (number 0) that spans the disk. You only need to do this if you've
zeroed or otherwise seriously buggered the partitions, and it looks like
this:bash-3.2# format -e c2t0d0
selecting c2t0d0
[disk formatted]
format> pa
partition> pr
partition> 0The 'pr' is there to print out the current partition table, and you'll see
partition 2 'backup' which covers the entire disk including the boot blocks;
partition 8 boot and covers the first cylinder. The '0' command creates a new
partition 0, and you can use the defaults except for starting cylinder (use
1) and ending cylinder or size (use the last one on the disk). For me the
relevant bits look like this:2 backup wu 0 - 30397 232.86GB (30398/0/0) 488343870
partition> 0
Part Tag Flag Cylinders Size Blocks
0 unassigned wm 0 0 (0/0/0) 0
Enter partition id tag[unassigned]:
Enter partition permission flags[wm]:
Enter new starting cyl[0]: 1
Enter partition size[0b, 0c, 1e, 0.00mb, 0.00gb]: 30397c
After all that, you will have a c2t0d0s0 partition that you can hand off to
zpool or Tim's script. Then afterwards, follow Scott's recipe for swap on
ZFS, and you are all set to say goodbye to UFS.-----------------------------------------------------------------------------------------------
А тут как сделать SWAP на ZFS -http://blogs.sun.com/scottdickson/entry/fun_with_zvols_-_swap
После этих манипуляций UFS осталась в прошлом.
>
>
>А тут как сделать SWAP на ZFS -
>
>http://blogs.sun.com/scottdickson/entry/fun_with_zvols_-_swap
>
>
>
>После этих манипуляций UFS осталась в прошлом.что-то не получается со swap.
При загрузке пишет: "/dev/zvol/tank/swap: No such file or directory"хотя если систему загрузить swap вручную подключается
создается впечатление что swap подключается до инициализации zfs.
>
>>ну скажем так... это будет супермикро с 2мя четырехядерными процами...
>
> гуд
>
>>корзина c 16 винтами на апаратном рейде(скорее всего 3ware)...
>
> Не используйте аппаратный рейд выше 0. Все что вам нужно раализуете
>средствами ZFS.
>ооо блин... а мы 6й рэйд хотели запустить =(((( а почему???
>> Не используйте аппаратный рейд выше 0. Все что вам нужно раализуете
>>средствами ZFS.
>ооо блин... а мы 6й рэйд хотели запустить =(((( а почему???Ну судя по тому что этот вопрос возник то документацию, ссылки на которые я давал,
ты не прочитал. Прочти плиз. На чистом русском. :)
>>> Не используйте аппаратный рейд выше 0. Все что вам нужно раализуете
>>>средствами ZFS.
>>ооо блин... а мы 6й рэйд хотели запустить =(((( а почему???
>
> Ну судя по тому что этот вопрос возник то документацию, ссылки
>на которые я давал,
>ты не прочитал. Прочти плиз. На чистом русском. :)Спасибо Вам огромное hate =)
Прошу прощения за мою не внимательность, я только первую ПДФку прочитал, второй линк не заметил... сейчас изучаю второй и ищу ответ на свой вопрос.
А как на счет производительности на больших разделах по сравнению, ну скажем с XFS? =)
>А как на счет производительности на больших разделах по сравнению, ну скажем
>с XFS? =)Честно? Не мерял.
IMHO - зависит от многих аппаратных и настроечных условий. Думаю будет намного быстрей.
Почему я так думаю? После прочтения манускриптов по данным файловым системам и использования обеих на серверах/десктопах, иначе как-то не думается. :)
Во фре XFS только read-only, в линуксе ZFS нет. Так что обсуждать, мерять и сравнивать
пустое занятие. У солнцевских вот не помню есть XFS или нет... Лень смотреть.
>>> Не используйте аппаратный рейд выше 0. Все что вам нужно раализуете
>>>средствами ZFS.
>>ооо блин... а мы 6й рэйд хотели запустить =(((( а почему???
>
> Ну судя по тому что этот вопрос возник то документацию, ссылки
>на которые я давал,
>ты не прочитал. Прочти плиз. На чистом русском. :)Кое что удалось найти в мануале по аппаратным рэйдам и ZFS
Цитирую:Использование целых физических дисков является наиболее простым способом
создания пулов памяти ZFS. Конфигурации ZFS значительно усложняются с точки
зрения управления, надежности и производительности, если для создания пулов
используются разделы диска, LUN-номера в аппаратных RAID-массивах или тома,
представленные программными диспетчерами томов. Следующие факторы помогут вам
определить, как сконфигурировать ZFS с другими аппаратными и программными
запоминающими устройствами:
■ Если вы будете строить свои конфигурации ZFS на LUN-номерах в аппаратных
RAID-массивах, вам необходимо понимать взаимосвязь между функциями
резервирования в ZFS и функциями резервирования, представленными в
RAID-массиве. Некоторые из конфигураций смогут обеспечить адекватное
резервирование и производительность, в то время как другие конфигурации этого
сделать не смогут.
■ Логические устройства для ZFS можно построить, используя тома, представленные
такими программно-реализованными диспетчерами томов, как SolarisTM Volume
Manager (SVM) или Veritas VolumeManager (VxVM). Однако использование таких
конфигураций не рекомендуется. При том, что работа ZFS на таких устройствах будет
нормальной, в результате их использования производительность может стать
неоптимальной.
>Manager (SVM) или Veritas VolumeManager (VxVM). Однако использование таких
>конфигураций не рекомендуется. При том, что работа ZFS на таких устройствах будет
>нормальной, в результате их использования производительность может стать
>неоптимальной.Именно это я и хотел что бы ты осмылил.
>
>>Manager (SVM) или Veritas VolumeManager (VxVM). Однако использование таких
>>конфигураций не рекомендуется. При том, что работа ZFS на таких устройствах будет
>>нормальной, в результате их использования производительность может стать
>>неоптимальной.
>
> Именно это я и хотел что бы ты осмылил.Огромное спаисбо за столь познавательную инфу и дельные советы =)
>[оверквотинг удален]
>
>#loader.conf
>vfs.zfs.prefetch_disable=1
>vfs.zfs.zil_disable=0
>vm.kmem_size=4294967296
>vm.kmem_size_max=4294967296
>vfs.zfs.arc_max="2864M"
>
>
> И тормознутый fsck с устаревшим UFS останутся в прошлом.ZFS на FreeBSD работает не стабильно. Если есть желание потрахаться - ставте. Вещь хорошая, на соляре только с ней и работаю, но на FreeBSD это глючное поделие, которой вечно мало памяти. Собираются в 7.1 причесать все это дело.
>[оверквотинг удален]
>>vm.kmem_size_max=4294967296
>>vfs.zfs.arc_max="2864M"
>>
>>
>> И тормознутый fsck с устаревшим UFS останутся в прошлом.
>
>ZFS на FreeBSD работает не стабильно. Если есть желание потрахаться - ставте.
>Вещь хорошая, на соляре только с ней и работаю, но на
>FreeBSD это глючное поделие, которой вечно мало памяти. Собираются в 7.1
>причесать все это дело.Ну скажу так, ты не дочитал и не доделал. Смотри следующий мой пост тебе.
>А как обстоят дела у фряхи с массивом более 4 терабайт? Есть
>ли у когонить опыт реализации подобных вещей на FreeBSD? Это скажем
>так будет медиа-ресурс на 14 терабайт, какую ФС нужно использовать тогда
>и что посоветуете уважаемые коллеги? =)
>
>Заранее благодарю за ответ.есть 1.8Т, создавайте с максимальным блоком и минимальным числом inode, тогда fsck будет быстро проходить. Но сомневаюсь, что он осилит 14Т. В скором будущем планирую апгрейд, буду юзать 8.0-CURRENT-amd64 + ZFS.
>>А как обстоят дела у фряхи с массивом более 4 терабайт? Есть
>>ли у когонить опыт реализации подобных вещей на FreeBSD? Это скажем
>>так будет медиа-ресурс на 14 терабайт, какую ФС нужно использовать тогда
>>и что посоветуете уважаемые коллеги? =)
>>
>>Заранее благодарю за ответ.
>
>есть 1.8Т, создавайте с максимальным блоком и минимальным числом inode, тогда fsck
>будет быстро проходить. Но сомневаюсь, что он осилит 14Т. В скором
>будущем планирую апгрейд, буду юзать 8.0-CURRENT-amd64 + ZFS.В любом случае можно сделать несколько отдельных массивов меньшего объема и соответствующим образом запроектировать софт.
Ну и плюсом в результате будет гибкость и расширяемость системы.
>В любом случае можно сделать несколько отдельных массивов меньшего объема и соответствующим
>образом запроектировать софт.
>
>Ну и плюсом в результате будет гибкость и расширяемость системы.В любом случае, с ZFS всё гораздо гибче :)
Только вот для того, чтобы включать все фиксы к ней и буду юзать 8-ку.
>В любом случае, с ZFS всё гораздо гибче :)
>Только вот для того, чтобы включать все фиксы к ней и буду
>юзать 8-ку.Эээ то есть он еще не релизного качества чтоли и там много проблем?Что за фиксы такие и зачем использовать 8 которая еще не релиз?Нельзя ли поподробнее в чем тут прикол?
>>В любом случае, с ZFS всё гораздо гибче :)
>>Только вот для того, чтобы включать все фиксы к ней и буду
>>юзать 8-ку.
>
>Эээ то есть он еще не релизного качества чтоли и там много
>проблем?Что за фиксы такие и зачем использовать 8 которая еще не
>релиз?Нельзя ли поподробнее в чем тут прикол?У меня на это есть несколько причин:
1. Проблемы есть всегда и в CURRENT они исправляются быстрее + я слежу за развитием CURRENT.
2. ZFS тоже не стоит на месте и новые возможности появляются тоже только в CURRENT.
Повторюсь:
Речь идет именно о более 4ТБ емкости, ибо у UFS после этого затык. И эта емкость идет не под систему а под огромную файлопомойкуТоже самое у фряхи(i386) затык с памятью, а если юзать "options PAE" в ядре то нужно отключить кучу нужных девайсов.
>А как обстоят дела у фряхи с массивом более 4 терабайт? Есть
>ли у когонить опыт реализации подобных вещей на FreeBSD? Это скажем
>так будет медиа-ресурс на 14 терабайт, какую ФС нужно использовать тогда
>и что посоветуете уважаемые коллеги? =)
>
>Заранее благодарю за ответ.У UFS нет затыка на 4Тб или 14Тб, ее года два назад тестировали на виртуальном диске гораздо большего размера. Затык есть у разметки bsdlabel и fdisk, которые не умеют > 2Тб. Ну и проблема с долгим fsck.
Самый правильный вариант - использовать ZFS. С UFS же можно:
1) сделать файловую систему прямо на массив (вообще без разметки)
2) использовать GPT разметку (man gpt)
3) использовать GPT разметку+gjournal - как я понимаю, fsck тогда не понадобится, но сам я это не пробовалВо всех четырех случаях будет проблема с загрузкой с этого массива. Загрузка с ZFS вроде в каком-то виде есть, а как в общем случае грузиться с разбитых GPT дисков я не знаю. Может grub 2 умеет...
У меня файлопомойка уже месяца три как на AMD64 FreeBSD RC1 c ZFS, 12 Тб массивом (raid5) и 2-мя гигами оперативки крутится. Проблем и нареканий нет. Лишь только памяти добавил (изначально был 1 гб). Так что дерзайте, тем более что с ZFS работать ну очень приятно )))
>У меня файлопомойка уже месяца три как на AMD64 FreeBSD RC1 c
>ZFS, 12 Тб массивом (raid5) и 2-мя гигами оперативки крутится. Проблем
>и нареканий нет. Лишь только памяти добавил (изначально был 1 гб).
>Так что дерзайте, тем более что с ZFS работать ну очень
>приятно )))loader.conf в студию. Пока все варианты тюнинга из FreeBSD maillist - не помогают.
FreeBSD 7-STABLE amd64. 1Tb и 30 миллионов файлов. Ребут 2 раза в неделю по kva_pages.
>>У меня файлопомойка уже месяца три как на AMD64 FreeBSD RC1 c
>>ZFS, 12 Тб массивом (raid5) и 2-мя гигами оперативки крутится. Проблем
>>и нареканий нет. Лишь только памяти добавил (изначально был 1 гб).
>>Так что дерзайте, тем более что с ZFS работать ну очень
>>приятно )))
>
>loader.conf в студию. Пока все варианты тюнинга из FreeBSD maillist - не
>помогают.
>FreeBSD 7-STABLE amd64. 1Tb и 30 миллионов файлов. Ребут 2 раза в
>неделю по kva_pages.Есть подозрение что ты патчики то не накладывал на ZFS? Пытаешься юзать то что есть в
7-RELEASE или STABLE?Действуй:
1 - http://www.freebsd.org/cgi/query-pr.cgi?pr=123039
(насколько я помню этот патч уже в 7-STABLE)4 - http://people.freebsd.org/~pjd/patches/zgd_done.patch
(это нужно сделать)
------ loader.conf ----------# ZFS
vfs.zfs.prefetch_disable=1
vfs.zfs.zil_disable=0
vfs.zfs.cache_flush_disable=1
--- Если 1 гиг памяти:vm.kmem_size=671088640
vm.kmem_size_max=671088640
# arc_max = 2 * kmem_size / 3
vfs.zfs.arc_max="448M"--- Если 2 гига памяти:
vm.kmem_size=1073741824
vm.kmem_size_max=1073741824
# arc_max = 2 * kmem_size / 3
vfs.zfs.arc_max="716M"# Adjust memory limit for 2G RAM 1 G for data,128M for stack
kern.maxdsiz=1073741824
kern.maxssiz=134217728
kern.dfldsiz=161061273--- Если 2 гига памяти но по тестам файловая система потеряла производительность:
vm.kmem_size=671088640
vm.kmem_size_max=671088640
# arc_max = 2 * kmem_size / 3
vfs.zfs.arc_max="448M"