Jeff Roberson призывает (http://lists.freebsd.org/pipermail/freebsd-current/2010-Janu...) всех заинтересованных энтузиастов FreeBSD принять участие в тестировании работы механизма журналирования Soft Updates (SU+J) для файловой системы UFS. Jeff подготовил патч реализующий SU+J для FreeBSD-CURRENT, а так же инструкцию и набор пожеланий для тестеров.
Для задействования патча после его наложения, необходимо пересобрать ядро и мир (в мире можно ограничиться пересборкой libufs, fsck_ffs, и tunefs), а так же отключить использование старой версии Soft Updates, и выполнение fsck в фоновом режиме. Приветсвуется использование опций отладки в ядре.URL: http://lists.freebsd.org/pipermail/freebsd-current/2010-Janu...
Новость: http://www.opennet.me/opennews/art.shtml?num=24951
лень компилировать, выложил бы FreeBSD 8.1beta
>лень компилировать, выложил бы FreeBSD 8.1betaIMHO. Никому это уже не нужно. Есть ZFS.
Вы возьмётесь допилить инсталлер, чтобы ZFS была по дефолту? Кросслицензируете ZFS? Дадите пару терабайт свободного места тем у кого уже давно всё на UFS крутится, чтобы перекинуть данные на ZFS?
вот я тоже так думал, переехал на zfs, раид 10 на 4 винтах, и торрмоза на amd64 и 4 гига рамы. ufs явно шустрее был.
Ну всего навсего не докрутил чего то, а выводы вселенского масштаба делаешь :)Другое дело что на железе более скромном типа мало рамы или диски маленькие - ZFS is overkill. Потому UFS нужна. Как то так...
>Ну всего навсего не докрутил чего то, а выводы вселенского масштаба делаешь
>:)
>
>Другое дело что на железе более скромном типа мало рамы или диски
>маленькие - ZFS is overkill. Потому UFS нужна. Как то так...
>Скромное железо пора выбрасывать. Мне лично жалко тратить свое время, например сборку чего либо, на тормозную работу на таком железе
Скромное железо совсем не означает, что оно несовременное и место его на свалке истории. Что Вы, например, скажете об ARM9 с его скромными 200MHz? FreeBSD последнее время имеет очень сильные притязания на embedded сектор, когда они допилят ARM порт это будет очень серьезный конкурент для Линукса.А теперь скажите, какую файловую систему применять на подобных системах? ZFS, но она во-первых, требует чтобы размер тома был не меньше 128МB (это конечно очень мало для привычного компьютера, но это слишком избыточно для embedded), а во-вторых, для подобных решений слишком она прожорлива - разве она заработает, например, при 16 мегабайтах RAM? Плодить еще и еще файловые системы на все случаи жизни, не доводя их до уровня технологического решения - чем славится Линукс, - тоже плохая идея. Так что, идея дальнейшей шлифовки надежной, проверенной годами файловой системы, мне видется очень правильной в свете приведенных выше обстоятельств.
> Скромное железо пора выбрасыватьТогда выкидывайте все свои ноутбуки, КПК и телефоны, ага.
руками собираешь?
придешь ко мне железо выбросить?
а что еще пора делать?
>вот я тоже так думал, переехал на zfs, раид 10 на 4
>винтах, и торрмоза на amd64 и 4 гига рамы. ufs явно
>шустрее был.И ACL у ZFS только в процессе докручивания... А в UFS живое - давеча ставя sambа, вздохнул ... и сделал на UFS... :(
>>вот я тоже так думал, переехал на zfs, раид 10 на 4
>>винтах, и торрмоза на amd64 и 4 гига рамы. ufs явно
>>шустрее был.
>
>И ACL у ZFS только в процессе докручивания... А в UFS живое
>- давеча ставя sambа, вздохнул ... и сделал на UFS... :(
>Скоро будет ZFS v14 и ACL.
>вот я тоже так думал, переехал на zfs, раид 10 на 4
>винтах, и торрмоза на amd64 и 4 гига рамы. ufs явно
>шустрее был.Извини, но устанавливать ZFS поверх RAID это глупость. Прочитай документацию, там все разжевано на эту тему. JBOD + ZFS = высокая производительность.
> Извини, но устанавливать ZFS поверх RAID это глупость. Прочитай документацию, там
>все разжевано на эту тему. JBOD + ZFS = высокая производительность.Я думал он имел в виду нормальный ZFS'ный рейд. В любом случае что-то он делает не так, потому что у меня зеркала и стрипы на ZFS работали замечательно, с честной скоростью N*скорость диска. raidz1/2 тоже не плох, но немного медленней.
>>вот я тоже так думал, переехал на zfs, раид 10 на 4
>>винтах, и торрмоза на amd64 и 4 гига рамы. ufs явно
>>шустрее был.
>
> Извини, но устанавливать ZFS поверх RAID это глупость. Прочитай документацию, там
>все разжевано на эту тему. JBOD + ZFS = высокая производительность.
>Пул делал так:
zpool create mirror gpt/ada0p3 gpt/ada1p3 mirror gpt/ada2p3 gpt/ada3p3
где тут глупость?
А тормоза проявляются когда хренова туча торрентов начинает раздаваться/скачиваться. А так dd if=/dev/zero of=test bs=2M count=1000 показывает скорость на запись 100 Mб/с что вобщем-то тоже как-то не айс. Особо ничего не тюнил кроме включения prefetch.
>Вы возьмётесь допилить инсталлер, чтобы ZFS была по дефолту?Не вижу пока в этом необходимости. Система ставиться при помощи LiveCD очень просто.
>Кросслицензируете ZFS?Зачем?
>Дадите
>пару терабайт свободного места тем у кого уже давно всё на
>UFS крутится, чтобы перекинуть данные на ZFS?Перекидывается все очень просто. Почитайте документацию и подумайте.
>>Вы возьмётесь допилить инсталлер, чтобы ZFS была по дефолту?
>
> Не вижу пока в этом необходимости. Система ставиться при помощи LiveCD
> очень просто.т.е. раз вы ставитесь с лайфсд, то и все должны ставиться с лайфсд?
я конечно понимаю, что для реальных пацанов сисинстал не нужен, да и вообще реальные пацаны привыкли в голове пересчитывать кол-во блоков на гигабайты, а гигабайты в блоки, но не нужно свои реальные подвижки навязывать народу.
>т.е. раз вы ставитесь с лайфсд, то и все должны ставиться с
>лайфсд?А почему нет-то? Вам что важнее, ZFS или sysinstall?
>я конечно понимаю, что для реальных пацанов сисинстал не нужен, да и
>вообще реальные пацаны привыкли в голове пересчитывать кол-во блоков на гигабайты,
>а гигабайты в блокиНе над чем тут смеяться, разве только над вами. sysinstall действительно убог, и ставить руками проще и быстрее, если знать как. Разберетесь до конца в процессе установки - тоже сможете, не переживайте.
>но не нужно свои реальные подвижки навязывать народу
А никто не навязывает, народ и так жрет гoвнецо, что дают - посмотрите вокруг. Только и ждать вас никто не намерян.
>> Не вижу пока в этом необходимости. Система ставиться при помощи LiveCD
>> очень просто.
>т.е. раз вы ставитесь с лайфсд, то и все должны ставиться с лайфсд?Если ZFS нужна, а в sysinstall опции нет, у вас есть выбор
1 дописать sysinstall
2 ждать пока допишет кто-то
3 установить с живой системы.Все остальное - эмоции. По мне - уже забыл когда пользовался инсталятором, все довольно просто. Инсталятор нужен новичкам, это правда. По шагам провести. Иначе трудно разобратся, а если еще и новая понятийная система, то все как в тумане...
>>Вы возьмётесь допилить инсталлер, чтобы ZFS была по дефолту?
>
> Не вижу пока в этом необходимости. Система ставиться при помощи LiveCD
> очень просто.Надо либо постоянно держать при себе мануалку "как", либо быть психопатом и заучить как молебен это HOWTO. Вы чем пользуетесь? Можно конечно накропать скрипточек "для себя родимого", но там было пара неоднозначных моментов, которые надо всё-таки руками докручивать.
>>Кросслицензируете ZFS?
>
> Зачем?Затем что лицензия CDDL.
>>Дадите
>>пару терабайт свободного места тем у кого уже давно всё на
>>UFS крутится, чтобы перекинуть данные на ZFS?
>
> Перекидывается все очень просто. Почитайте документацию и подумайте.Ткните носом, читал, много читал, нигде не видел чтобы UFS можно было сконверать в ZFS и точно знаю что это невозможно по техническим причинам. Ну никак без лишнего винта.
>>>Вы возьмётесь допилить инсталлер, чтобы ZFS была по дефолту?
>>
>> Не вижу пока в этом необходимости. Система ставиться при помощи LiveCD
>> очень просто.
>
>Надо либо постоянно держать при себе мануалку "как", либо быть психопатом и
>заучить как молебен это HOWTO. Вы чем пользуетесь?Я психопат с толстым бумажным блокнотом в который иногда заглядываю. :)
> Можно конечно накропать
>скрипточек "для себя родимого", но там было пара неоднозначных моментов, которые
>надо всё-таки руками докручивать.Ну да, ногами не получится. :)
>>>Кросслицензируете ZFS?
>>
>> Зачем?
>
>Затем что лицензия CDDL.Тебя это беспокоит, хочешь об этом поговорить? :)
>>>Дадите
>>>пару терабайт свободного места тем у кого уже давно всё на
>>>UFS крутится, чтобы перекинуть данные на ZFS?
>>
>> Перекидывается все очень просто. Почитайте документацию и подумайте.
>
>Ткните носом, читал, много читал, нигде не видел чтобы UFS можно было
>сконверать в ZFS и точно знаю что это невозможно по техническим
>причинам. Ну никак без лишнего винта.А никто и не говорил, и кстати не обещал, и нигде не написано что можно конвертировать. Это тебе так хочется.
Я тебе предложил вариант при котором после прочтения нужно включить мозг и подумать. Тогда все получится. Я переходил на ZFS с UFS и не потерял ничего. А держать резервные винты у тебя не принято?
умникам, вроде вас, может и не нужно, а мне, в первую очередь, необходимы квоты нормальные.
>умникам, вроде вас, может и не нужно, а мне, в первую очередь,
>необходимы квоты нормальные.Квоты есть и работают.
tank/usr/home mounted yes -
tank/usr/home quota 100G local
tank/usr/home reservation none default
я посмотрел бы на вас когда у вас полторы тысячи таких вот квот и вы даете команду df. а какой-нить DirectAdmin или CPanel когда осилят такие квоты? или раз нету - значит и не нужно, на свалку вместе с UFS? а мягкие квоты как организовать на zfs? а кол-во инодов как ограничить?
>я посмотрел бы на вас когда у вас полторы тысячи таких вот
>квот и вы даете команду dfИ в чем проблема?
>а какой-нить DirectAdmin или CPanel когда осилят такие квоты?
CPanel осилит
>а мягкие квоты как организовать на zfs?
Прочитайте man zfs, кейворды quota и reservation.
>а кол-во инодов как ограничить?
Ограничение инодов осталось в прошлом веке. В ZFS иноды выделяются динамически и идут в общую юзерскую квтоту.
>>я посмотрел бы на вас когда у вас полторы тысячи таких вот
>>квот и вы даете команду df
>И в чем проблема?в кол-ве строк. мне мало интересно как и насколько юзер выгребает свою квоту, а вот насколько забиты разделы - важно и поиск в бедламе меня не очень радует. zpool list - не помогает, потому что у меня может быть фс tank/usr размер которой я видеть хочу и tank/user1 - размер которой я видеть не хочу, а что-нить типа: df | egrep 'usr$' - костыль.
>>а какой-нить DirectAdmin или CPanel когда осилят такие квоты?
>
>CPanel осилитпускай осиливает, но пока этого нет, насколько я знаю (DirectAdmin-е уж точно и родят они такое, по опыту общения с ними, очень не скоро), а кроме этих двух панелей есть еще...
>>а мягкие квоты как организовать на zfs?
>
>Прочитайте man zfs, кейворды quota и reservation.читал и отлично знаю. встречный вопрос, а вы знаете что такое soft quota и grace режим? советую почитать.
>>а кол-во инодов как ограничить?
>
>Ограничение инодов осталось в прошлом веке. В ZFS иноды выделяются динамически и
>идут в общую юзерскую квтоту.если таблица инодов не фиксированная, то это еще не значит, что отпала необходимость в ограничении кол-ва инодов на морду юзера.
т.е. вы не представляете ситуации когда нужно юзера ограничивать по кол-ву созданных файлов, каталогов, пайпов...?
> в кол-ве строк. мне мало интересно как и насколько юзер выгребает свою квоту, а вот
> насколько забиты разделы - важно и поиск в бедламе меня не очень радует. zpool list -
> не помогает, потому что у меня может быть фс tank/usr размер которой я видеть хочу и
> tank/user1 - размер которой я видеть не хочу, а что-нить типа: df | egrep 'usr$' -
> костыльdf tank/usr, zfs list tank/usr
> пускай осиливает, но пока этого нет, насколько я знаю (DirectAdmin-е уж точно и родят
> они такое, по опыту общения с ними, очень не скоро), а кроме этих двух панелей есть еще...Я имел в виду что уже видел cpanel с поддержкой zfs'ных квот. Честно говоря, не видел хостинга с cpanel'ю, которую не приходилось допиливать под себя - и уж что-то, а zfs прикрутить задача простейшая.
> читал и отлично знаю. встречный вопрос, а вы знаете что такое soft quota и grace режим? советую почитать.
Опишите-ка зачем оно нужно. А для себя посчитайте сколько места можно занять за grace период. Мне как-то гораздо полезнее reservation, которые традиционные quota как-бы не умеют.
> если таблица инодов не фиксированная, то это еще не значит, что отпала необходимость в ограничении кол-ва инодов на морду юзера.
> т.е. вы не представляете ситуации когда нужно юзера ограничивать по кол-ву созданных файлов, каталогов, пайпов...?Абсолютно. Мне, представьте, до одного места, потратил пользователь свои 10 гигов на 3 киношки, или на стопицот пустых файлов.
> df tank/usr, zfs list tank/usrох... если вы помните из сотни серверов где и как сделаны разделы - вы прямо чудо :) а напишите мне скрипт который будет следить за переполнением системных разделов и не трогать квоты юзера при условии, что мы заранее не знаем список системных разделов и расположения разделов с юзерскими фс?
>Я имел в виду что уже видел cpanel с поддержкой zfs'ных квот.
>Честно говоря, не видел хостинга с cpanel'ю, которую не приходилось допиливать
>под себя - и уж что-то, а zfs прикрутить задача простейшая.много направишь и напилишь в закрытом коде, ага. а панель у вас не принято обновлять, а то так-то там тоже дыры постоянно находятся? ссылочку на цпанель с зфс не подкинете?
>> читал и отлично знаю. встречный вопрос, а вы знаете что такое soft quota и grace режим? советую почитать.
>
>Опишите-ка зачем оно нужно. А для себя посчитайте сколько места можно занять
>за grace период.так вы откройте ман, там все расписано :) занять за grace период можно как 1КБ, так и 100ГБ.
>Мне как-то гораздо полезнее reservation, которые традиционные quota
>как-бы не умеют.это конечно хорошая штука, но возникла данная штука исключительно из-за особенностей зфс, если конкретнее то: допустим у вас корень системы лежит в tank и юзерская фс лежит в tank/user, без выставления ограничений юзер сможет переполнить корневой раздел, что есть плохо. с грамотно созданными разделами обычных фс (ufs, ага) такого в принципе быть не может, потому они и не нуждаются в таком механизме.
по сути, reservation, в привычных фс, может пригодится только при оверселе места, для каких-то критических юзеров, что бывает редко, да и оверселить место сейчас уже не приходится в связи с теперешними размерами винтов, но это кому как, задачи и случае бывают разные.
>Абсолютно. Мне, представьте, до одного места, потратил пользователь свои 10 гигов на
>3 киношки, или на стопицот пустых файлов.я рад за вас, но думать только о себе любимом не есть правильно, ага :) задачи у всех разные, мне совершенно не нравится когда юзер в одну папку записывает 10 млн файов и начинает их усиленно читать.
100500 и 10млн файлов - разные вещи
> IMHO. Никому это уже не нужно. Есть ZFS.не на каждой машине гигабайты озу, чтобы зетфс юзать. а как например смонтировать зпул из другой оси? уфс-раздел можно юзать, загрузифшись с флоппика. когда возникла потребность переехать на другой винт я так натрахался, что отформатировал его в уфс по старинке - и не парюсь больше. работает старушка на ура.
т.е. зутфс вещь хорошая, пока не надо её админить. там есть хренова туча крутых фичь, которые не нужны в повседневной практике (я например никогда не пользовался т.н. "снэпшотами" и даже не могу придумать, зачем бы это мне когда потребовалось), а вот для решения реально возникающих производственных задач надо иметь три руки, четыре глаза и неделю времени на перетрах.
>> IMHO. Никому это уже не нужно. Есть ZFS.
>
>не на каждой машине гигабайты озу, чтобы зетфс юзать. а как например
>смонтировать зпул из другой оси?Что за бред? Зачем?
> уфс-раздел можно юзать, загрузифшись с флоппика.А с магнитофона и касеты MK-60 не пробовал?
Что за извраты? Изучи работу с LiveCD.
>когда возникла потребность переехать на другой винт я так натрахался, что
>отформатировал его в уфс по старинке - и не парюсь больше.
>работает старушка на ура.Не знание и не умение работать с ZFS. Твои проблемы.
>
>т.е. зутфс вещь хорошая, пока не надо её админить.Ржунимагу. :)))
> там есть хренова
>туча крутых фичь, которые не нужны в повседневной практике (я например
>никогда не пользовался т.н. "снэпшотами" и даже не могу придумать, зачемНу тут я вообще выпал. :)))
>бы это мне когда потребовалось), а вот для решения реально возникающих
>производственных задач надо иметь три руки, четыре глаза и неделю времени
>на перетрах.Кто тебя вообще пустил решать какие либо производственные задачи?
Иди учись. Не позорься.
для десктопа ZFS жирно будет, а SU+J давно нужен
>для десктопа ZFS жирно будет, а SU+J давно нуженНе нужно сказок. Я начинал работать с ZFS со дня ее появления в седьмой ветке, и имел на тестовом десктопе 1G ОЗУ. И мыслей "жирно" у меня не возникало. Теперь же у меня целый парк
машин с различными объемом памяти (2G минимум)и все на ZFS и сервера и десктопы с KDE4, и опять же мыслей "жирно" нет. UFS не использую вообще на FreeBSD, ZFS великолепно умеет бутиться со своего пула.
Лично мне крайне не нравятся системы, не способные шустро работать на 256 мегабайтах памяти. Для простенького сервера DHCP+DNS+NAT+Squid+SendMail+QPopper со слабой нагрузкой этой памяти вполне хватает, и мне не хочется только ради файловой системы наращивать память до гигабайта. Я вообще не понимаю, почему файловая система хочет так много памяти и накладывает жёсткие ограничения на наименьший размер диска.
>почему файловая система хочет так много памяти и накладывает жёсткие ограничения на наименьший размер дискаЫнтырпрайз, продакшен
Да брось ты, просто Current commodity hardware capabilities.
Вот и вся причина.
Уже невозможно купить пицук меньше чем с гигом рамы и диском менее 500GB. Пока за пару лет обкатают уже в телефонах столько будет.
>UFS не использую вообще на FreeBSD, ZFS великолепно умеет бутиться со своего
>пула.Вас почитать, так поддержка ZFSboot допиленная в 8-ой ветке появилась ещё в 6-ой?
>>UFS не использую вообще на FreeBSD, ZFS великолепно умеет бутиться со своего
>>пула.
>
>Вас почитать, так поддержка ZFSboot допиленная в 8-ой ветке появилась ещё в
>6-ой?Я это не говорил. Когда не было бута с пула жил себе бутовый раздел на UFS.
Но это было давно. Это уже не актуально, обсуждать нечего.
Matthew Dillon: "Kudos on the work! But for gods sakes implement proper disk synchronization mechanics!"http://leaf.dragonflybsd.org/mailarchive/kernel/2010-01/msg0...
comments?
Извини, я смог только мельком прочитать письмо Диллона. Насколько я понял он видит основную проблему в том, что может произойти порча как метаданных, так и данных для журнала, во время когда они находятся в аппаратном кэше диска или контроллера, например во время потери питания. На что он резонно предлагает проводить синхронизацию, т.е убеждаться в том, что данные записаны на диск. Либо как другой вариант - использование fsck.
Подобный вопрос поднимал в списках рассылки Александр Мотин: http://lists.freebsd.org/pipermail/freebsd-current/2010-Janu...
На что Jeff ответил, что если хотите надёжности используйте правильное железо, либо fsck, которую при использовании SU + Journal никто не отменял. Также он добавил, что проблема есть и он подумает над "proper disk synchronization mechanics".Мэтт, на мой взгляд, судя по его делам мыслит мегаглобально, впрочем это его достоинство, а не недостаток. Поэтому он сделал форк FreeBSD, монстра HAMMER и т. д. Разработчики FreeBSD, по моим наблюдениям предпочитают вносить изменения более плавно, рассчитывая свои силы и ресурсы, видимо крутой поворот во времена 5-й ветки научил.
То что сейчас делает Jeff, это совсем не то журналирование, что используется в ext3 или gjournal. Это более простая примочка к Soft Updates. Видимо сил и времени хватает пока только на это, иначе я удивлён почему внедрение журналирования в NetBSD вызвало так мало интереса.