После более года разработки опубликован релиз проекта OpenZFS 2.3.0, развивающего реализацию файловой системы ZFS для Linux и FreeBSD. Проект получил известность как "ZFS on Linux" и ранее ограничивался разработкой модуля для ядра Linux, но после добавления поддержки FreeBSD был признан основной реализацией OpenZFS и переименован...Подробнее: https://www.opennet.me/opennews/art.shtml?num=62552
На OpenZFS скачивать что-нибудь хорошо и быстро, а в остальном хомячку избыточная. На 14.2 даже память кушает +- как и UFS.
> хомячку избыточнаяа для "быстрого скачивания" бесполезная
https://www.eideticom.com/media-news/blog/69-enabling-peer-t...
>На 14.2 даже память кушает +- как и UFS.Slackware Linux 14.2?
Там не UFS
в /dev/null ещё швидче!
Попробуйте сами и всё. Реально шустриком работает. может быть и от испуга как комрад ниже предполагает.
> Попробуйте сами и всё. Реально шустриком работает. может быть и от испуга
> как комрад ниже предполагает.Это у вас рефлинки наверное включились. Вот и потестите как раз заодно :)
Что избыточного в ZFS?
Всё остальное о чём я не упоминал выше.
> На 14.2 даже память кушает +- как и UFS.Она никогда не памяти больше чем обычный page cache на недофс. Мифы пошли с тех времён когда её не хватало KVA на 32 битах и она роняло ядро в панику. А никаких требований по физической памяти там нет и никогда не было (ну кроме таблиц дедупа если его юзать), например она спокойно работает и на одноплатнике с 256MB.
>> На 14.2 даже память кушает +- как и UFS.
> Она никогда не памяти больше чем обычный page cache на недофс.Разница между page cache и этим недоразумением - ядро page cache может рачистить, если приперло, форсировано выдавив dirty и избежав краха программ. А тут... файлопомойке, конечно, и так сойдет - там программы не запускают. Но всем остальным...
А программы вы запускаете на 4гб что ли?
В реальном мире ZFS отлично работает с кучей программ на одном сервере, включая базы данных. И эти базы очень удобно стапшотить и восстанавливать снапшоты за минуту в другом месте (с догонянием после стапшота от других серверов). И все это работает отлично уже лет 10. Ясно, что на сервере не 4гб стоит.
Там выше упоминались 256Мб. Что гон.
/usr/src/UPDATING20121223:
After switching to Clang as the default compiler some users of ZFS
on i386 systems started to experience stack overflow kernel panics.
Please consider using 'options KSTACK_PAGES=4' in such configurations.
> /usr/src/UPDATING
> 20121223:
> After switching to Clang
> as the default compiler some users of ZFS
> on i386 systems started
> to experience stack overflow kernel panics.
> Please consider using 'options
> KSTACK_PAGES=4' in such configurations.Ща, в новой версии FreeBSD вам фикс подгонят - выпилив i386, во! :)
>> /usr/src/UPDATING
>> 2012 12 23:
>> Please consider using 'options KSTACK_PAGES=4' in such configurations.
> Ща, в новой версии FreeBSD вам фикс подгонят - выпилив i386, во! :)Какой же ты все таки балабол.
Это и есть "фикс" из той самой "FreeBSD", 12 летней давности.
> Какой же ты все таки балабол.
> Это и есть "фикс" из той самой "FreeBSD", 12 летней давности.А сейчас ему выкатят окончательный фикс на фикс, во! :)
Прекрасно, что проект не скурвили, не политизировали, не полигендеризировали...
Благодарю всех авторов и соучастников проекта!
> Прекрасно, что проект не скурвили, не политизировали, не полигендеризировали...СРОЧНО, всем заинтереованным - стучать по дереву !
>> Прекрасно, что проект не скурвили, не политизировали, не полигендеризировали...
> СРОЧНО, всем заинтереованным - стучать по дереву !Судя по тому как они рефлинки в прошлом релизе потестили прям на юзерях, в проде - вы опоздали.
Как ты надоел со своими рефлинками...
Ставится по умолчанию в GhostBSD. Год работаю с системой. Всем устраивает. Надо от Linux избавляться.
> Надо от Linux избавлятьсяПочему? Чем он хуже? Насмешил меня, конечно.
А вам нравится то что говорит Линукс?
Линукс говорит?! 😲
Авто исправления(((
* Линус Торвальдс
Совковое "исправленому верить".
Говорит то, что должен, иначе отстранят, а бсд никому даром не нужен, и разрабов там три калеки, еще бы они когото выгоняли или чтото бухтели, не сегодня завтра все закроется.
Да.
Надо ввести еженедельную рубрику Linux говорит:
— Алло, дорогой, только что по радио передали, что один псих едет по встречке. Будь осторожнее
— Один??? Да их тут тысячи!
Да
и в чем он не прав?
> Почему? Чем он хуже?В Linux неудовлетворительно работают Qt и LibreOffice. Ошибки долго не исправляются, иногда вообще не исправляются. Мне это не нравится.
> Насмешил меня, конечно.Смешит Вас пусть Линус. У него последнее время это весело получается.
О, внезапно, во FreeBSD Qt и LibreOffice работают удовлетворительнее, чем в Linux, оказываетя. Вона как оно.
> О, внезапно, во FreeBSD Qt и LibreOffice работают удовлетворительнее, чем в Linux,
> оказываетя. Вона как оно.Xorg повиснет при старте, он пробурчит "значит не судьба" и дуалбутнется в винду, ему привычно.
> Смешит Вас пусть Линус. У него последнее время это весело получается.какие мы стеснительные. даже на зарплате не можем вслух сказать то, за что нам платят
так что сказать-то хотел?
По крайней мере этому ихнешнему Linux должны быть альтернативы.
Так BSD тоже вся «ихнешняя». Интернет, компьютеры, сетевое оборудование — всё «ихнешнее». «Наше» закончилось на БЭСМ, да и то не факт что не было подсмотрено у соседей.
Ну ещё наше было Эльбрус 1, Эльбрус 2, но уже на цельнотянутой из ненашего комплектухе 133/155, 100/500 серий.
"Нашего" там только идея
по умочанию? и ssd диск ставится? за износом диска не следил? ZFS изнашивает ресурс SSD в 9-10 раз быстрее чем другие ФС. без корпоративного ссд на ней делать нечего.
Самая медленная файловая система из всех существующих.
Не соглашусь. Распаковка и скачивание при её использовании в глаза бросается по скорости.
Ну, линейные скорости ещё куда ни шло, а вот в postmark, например, btrfs стабильно показывает в два раза более высокие результаты чем zfs. ext4 или xfs естественно ещё быстрей.
> btrfs стабильно показывает в два раза более высокие результаты чем zfs.Машина против паровоза?
Паровоз -- тоже машина.
На паровой тяге.
"Девочки, не ссорьтесь!"
Смотря на каком носителе у вас оно все расположено.
У меня под рукой ZFS работает на носителях начиная от sata_HDD до PCI_nvme, а это как мы понимаем совсем разные технологии (по скорости передачи данных).
Это смотря чем бенчмаркать. Я например делал образ для виртуалки и в ВМ запускал хрень которая очень любила синхронные записи в огромных объёмах. И у меня zvolы zfs оказывались самыми быстрыми. Самыми медленными оказывались файлы в btrfs, что СoW (катастрофа, т.к. они расфрагментировались в хлам сразу же) что noCoW (просто были раза в 2 медленнее чем файлы на ext4).
В свое время, натыкался на такое утверждение: ZFS ZVOL с XFS может быть быстрее XFS на физическом диске. Вроде, было на примере Mongo... разумеется, если все правильно настроить.
И так тоже было, ZVOL оказался быстрее не просто файла на ext4 (хфс не тестил), а быстрее даже чем просто /dev/sd? , скормленный ВМке.
Запросто, если включено lz4 сжатие, а оно включено по умолчанию.
Сколько раз уже говорилось, ZFS надо проверять на рабочей нагрузке! Бенчмарки не отражают ее реальные возможности.
От испуга?
Юзкейс для которого она создавалась не предполагал выжимания максимальной производительности.
Ненужный юзкейс как и сама фс.
Да какая там максимальная, она даже в среднюю не умеет...
Пользоваться не умеешь.
Научи.
format c:\
Под лежачий камень вода не течёт.
Какие у Вас великолепные пруфы, я прямо слезу пустил от умиления )
рефлинки уже юзабельные? включены?
дефрагментацию занести планируют?
ну и хорошо бы, чтоб ядро могло грузиться с зфс без инитрамфс-магии, как в случае с бтрфс
Вам без инитрам-а или как в бтрфс? Вы уже определитесь! Или у Вас бтрфс в ядро статически?
Мне без инитрамфса И как в бтрфс, да.
бтрфс у меня в ядре статически и зфс тоже умеет быть в ядре статически, тоже да.А теперь я хочу чтоб зфс парсило root= и монтировало свой датасет в рутфc -- как это делает любая другая ФС.
> А теперь я хочу чтоб зфс парсило root= и монтировало свой датасет
> в рутфc -- как это делает любая другая ФС.Ишь чего захотел, нормальной интеграции выкидыша с системой...
Ну вы неправы, ZFS всего лишь файлуха, не система. В систему кстати отлично интегрируется - FreeBSD уж давно с zfs грузится без лишних слов и прослоек. Но и выкидыши через всякие костылики тоже умеют. Всем хорошо.
> Ну вы неправы, ZFS всего лишь файлуха, не система. В систему кстати
> отлично интегрируетсяЧел про линуха писал. И если эта белая ворона единственная из всей толпы не рюхает параметры командлайна ядра как остальные ФС - какая там, нахрен, интеграция с системой?
> - FreeBSD уж давно с zfs грузится без лишних слов и прослоек.
Говоря за себя - я FreeBSD не буду пользоваться даже под угрозой расстрела. Мне от системы надо чтоб работало без лишней возни и не делало мозг. А это ни про freebsd ни про сабжа. А лишний гимор когда его можно избежать - ну вы поняли.
В сабже вообще какой-то миндфак с какими-то импортами пулов и проч. Там вон в советах можно найти "злоключения буха". С btrfs - его б просто прицепили к соседней системе, без всяких импортов-экспортов. И сделали все что хотели с впятеро меньшей возней. Так, для сравнения.
> Но и выкидыши через всякие костылики тоже умеют. Всем хорошо.
Я б не очень доверял вашим понятиям хорошего. Так, глядя на ник.
> Чел про линуха писал.Да это понятно, процесс загрузки линухов всегда был смешным.
> Говоря за себя - я FreeBSD не буду пользоваться даже под угрозой расстрела.
Муха. Как она держится на потолке своими крошечными лапками?
> В сабже вообще какой-то миндфак с какими-то импортами пулов и проч.
Расскажите, будьте добры, чем таким страшным отличаются команды zpool от других утилит?
> зфс тоже умеет быть в ядре статическиОткуда в ядре zfs? Или речь про FreeBSD? И чем не устроил initramfs? В линуксе всю жизнь через него всё запускалось, никто не жаловался.
> Откуда в ядре zfs? Или речь про FreeBSD? И чем не устроил
> initramfs? В линуксе всю жизнь через него всё запускалось, никто не
> жаловался.Наверное, тем что его генерация - это такой отдельный квест, на любителя.
Очень доставляет, например, при желании "корректно" сгенерить ванильную виртуалку - на основании содержимого репо с пакетами, без использования сторонних компонентов, только данных из реп (т.е. 100% копия официального релиза) - ибо очередной вариант pkunzip.zip получается.
Как в btrfs это в смысле с обязательной потерей данных?
> Как в btrfs это в смысле с обязательной потерей данных?Рефлинки файло не зануляют в отличие от сабжа :)). Да даже кент выкатил после обсирака - автоматический ребилд метаданных. А эти - только пообещали господам фиксы на попорченые пулы, постращали что юзать пул где было такое не надо, но....
1) OpenZFS 2.2.0 has been released with native support for reflinks (Oct 13, 2023)
уже больше года как реализовано.
2) А зачем тебе дефрагментация оставшегося свободного пространства на ZFS? NVME не справляется?
3) Ну так напиши свой zfs0-загрузчик. Меня пока и freebsd-boot вполне устраивает.
3.1)
вот сейчас даже специально погуглил "/boot на ZFS зеркале", оказывается груб отлично видит и понимает zfs, что возможно даже на deb'е реализовать.
> оказывается груб отлично видит и понимает zfsНу и да, если кто не в теме про груб, видит и понимает он только какую-то древнестарую версию zfs пула без новых фич. И выбор стоит, что или для /boot на зфс надо делать отдельный пул на отдельном разделе диска, или если /boot иметь в том же пуле что и rootfs, то вся рутфс оказывается без фич. Такое себе "отлично понимает".
а вы так торопитесь быть тестером?
ZFSBootMenu пробовали?
Полезная штука, только что-то оно давно не обновлялось, как бы не забросили.
> OpenZFS 2.2.0 has been released with native support for reflinks (Oct 13, 2023)Последнй раз когда я об этом слышал, зфс бажно зануляло отрефлинченные файлы или экстенты.
> А зачем тебе дефрагментация оставшегося свободного пространства на ZFS? NVME не справляется?Сорри что я со своим рылом и в калашный ряд, где у всех домашние многотерабайтные СХД на нвмях собраны. Им-то, богатеньким, конечно дефраг не нужен. Куда уж мне, нищeбpoдy-то. И бекапы у них наверное тоже на нвмях пораспиханы.
> груб отлично видит и понимает zfsи что? Для груба можно раздел /boot хоть на ext4 иметь. Речь про то, что ЯДРО само СЕБЕ *замаунтить* rootfs на зфс *не может*. Обязательно нужен костыль в initramfs который подёргает за zpool import/zfs mount и потом на замаунченное пивотнется.
>Им-то, богатеньким, конечно дефраг не нужен. Куда уж мне, нищeбpoдy-то. И бекапы у них наверное тоже на нвмях пораспиханы.вот там чуть ниже уже есть комментарий, про калашный ряд и недостаточность дисковых массивов.
вы zfs зачем поставили то?
может вам и fat было вполне достаточно? (лично я не знаю, сорьте), ну или xfs\btrfs.
например Я применяю zfs только на крупных массивах данных, с жирными файлами, например от 100-200 гб и выше. Поэтому (по умолчанию) и предполагаю в других комментаторах аналогичное присутствие адекватности.
однако никто не запрещает использовать данную ФС и для установки операционных систем, и для хранения кучи мелких файлов, но вы сами должны понимать все плюсы и минусы используемых технологий.
> все плюсы и минусы используемых технологий.все плюсы и минусы используемых технологий.Так вот я и указываю на плюсы и минусы, в т.ч. zfs и btrfs. Вот только не понял, какая связь между размерами файлов и выбранной фс.
>ЯДРО само СЕБЕ *замаунтить* rootfs на зфс *не может*.скажу честно - никогда не акцентировался на подобном.
если вы ответите "а зачем?"...ну и повторюсь про "ZFSBootMenu.efi" - возможно это именно то, что Вам нужно?
> ну и повторюсь про "ZFSBootMenu.efi" - возможно это именно то, что Вам нужно?Мне не нужно ни "efi", ни "меню". Кроме того, это "меню" что, позволяет ядро бутить с зфс без костыля в инитрамфм? Нет.
>> ну и повторюсь про "ZFSBootMenu.efi" - возможно это именно то, что Вам нужно?
> Мне не нужно ни "efi", ни "меню". Кроме того, это "меню" что,
> позволяет ядро бутить с зфс без костыля в инитрамфм? Нет.Но тебе же, за каким-то лешим, надо бутить с zfs? Тогда чего ты ноешь когда указывают на доступные варианты?
Мне например нафиг не надо систему размещать на zfs. Использую zfs только для данных - /{home,var,opt,tank1,tank2,...,tankN}
А корень, boot, etc, lib, usr и остальное на отдельном мелком ssd.
Чем проще можно накатить/забекапить систему, тем лучше.
А корень, boot, etc, lib, usr и остальное на отдельном мелком ssd с ext4
Вот я и говорю -- с рутфс на зфс некомфортненько, не готово оно к этому.
Собственно в солярке оно давно запилено. В linux, есть более простые варианты размещения корня. А кому очень надо запилить linux с корнем на zfs, то есть устоявшиеся варианты. Ну а тебе просто надо поныть о том на что ты повлиять не можешь (лицензия на zfs). Но тебе никто не мешает, пропатчить и вкомпилировать zfs в свой экземпляр ядра для себя любимого (начхав на все лицензии), напихать каких тебе хочется boot параметров и сделать все статикой и без initramfs.
> Собственно в солярке оно давно запилено.Было бы странно если б сан не сделал нормально хотя-бы себе. Только где этот сан и где эта соляра, и кому это все надо в таком виде?
> А корень, boot, etc, lib, usr и остальное на отдельном мелком ssd с ext4Правильно, нафиг вам cow, рефлинки и прочие снапшоты - для системы то? А вообще-то рулить систему на bare metal почти как если бы это была VM, с откатом снапшотов и проч - вполне себе.
> Тогда чего ты ноешь когда указывают на доступные варианты?Чо? Я прям в топ-левельном коменте указал недостатки. Про доступные варианты (безальтернативный инитрамфс с 100 мегабайтами ненужного ненужно-говна) я как бы в курсе.
Ненужная ненужность это твоя уверенность, что initramfs не нужен.
А тем кто что-то понимает, достаточно того, что очередное обновление не превратит систему в гдепопалосегфолтину, потому-что энтрипоинты стали указывать в нейпоймикуда.
Поэтому, адекватным пользователям, initramfs это удобство, на которое 100М не жалко. Собственно для того комп и создан, что-бы его использовать, а не экономить на "спичках"
> Ненужная ненужность это твоя уверенность, что initramfs не нужен.
> А тем кто что-то понимает, достаточно того, что очередное обновление не превратит
> систему в гдепопалосегфолтину, потому-что энтрипоинты стали указывать в нейпоймикуда.На этот случай в ФСах внезапно как раз снапшоты есть. При том в случае btrfs - загрузить систему (и даже в принципе ядро) с снапшота - можно даже GRUB'ом гольным.
А у вас pkunzip.zip какой-то получается.
> Поэтому, адекватным пользователям, initramfs это удобство, на которое 100М не жалко.
Это так то - костыль на самом деле. На отсутствие compiled-in дров в ядре.
Алё, речь идёт не о буте, а runtime, и если что ldconfig это тоже костыль.
И одно дело когда это касается програмулин, когда ldconfig применим, а другое когда это касается libc и обновившегося под ним kernel - снапшоты легко лесом идут.
> Алё, речь идёт не о буте, а runtime, и если что ldconfig это тоже костыль.Прикольная логика - "сгорел сарай, гори и хата!" :D. Таки вот лично у меня есть немеряно систем без дурацкого initrd. Минус 100500 moving parts и связанных с ним falure modes. Правда, это на btrfs, который в этом случае реально - compiled in. И цепляет фс вот прям сразу. Тот сэр так же хочет - но у вас такое, видимо, не можно.
> И одно дело когда это касается програмулин, когда ldconfig применим, а другое
> когда это касается libc и обновившегося под ним kernel - снапшоты легко лесом идут.Очень интересно как лесом пойдет допустим grub, которому вообще это все - пофиг? Он даже прошлый кернел из прошлого снапшота из его /boot вынуть может :)
Какие-то ортогональные выводы. Речь об удобстве пользователя, а не автоматизации какого-нибудь хостинга.> Очень интересно как лесом пойдет допустим grub, которому вообще это все - пофиг? Он даже прошлый кернел из прошлого снапшота из его /boot вынуть может :)
Речь про runtime, а не о том, что там загрузится после ребута. Но конечно и grub может обломаться с загрузкой, если ему сгенерит кривой конфиг grub-mkconfig, потому-что например дёргаемые им grub-probe и grub-script-check, посеяли где-то в каскаде функцию, после очередного обновления.
> Какие-то ортогональные выводы. Речь об удобстве пользователя, а не автоматизации
> какого-нибудь хостинга.Initrd вообще-то для удобства дистромейкеров - чтоб 1 кернель на всю ораву таскать. Вы ж понимаете что compiled in для ВСЕХ блочнофайлушных дров и обвеса потребного для того чтобы это завелось - для ВСЕХ железок будет весить буквально сотни мегабайтов, и сожрет сотни RAM на просто вгрузку такого кернела, навечно? Потому что железок понаклепали - дохрена. А без драйверов того или этого оно вон там или сям - не загрузится.
Ну вот и вынесли это добро в модули. И потом грузят только то что реально вот этой платформе надо. А остальное в RAM не попадает. Место на диске жрет - но его как правило больше и это менее критично.
> Речь про runtime, а не о том, что там загрузится после ребута.
Runtime в современном мире понятие весьма растяжимое. Как впрочем и ребут.
> Но конечно и grub может обломаться с загрузкой, если ему сгенерит
> кривой конфиг grub-mkconfig,Это уж какая-то совсем экзотика в нормальных дистрах. Если у пользака руки шаловливые, он и системник в окно может выкинуть.
> потому-что например дёргаемые им grub-probe и grub-script-check,
> посеяли где-то в каскаде функцию, после очередного обновления.Ни разу такого не видел, на дофига системах. Наверное такое бывает, у васян-дистро или особо криворуких юзерей, но точно не является какой-то распостраненной проблемой.
> Initrd вообще-то для удобства...Ты по ходу просвещаться начал - хорошо. Но на что возражаешь-то? Я же изначально сказал - initrd/initramfs для удобства.
> Runtime в современном мире понятие весьма растяжимое. Как впрочем и ребут.
Не знаю куда ты эти понятия растягиваешь, а у меня смысл их фиксирован.
> Ни разу такого не видел, на дофига системах. Наверное такое бывает...
Многие в домах без диафрагмы жесткости живут, до первого серьёзного землетрясения... Сиреч твой опыт не релевантен.
https://savannah.gnu.org/bugs/index.php?go_report=%D0&#...
Да и вообще, сказано же, хочешь zfs вкомпилировать в ядро, так вкомпилируй. В чём проблема-то?
> Куда уж мне, нищeбpoдy-то. И бекапы у них наверное тоже на нвмях пораспиханы.А у тебя бэкапы из миллионов мелких файлов сделаны, что им нужна дефрагментация?
А так-то, чем и как и что ты намерял чтобы решить что эта дефрагментация тебе нужна? Или просто слово красивое?
Я вот много лет юзаю raidz (с какого-то времени raidz2) из 6 HDD для домашней машины, на которой и торренты, и исходники/компиляции с миллионами мелких файлов, и базы данных большие, при этом редко меньше 80% места занято. Этот массив переезжал на новые диски несколько раз (если что, после переезда фрагментация нулевая). Сейчас массиву 3 года, frag=83% что бы это не значило, и никакой разницы по производительности со свежим массивом я не ощущаю и на графиках/таймингах не вижу.
Дефрагментация не особо-то и нужна ZFS. Достаточно добавить SLOG и выставит адекватное значение zfs_txg_timeout. Все будет в шоколаде!
> Дефрагментация не особо-то и нужна ZFS. Достаточно добавить SLOG и выставит адекватное значение zfs_txg_timeout. Все будет в шоколаде!А как zfs переживает потерю slog? Потому что я слышал что hot spare с slog не работает.
Без происшествий.
Дефрагментация в 2025ом?
Зачем когда уже есть btrfs?
> Зачем когда уже есть btrfs?Для разнообразия хотя бы. Соперничество это всегда хорошо. Тем более что кроме btrfs и zfs других фс со встроенным volume management просто нет.
> Зачем когда уже есть btrfs?У бтрфс проблемы с перфомансом например для случая хранения образов виртуальных машин. Ну или даже для рандомной записи в файл бооольшие проблемы. У зфс проблем сильно меньше и более того "zvol"ы в ней есть штатно. С фрагментацией с одной стороны zfs более контролируема (минимальный размер блока задаётся), с другой дефрагментатора в ней нет а в бтрфс есть.
С рейдами в бтрфс всё плохо, вплоть до того что если один из дисков в raid1 отвалится в оффлайне, оно не замонтирует без ручного пинка (-o degraded)
Хорошо что развивается.
Когда есть много оперативки и нужна надёжность программного рейда, то zfs очень даже неплохо.
Ага, а сравнивать не резервируемый арк с данными на "дисках" можно и вручную. Вон на хоботе один товарищ так и делает - в виндовсе снимает чексумму, записывает данные на зфс, читает данные и сравнивает со снятой чексуммой. Если не совпало - значит опять арк побился. Память там или ссд на котором арк, да мало ли. И это не шутка. Так что, зфс в общем вполне надёжна, когда есть копия данных на нтфс :)
> Так что, зфс в общем вполне надёжна, когда есть копия данных на нтфс :)Реквкстирую добавить это в testimonials на сайте проекта :D :D
Ну, приводить в пример админов локалхоста с хобота, это примерно так же, как посылать "на хабр".
В смысле чексуммы зфс пропустили порчу файла? Очень и очень сомнительно. Разве что зфс был совсем без избыточности и товарищ не смотрел вообще в логи. Да и в этом случае мне кажется доступ к порченному файлу вываливается с ошибкой типа про генерала эррора читающего ваши файлы.
> В смысле чексуммы зфс пропустили порчу файла? Очень и очень сомнительно. Разве
> что зфс был совсем без избыточности и товарищ не смотрел вообще
> в логи. Да и в этом случае мне кажется доступ к
> порченному файлу вываливается с ошибкой типа про генерала эррора читающего ваши
> файлы.В смысле кеш не резервируется. На дисках был нормальный файл, а в кеше попортился. И уж я не знаю про кеш в памяти речь шла, или про кеш на SSD, но... хеши в блокнотике - друзья ЗФСника. Ведь эта ФС ползволяет имея файлы да дисках нормальные читать битую дату из кеша. В этот момент я добавил тему "нас своими руками" на хоботе в черный список.
>[оверквотинг удален]
>> что зфс был совсем без избыточности и товарищ не смотрел вообще
>> в логи. Да и в этом случае мне кажется доступ к
>> порченному файлу вываливается с ошибкой типа про генерала эррора читающего ваши
>> файлы.
> В смысле кеш не резервируется. На дисках был нормальный файл, а в
> кеше попортился. И уж я не знаю про кеш в памяти
> речь шла, или про кеш на SSD, но... хеши в блокнотике
> - друзья ЗФСника. Ведь эта ФС ползволяет имея файлы да дисках
> нормальные читать битую дату из кеша. В этот момент я добавил
> тему "нас своими руками" на хоботе в черный список.Речь скорее всего не про кеш, а про багу с гонкой с включенными zfs_bclone_enabled и zfs_dmu_offset_next_sync в версии < 2.1.14 и < 2.2.2
> Речь скорее всего не про кеш, а про багу с гонкой с
> включенными zfs_bclone_enabled и zfs_dmu_offset_next_sync в версии < 2.1.14 и < 2.2.2Нет, если угодно, речь именно о том сорте субстанции, которое мне демонстрировал уважаемый адепт, а не о том, о котором говорите Вы. Но я по субстанции не большой специалист... может и ошибся где, сам не ел, по приборам шел.
https://forum.ixbt.com/topic.cgi?id=109:483:30397#30397
>> Речь скорее всего не про кеш, а про багу с гонкой с
>> включенными zfs_bclone_enabled и zfs_dmu_offset_next_sync в версии < 2.1.14 и < 2.2.2
> Нет, если угодно, речь именно о том сорте субстанции, которое мне демонстрировал
> уважаемый адепт, а не о том, о котором говорите Вы. Но
> я по субстанции не большой специалист... может и ошибся где, сам
> не ел, по приборам шел.
> https://forum.ixbt.com/topic.cgi?id=109:483:30397#30397По ссылке чел пишет, что у него битая память была. Читать до просветления - https://openzfs.github.io/openzfs-docs/Performance%20an...
> По ссылке чел пишет, что у него битая память была. Читать до
> просветления - https://openzfs.github.io/openzfs-docs/Performance%20an...По ссылке человек пишет что после замены памяти у него начали сходиться чексуммы с винды, с блокнотика и с зфс. Поиск связи и причинности не входит в круг интересов адептов. При этом, целостность кешей в ZFS исторически - не забота ZFS. Механизма проверки оного и тем паче какой-то реакции на проваленную проверку как-бы нет. И по ссылке человек пишет что обделался. Грязные портки есть, тестов памяти нет. Всё то вы фанатики с ног на голову ставите, а у вас колобок...
Поэтому и юзают блоконотики с хэшами :) Просветлённые субстанцию не используют. Блокнотики тоже. И про чексуммы не кричат. Но в целом субстанция каждого из сортов (или как говорят адепты, каждой из эталонных реализаций) на дистанции год-два имела блокирующие баги, приводящие к краху данных. Баги просачивались в апстрим и нормально воспроизводились. Возможно поэтому ZFS и умрёт умрёт синхронно с последним серьезным контрибутором. Ну как умрёт... контрибутор переключится на что-то нормальное, адепты фри скажут что они были к этому готовы, адепты линукса не заметят. А кунап и орацле да, что-то будут продавать :)
> По ссылке человек пишет что после замены памяти у него начали сходиться чексуммы с винды, с блокнотика и с зфс. ...Не может быть, исправные модули памяти, работают! Как такое возможно?!
Сделай над собой усилие, осознай некоторые вещи:
1) никто тебе ничего с ног на голову не ставит - ОЗУ без ECC - мировое зло.
2) люди врут
3) люди ошибаются
4) ошибки не просачиваются, ошибки случаются> Возможно поэтому ZFS и умрёт умрёт синхронно с последним серьезным контрибутором
Ну доспустим умрёт, тебе-то что? Поныть хочется?
Пока не умерла, несмотря на закрытие кода ораклом.
И в рамках проекта openzfs - 621 контрибьютер.
>> По ссылке человек пишет что после замены памяти у него начали сходиться чексуммы с винды, с блокнотика и с зфс. ...
> Не может быть, исправные модули памяти, работают! Как такое возможно?!Так не факт что дело было в памяти. ZFS в контексте корапченных кешей, которые проверяются никогда, нормально лечится перезагрузкой.
> Сделай над собой усилие, осознай некоторые вещи:
> 1) никто тебе ничего с ног на голову не ставит - ОЗУ
> без ECC - мировое зло.
> 2) люди врут
> 3) люди ошибаются
> 4) ошибки не просачиваются, ошибки случаютсяВывод? ЗФС использует на проде примерно никто (ну да, сони же использует ту же фрибсд а орацле ту же зфс что ты на своём локалхосте, и паттерн использования тот же).
>> Возможно поэтому ZFS и умрёт умрёт синхронно с последним серьезным контрибутором
> Ну доспустим умрёт, тебе-то что? Поныть хочется?
> Пока не умерла, несмотря на закрытие кода ораклом.
> И в рамках проекта openzfs - 621 контрибьютер.Да мне как-то пофиг. Как переобуются фряшники мне не особо интересно - у них на ноутах по три линукса в клетках, а вот над упорными насостроителями не грех и поглумиться.
> Так не факт что дело было в памяти. ZFS в контексте корапченных кешей, которые проверяются никогда, нормально лечится перезагрузкой.Из того что написано - была битая память.
> Вывод? ЗФС использует на проде примерно никто (ну да, сони же использует ту же фрибсд а орацле ту же зфс что ты на своём локалхосте, и паттерн использования тот же).
Это не вывод, а ахинея.
ZFS в проде используется и годами и очевидно только с ECC. Те кто применяют ZFS в проде без ECC - ССЗБ.> Да мне как-то пофиг. Как переобуются фряшники мне не особо интересно - у них на ноутах по три линукса в клетках, а вот над упорными насостроителями не грех и поглумиться.
Ну так не ной. Без понятия что там на фряхах.
Ну без подробного исследования где оно бъётся говорить особо не о чем. Оно может и в процессе трансфера по сети/usb побиться, в зависимости от того как он переносит данные на машину с zfs. Или например с битой памятью или перегнанным процом оно побъётся независимо от системы. Сам по себе ARC ничего покорраптить не может, и от проблем на дисках ZFS защищена. Так-то у меня была когда-то битая память, тогда ещё винда в дуалбуте стояла. ZFS просто написала какие файлы побились продолжая спокойно работать, а винда на ntfs не просто не загрузилась, но и раздел остался нечитаем. Есть правда опасность scrub of death, но это тоже не проблема ФС.
А можно надёжность даже без "много оперативки". Называется -- mdadm.
Вот если бы автор OpenZFS преклонил колени перед великим Столлманом, и перелицензировал свою файловую систему на GPLV2, тогда бы он взлетел. А так? Нет, не взетит. Ибо взлетает только копилефт!
За перелицензированием обращайтесь к санкам, или кто и где они там сейчас. Как по мне, самое лучшее что могло случиться с zfs - это что ее нет в ванильном ядре. И потому не прибита гвоздями к конкретной версии ядра. Можно комбинировать и обновлять по отдельности.
> За перелицензированием обращайтесь к санкамПриветствую тебя, путешественник во времени из криокамеры. У меня для тебя плохие новости...
Да ее вообще не должно быть в этом вашем ведре.
Странно, что в новости про OpenZFS обсуждается ZFS.
ZFS не имеет проблем, которые принесли лапчатые в свою OpenZFS.
> Да ее вообще не должно быть в этом вашем ведре.
> Странно, что в новости про OpenZFS обсуждается ZFS.
> ZFS не имеет проблем, которые принесли лапчатые в свою OpenZFS.Не суетись, у динозавров свои проблемы - вымерли.
Ну, допустим, про "не прибита" вы немножко загнули, как и про "по отдельности". Верхний предел поддерживаемой версии ядра у модуля все-таки есть, и если разработчики его не подняли сами, на то обычно есть причина.
Надо же как времена меняются. Помню как я тут упомянул про зфс лет так 6-7 назад, так потом монитор пришлось оттирать от комментов. Притом что речь шла уже про нативный zol, а не про fuse (там еще можно было понять критику). Ах да, тогда же бтрфс вовсю рекламировали. Прям хоть басню пиши про лису и виноград, только в обратном порядке
Подожди, подожди, сейчас вон 294ый аноним проснется и расскажет нам всем о своем бугурте от проприетарщины длиной в 20 лет (CDDL для него - проприетарщина, если чо).
С лицензией ядра несовместима, значит проприетарщина. Чего здесь непонятного? Её спецом так создавали, чтоб несовместима была.
> С лицензией ядра несовместима, значит проприетарщина. Чего здесь непонятного? Её спецом
> так создавали, чтоб несовместима была.А в результате назло бабушке отморозили уши. Где сан, а где ядро? :)
Как не совместима?
Лицензии CDDL и BSD совместимы. ZFS есть в ядре и былла там еще до того как линуксоиды задумались о том что можно и себе утащить ZFS.
Хорошо, а почему тогда Эппл выкинула ZFS.Вроде Оракл официально не предъявлял претензий?
> Хорошо, а почему тогда Эппл выкинула ZFS.Вроде Оракл официально не предъявлял претензий?Потому-что у них своя проприетарщина с небинарнщиной
А разве Эпол пользует линукс?
И них же в корнях макоси какая-то своя микромачбсд украденная из университета карнеги (Питсбург Пенсильвания).
Откуда там вообще взяться zfs.
> А разве Эпол пользует линукс?
> И них же в корнях макоси какая-то своя микромачбсд украденная из университета
> карнеги (Питсбург Пенсильвания).
> Откуда там вообще взяться zfs.https://habr.com/ru/articles/73250/
https://www.linux.org.ru/news/apple/3778372/page3Ещё с десяток ссылок накидать ?
> Хорошо, а почему тогда Эппл выкинула ZFS.она ее никогда и не использовала.
Попытка убедить Джобса - была, в ответ он заявил что "Первое правило ведения бизнеса с моим лучшим другом Ларри Эллисоном - никогда не вести бизнеса с моим лучшим другом Ларри Эллисоном".И пошли они грустные переписывать hfs+
https://www.linux.org.ru/news/apple/3778372/page3
Ну чушь какая-то написана, слышавшими звон.Нет и не было никогда в макоси поддержки zfs. Там в оригинале ссылка на какой-то мертвый источник, где, вероятно, было написано что эппл _думает_ когда-нибудь ее запилить для серверных (где они, кстати?) макосей.
Вот подумала-подумала, и... "никогда не ведите бизнес с моим лучшим другом", ага.
В отличие от журнашлюх не разбирающихся ровно ни в чем (оригинал статьи - the register, нашел ты "авторитетный" источник) - эта цитата то ли Левенталя, то ли еще кого из тех могикан.
Была, повторяю была.На корень поставить нельзя было,носила статус бэта но протестировать можно было.Вот нашел более достоверный источник
https://habr.com/ru/articles/73250/
ну видимо какая-то пре-альфа неработающая, и та в каких-то доисторических версиях. Умерла даже раньше чем потуги эпла на серверные системы в целом.Наверное когда ее пилили, sun еще не продалась ораклу окончательно.
> Подожди, подожди, сейчас вон 294ый аноним проснется и расскажет нам всем о
> своем бугурте от проприетарщины длиной в 20 летЧего мне бугуртить из за ненужнго мне куска древнего внеядерного кода? Я btrfs юзаю и не имею проблем. А при отклонениях от идеала в -rc ядрах их тима показала себя с самой лучшей стороны. Чего и вам желаю.
А на перспективу в лине - bcachefs есть. Надеюсь автор все же разберется с тараканами в голове и даст мастеркласс как делать next gen FS правильно. Амбиции у него хорошие и правильные, структура ФС тоже нормуль. Прожектменеджмент и взаимодействия с ALL подтянуть - и порядок.
> (CDDL для него - проприетарщина, если чо).
По идее с этого BSDшники бугуртить должны - копилефт же, хоть и слабый. Но этим господам с двойными стандартами - не привыкать, стыд глаза не ест. Да и с всякими драйверами вафли в виде VM с Linux и половиной дров из линя - они уже и на GPL не так рьяно быкуют, оказывается, если очень прижало то и GPL - лицензия :)
А что там с шифрованием? Допилили уже? А то помнится встречались мне жалобы на очень низкие скорости чтения/записи при использовании нативного шифрования, и жалобы на то, что разрабы этим не интересуются.
> А что там с шифрованием? Допилили уже? А то помнится встречались мне
> жалобы на очень низкие скорости чтения/записи при использовании нативного шифрования,
> и жалобы на то, что разрабы этим не интересуются.В отличие от бтрфс, там оно хотя бы есть. А в бтрфс обещали и забили.
на просторах сети встречался мне мануал (и даже вроде на гитхабе видел)
на создание пула zfs,
в него клали geli,
в котором создавали уже внутренние пулы zfs.
Все по канонам "смерть Кощеева".
У меня на домашнем серваке шифрование включено (два ссд в зеркале). На десктопе домашнем (тоже ссд). Да и на работе где-то шифрование включено (сас или сата). Никаких тормозов не замечаю.
Хз, помню там что-то с ARC было связано. А ещё когда я его последний раз пробовал оно требовало поддержки AVX в проце, т.е. на старых или урезанных процессорах типа Атома про шифрование можно забыть.
Ну, мы же не говорим про админов локалхоста уровня кора дуба.
Для шифрования уже давно используется\требуется железная поддержка в процессоре (AES).
Увидеть сие можно в выхлопе (dmesg) процессора.
Да и для той же дедупликации требуется гигабайты доступной памяти, которой сейчас в наличии даже для настольных систем, а лет 10-15 назад - имеющейся исключительно в серверном сегменте.
А для не согласных - есть FAT.
> Ну, мы же не говорим про админов локалхоста уровня кора дуба.Да неужели? А raidz expansion для кого запили? Случайно не для тех самых "админов локалхоста"? Собственно как и шифрование, потому что на серверах оно нахрен ни кому не упёрлось.
Вообще-то наличие в некоторых не будем показывать пальцем ЦОДах промышленных шреддеров, способных загрызть жесткий диск - как бы намекает, что иногда и уперлось.Другое дело что я больше доверяю geli, да и его эффективность проверена временем и достаточно высока.
> Реализована возможность добавления на лету новых дисков в существующий массив RAIDZОго. Вот это шикарно.
Зачем, ну ЗАЧЕМ оно вам надо?!НАСТОЛЬКО прям не хватает денег сделать нормально?
Одна из самых странных фич, востребованная только и исключительно васянами-самогон....простите, самодельщиками с подкроватным сервером, где деньгов хватило только на три диска.
Причем со следующей получки после сдачи бутылок хватило только на еще один.
> Зачем, ну ЗАЧЕМ оно вам надо?!
> НАСТОЛЬКО прям не хватает денег сделать нормально?Чужими то деньгами все горазды раскидываться. А ты из своих заплати - тогда посмотрим как тебе оно будет.
ты мне напомнил меня, во времена студенчества,
когда я запускал безголовые линуксовые и BSDшные (PicoBSD) сервера с одной дискеты, на компе притащеном с помойки.сейчас стало же еще проще - можно "за копейки" аредновать мощности в "датацентре".
а некоторые мои студенты вообще используют бесплатные виртуализированные мощности каких нибудь гугл\амазон\микрософт.
> сейчас стало же еще проще - можно "за копейки" аредновать мощности в
> "датацентре".Ну так сейчас и правда много чего подешевело. Вон виртуалка за 3 бакса. А вон одноплатник за десятку. Да и я - в режиме вольного стрелка, и вот тут извините, если я могу решать задачу за столько или за столько - захрен мне жирных наглых пропреитариев во имя луны раскармливать?
Это пусть энтерпрайз админы так развлекаются - пока их работадатели еще не поняли на сколько именно их ставят эти ветеран-юникс-недоразумения. А то многие уже догадываться начали - и повыперли их на мороз. Но какие-то заповедники, вот, еще видимо сохранились.
Что, тоже "бездисковый файловый сервер" делал? Два диска для данных в raid'е, а сам или с дискеты или с сети грузишься - и вумный-вумный, крутой-крутой! :)
Да многие подобным занимались - это же прикольно реализовать, особенно когда инструменты есть.
Дискетку\флешку вынул, ушел домой, а тебя в это время уволили, и опачки, у кого то сервер внутри закрытой сетки умер и данные не достать после очередного скачка сети питания.
))
У Вас какие-то неправильные отношения с работодателем.
У меня все норм - либо не хватает на бухло и я не в целевой аудитории патча, либо могу позволить себе купить сразу шесть дисков и уж конечно не буду рисковать ничего добавлять в такой пул - т.е. снова не в целевой аудитории.
В крайне странном варианте что мне зачем-то понадобится именно пул увеличивать (очень сложно придумать для домашнего или мелкобизнесового применения что это вообще такое может быть и почему это не отдельный сервер) - просто куплю еще шесть и отдельный raidz2 на них соберу (т.е. будет 2+0)Но реальные use cases - это "пул за пять-семь лет отжил свое вместе с сервером и задачами, поэтому мы делаем его zfs send на новый впятеро больший, и навсегда выключаем, потому что и диски уже не первой свежести, и плата тормозноватая, и вообще не особо уже нужно"
Заодно послужит бэкапом самому себе, если новый вдруг сдохнет через годик.
> У меня все норм - либо не хватает на бухло и я
> не в целевой аудитории патча, либо могу позволить себе купить сразу
> шесть дисков и уж конечно не буду рисковать ничего добавлять в
> такой пул - т.е. снова не в целевой аудитории.Мне лучше без шараханий между полюсами, какой-то более прагматичный баланс. Когда по мере надобности подоткнул 1-2 девайса которые были, без беготни с ж@пой в мыле с покупкой именно 6 за раз, и порядок.
Пусть вон энтерпрайз эникеи носятся. А я буду за простой, удобный, логичнй менеджмент который меня не напрягает. Я хочу видеть это как-то так. Адаптируемое "as needed". Нет, я не господь бог и все задачи заранее не знаю. Если мне например кто не рекавери дофигатерабйтник притащит - я вон то на время расширю. Но вечно хранить эти терабайты я ж не буду, а эти сторажи я куда-то еще в более нужное определю. А вот чтоб не бегать лишний раз в мыле покупая еще и это опять. Я не хочу быть энтерпрайзным отделом закупок в мое свободное время, сюрприз.
> может быть и почему это не отдельный сервер) - просто куплю
> еще шесть и отдельный raidz2 на них соберу (т.е. будет 2+0)А я не хочу себе греть мозг, спецом бегая и покупая.
> Но реальные use cases - это "пул за пять-семь лет отжил свое
> вместе с сервером и задачами, поэтому мы делаем его zfs send
> на новый впятеро больший, и навсегда выключаем,Ну это у вас там в вашем энтерпрайзе. А сами вы в результате иллюстрируете тему сапожников без сапог с вашим высокоинновационным нтфсом :)
Но тут вот какой нюанс. Меня перфоманс NTFS и винды - вообще совсем никак не устраивает для моих задач. Я не вы.
> Мне лучше без шараханий между полюсами, какой-то более прагматичный баланс.прагматичный - это уметь прикинуть сколько тебе надо дискового пространства и с первой попытки собрать именно такое. А второй у меня чаще всего не будет, потому что места в корпусе - вот ровно на эти шесть, и это самая дорогая и дефицитная деталь во всей системе, потому что корпуса такого сорта далеко не в каждом ларьке продаются.
> Когда по мере надобности подоткнул 1-2 девайса которые были
к шестидисковому рейду ? Ну видимо данные тебе и не особо-то были нужны.
(впрочем, мы же знаем что нет у тебя никаких рейдов, а есть гнилая флэшка, и та одна. И на ней бырбырбыр, не умеющая в рейды от слова вообще.)
>> Мне лучше без шараханий между полюсами, какой-то более прагматичный баланс.
> прагматичный - это уметь прикинуть сколько тебе надо дискового пространства и с
> первой попытки собрать именно такое.1) Я data recovery немного развелкаюсь. И "кратковременные" нужды для хранения могут быть здорово выше чем вот именно лично мои. Не, те цать терабайт я хранить не буду, это только чтоб начальные образа отстроить, для права на ошибку в процессе.
2) Я не могу предусмотреть ВСЕ заранее. Скажем что картографические модели разжиреют, захочется качнуть сериал на 100500 серий в HD, LLM на дохреналион появятся и проч. И вот тут очень кстати если это можно ненапряжно и плавно отменеджить.А ты там можешь планировать на 10 лет, покупая оверпрайснутые малоемкие сторажи даже если они будут стоять неиспользуемые. Но ессно такой банкет - за твой счет. Мне оно в таком виде - спасибо, не.
> А второй у меня чаще всего не будет, потому что места в корпусе - вот ровно на
> эти шесть, и это самая дорогая и дефицитная деталь во всей системе,
> потому что корпуса такого сорта далеко не в каждом ларьке продаются.Мне как-то обломно покупать девайсы пачками, "as needed" удобнее и практичнее. И к тому же возможность неспешно заменять их по 1, апгрейдя по мере развития технологий - тоже хорошо.
>> Когда по мере надобности подоткнул 1-2 девайса которые были
> к шестидисковому рейду ? Ну видимо данные тебе и не особо-то были нужны.Это у тебя там фиксация на каких-то прибитых на гвозди кейсах. А я хочу как раз - возможность реконфигурации, без вот этого всего. Планировать на 10 лет вперед ты там сам. Получится ессно - дорого и хреново.
> (впрочем, мы же знаем что нет у тебя никаких рейдов, а есть
> гнилая флэшка, и та одна. И на ней бырбырбыр, не умеющая
> в рейды от слова вообще.)Ну тебе то виднее. Но бырбыров у меня так то довольно много уже. Меня тут все пугают и пугают. А они все не мрут и не мрут. Впрочем а если вдруг - я знаю что делать. А если вдруг - то я знаю где btrfs'ники отвисают. Они зарекомендовали себя весьма полезными и компетентными. С ними мне - не страшно.
> И "кратковременные" нужды для хранения могут быть здорово выше чем вот именно лично мои.после этого ты лишние диски продаешь или раздаешь бедным?
(про то зачем их на ходу добавлять в рейдовую хранилку - с риском ее уронить нахрен - спрашивать даже не буду - нет у тебя никаких рейдов)
>> И "кратковременные" нужды для хранения могут быть здорово выше чем вот именно лично мои.
> после этого ты лишние диски продаешь или раздаешь бедным?Бывают разные варианты. Могу апгрейднуть емкости своих девайсов и старые реально отдать или воткнуть куда-то еще. Или даже - одолжить на время несколько жирных у вооон тех, а когда они не нужны - вернуть. Или можно сделать, например, 1-2 ненужные емкие девайса оффлайн-бэкапными. И фича в именно ОФФЛАЙНОВОСТИ - с отключением и хранением в другом месте. Дабы данные там - не накрыли ни пыхи питальников, ни заскоки софта, ни что там еще.
> (про то зачем их на ходу добавлять в рейдовую хранилку - с
> риском ее уронить нахрен -В btrfs'е это не особо страшные операции. И даже - можно - вот - собрать временную хранилку под энную задачу. А потом разобрать нахрен. Или убавить и поюзать под какие-то иные цели.
> спрашивать даже не буду - нет у тебя никаких рейдов)
Ну да, ну да, тебе то виднее. Это просто ты заржавел с своими блочными райдами и почему-то уверен что менежэмент рейда должен быть брейнфаком. А оно может быть "btrfs device add" и плюс эн места. Через несколько секунд. Это простая и не опасная операция. И даже remove или смена схемы хранения. И все это - куда быстрее. За счет правильного дизайна. Кент вон там уже начал догадываться нафига bacrefs были нужны :)
> В btrfs'е это не особо страшные операции.ну да, ну да - все равно навернется, не сегодня так завтра.
Когда мне нужна временная хранилка - я просто подключаю временную хранилку. Без всякой необходимости трогать большой тяжелый ящик, где лежат ценные для меня данные. Я вообще не к нему ее буду подключать.
Когда нужно оффлайн бэкап - просто пишу его на диск, без всякой необходимости делать диск частью пула, которого может уже не существовать вообще, когда я про тот бэкап вспомню.
> Это просто ты заржавел с своими блочными райдами
да-да, зелен виноград, слышали-слышали
> И все это - куда быстрее.
сделать хрень ты умеешь очень быстро.
Но мы тут, понимаешь, переживаем что с 6+2 после апгрейда до 8+2 отдается всего лишь с шестикратной скоростью диска, и видим в этом недостаток технологии.
А у тебя там - с потерей всего 30% от одного. Зато хрень ты понаделал - очень быстро, ага.
>> В btrfs'е это не особо страшные операции.
> ну да, ну да - все равно навернется, не сегодня так завтра.Я уж забыл сколько мне это рассказывают. А оно все не наворачивается и не наворачивается. Хотя если сетапить будешь ты - у тебя может и получиться. Ты ж и самолетом рулить попробуешь - дергая вожжи. А оно эвон как...
> Когда мне нужна временная хранилка - я просто подключаю временную хранилку. Без
> всякой необходимости трогать большой тяжелый ящик, где лежат ценные для меня
> данные. Я вообще не к нему ее буду подключать.У меня нет никаких "больших тяжелых ящиков". Совсем временное нечто можно порой вообще с usb3 или esata соорудить, подоткнув несколько веников - ВРЕМЕННО. А зачем все делать долго, сложно? Я не планирую чужие терабайты вечно хранить. Нафиг мне они?
Это конечно специфично и нишево, но поскольку в btrfs менеджмент простой и нанапряжный, оно меня не напрягает.
> необходимости делать диск частью пула, которого может уже не существовать
> вообще, когда я про тот бэкап вспомню.Да, но если этот диск был в пул воткнут - но там более нафиг не уперлось столько места - я вот могу - вынуть его из пула, с него будут убраны реально используемые данные на соседние, и он - мой. Хочу - отцепляю и юзаю для офлайн бэкапов.
Черт, я даже по приколу систему на другой накопитель перекинул нонстоп. А просто посмотреть - можно ли миграцию ОС на другой диск без остановки. Device add -> device del -> поставить бутлоадера и на этого (иначе как он грузиться то будет) -> PROFIT.
>> Это просто ты заржавел с своими блочными райдами
> да-да, зелен виноград, слышали-слышалиТы кажется постоянно это мне пытаешься рассказать. А я попробовав тот менеджмент на меньшее уже что-то и не согласен.
>> И все это - куда быстрее.
> сделать хрень ты умеешь очень быстро.А почему тогда плачешься как и что у тебя в линухе не работает - ты?
> Но мы тут, понимаешь, переживаем что с 6+2 после апгрейда до 8+2
> отдается всего лишь с шестикратной скоростью диска, и видим в
> этом недостаток технологии.
> А у тебя там - с потерей всего 30% от одного. Зато
> хрень ты понаделал - очень быстро, ага.Если ты читал новости то видел что и это уже - несколько протухло. Да и вон то - очень сильно зависит от.
> У меня нет никаких "больших тяжелых ящиков".ну значит у тебя и данных никаких нет. Но ты продолжаешь нести чушь как что-то там где-то бороздит.
А на деле у тебя найденый на помойке диск "через usb, и тот один". Все, можешь не продолжать.
>> сделать хрень ты умеешь очень быстро.
> А почему тогда плачешься как и что у тебя в линухе не работает - ты?Работа у меня, если ты не понял, такая - когда у кого-то сломалось - попытаться это как-то обратно собрать. Инженер называется.
А ты - трепло. У которого ничего нет и не было. Поэтому у тебя и "все работает" - ничего сложнее дырявой флэшки у тебя отродясь не росло. Что у кого-то дома может стойка стоять - для тебя прям нечто невероятное.
Для вешания лапши на уши про мега-умения в "data recovery" достаточно видимо и ноута.
>> У меня нет никаких "больших тяжелых ящиков".
> ну значит у тебя и данных никаких нет. Но ты продолжаешь нести
> чушь как что-то там где-то бороздит.Я ж говорю, тебе с твоим апломбом и уверенностью в единственно правильном пути - надо сниматься в сериале "покусанные энтерпрайзом". И ведь даже 19" стойка есть, антуражно будет :)
На самом базовом уровне с неких пор моя цель - научиться хаживать на пантеон БЕЗ всяких проприетарных благодетелей и их "супер" решений. И уж конечно я не собираюсь тратить мое время и ресурсы мозга на заучивание заклинаний неведомой кастомной проприетарной хни, в силу предыдущей цели + более 9000 иных целей и задач претендующих на мой мозг.
> А на деле у тебя найденый на помойке диск "через usb, и
> тот один". Все, можешь не продолжать.Прикольные проекции :). Вон там немного расписано немного что у меня. Это далеко не полный ассортимент, еще куча всякой мелочевки раскидано, часть с 2.5" вениками на терабайт+ или ссд. Да, они не ставят рекорды. Зато они мелкие, аккуратные, с распределением нагрузки и емкостей, а не один убер-динозавр, большой и бестолковый.
> Работа у меня, если ты не понял, такая - когда у кого-то
> сломалось - попытаться это как-то обратно собрать. Инженер называется.Инженер ... чего? Они разные бывают.
> А ты - трепло. У которого ничего нет и не было. Поэтому
> у тебя и "все работает" - ничего сложнее дырявой флэшки у
> тебя отродясь не росло.Да откуда тебе знать что у меня есть и нет? Вот чего у меня точно нет - так это гигантомании с желанием делать убер-мега-централизованные штуки. Ибо на инженерном уровня я помню что большому кораблю - БОЛЬШАЯ торпеда. После чего он 1 махом - того.
> Что у кого-то дома может стойка стоять - для тебя прям нечто невероятное.
Не, ну некоторые и ядерные реакторы, вон, запиливают. Но реально - Ларабеля я еще могу понять, у него подвал под это выделен. А ставить в вот именно жилое помещение эти истребители на взлете - ну вот не, спасибо. Есть такая штука - качество жизни. Но ты это не проходил, тебе это не задавали.
> Для вешания лапши на уши про мега-умения в "data recovery" достаточно видимо
> и ноута.А подгар то у эксперта - хорош. Но таки ты с своими убер-дорогими штуками уже во многом мамонт прошлой эпохи. Независимо от того нравится тебе это или нет. И всякие btrfs, bcachefs и проч - прозрачные намеки на перспективы. А там еще забавные инициативы рефакторов под суперскоростное IO в процессе, таки, мамонтов отправят в вечную мерзлоту. Они то это все не смогут в таком объеме. Тем более в взаимодействии с апстримом.
Проще диски по одному менять в пуле. После замены всех пул автоматически (или нет - там есть такая настройка) расширится. В этом плане raidvz2/raid6 действительно штука замечательная. Ну да, бэкап в любом случае иметь надо.
не, ну для raidz, да еще с больше чем одним parity это какая-то слишком сложная бизнес-идея.
Т.е. непонятно ни зачем так делать, ни куда девать такую кучу дисков, из под прежней конфигурации.
Чисто технически это приятный бонус при "плановой деградации" - т.е. когда диски просто дохнут со временем и заменяются на большие просто потому что "тех мелких уже не делают", у меня есть такой экземпляр, за шесть лет в полтора раза вырос. Но там, разумеется, обычное зеркало (и изначально было с неудачными wd red), а с raidz2 это все же как-то перебор. Я наверное все же расстроюсь если мне за несколько лет придется в нем поменять аж ВСЕ диски (причем по факту-то поменять некоторые придется не по одному разу, они летят не последовательно).При этом в зеркало-то добавить еще одно зеркало - не проблема, ни по деньгам, ни по надежности - было у тебя 2, стало 2+0 - хуже, но не настолько чтоб прям переживать, мы все еще можем потерять сразу два диска и не помереть от этого, если они в разных зеркалах.
А вот смысл новой фичи - от меня ускользает. Там еще и неприятный подвох, что старые данные остаются в страйпах прежней конфигурации, т.е. намеренно проектировать себе большой пул "на вырост" - нельзя. Вот реально хрен его знает зачем так жыть.
> Там еще и неприятный подвох, что старые данные остаются в страйпах прежней конфигурацииЭто не подвох, а фича. Сделано так специально, как раз для того чтобы не делать того, чего ты так боишься: не пересчитывать parity для всего пула при каждом добавлении нового диска. Со временем, по мере того как данные в пуле будут перезаписываться, они будут записываться уже с новой избыточностью. Подробнее можно почитать здесь: https://arstechnica.com/gadgets/2021/06/raidz-expansion-code.../
я боюсь отказа от повышенной в этот момент нагрузки на ВЕСЬ пул - как, собственно, и при отвале одного из дисков. А не небольшой потери производительности из-за перерассчета parity.
А эта нагрузка никуда не девается, потому что хочешь не хочешь - данные придется перераспределять между дисками равномерно. Т.е. добавление нового диска или дисков - все равно затрагивает ВЕСЬ пул целиком (и более того - это необратимая операция, удалить уже нельзя, если что-то отвалится - то меняем и едем дальше).> по мере того как данные в пуле будут перезаписываться
И часто у тебя вот так данные в пуле (raidZ пуле! иначе бы и говорить было не о чем - т.е. речь о минимум пятидисковых системах) перезаписываются? Причем не по одному блоку, а целым страйпом на всю ширину пула (иначе не будет чего перераспределить).
Я хз что это за use pattern, но у меня такого никогда не было.
По факту у тебя скорее всего ничего никуда особо не перезапишется, и так и останется лежать, а длинными страйпами запишутся только новые данные. Т.е. добавил ты пусть даже два диска к 4+1 (что само по себе стремновато) - теперь у тебя только 1/3 массива работает на полной скорости (при 100% заполнении, которого, разумеется, тоже нет).
Может того - лучше было все ж поднапрячься, кредит там взять, соседа на мясо сдать - но сразу уж купить восемь дисков и сделать 6+2 ?
На фоне цены коробки в которую они ставятся - не особо-то и заметна разница.
> я боюсь отказа от повышенной в этот момент нагрузки на ВЕСЬ пул - как, собственно, и при отвале одного из дисковПри расширении пула ты добавляешь диск к здоровому (целому) пулу, а не к деградировавшему, поэтому никакой сверх обычной нагрузки там не будет. В процессе скраба (который запускается гораздо чаще чем ты будешь расширять пул) на диски тоже действует повышенная нагрузка, но ты же не станешь из-за этого предлагать оказаться от скраба? Боишься повышенной нагрузки - выключи сервер и больше не включай.
> И часто у тебя вот так данные в пуле перезаписываются?
Давай ты сначала назовёшь хоть одну причину, по которой их вообще надо перезаписывать. Если я ничего не путаю, то основной недостаток хранения данных в старой конфигурации в том, что в "расширенном" пуле parity будут занимать больше места по сравнению с пулом, собранным с нуля. Но, во-первых, разница эта невелика, а во-вторых, относительно старого, "дореформенного" пула ты всё равно ничего не теряешь, и добавляя диск на 4 ТБ ты эти дополнительные 4 ТБ и получишь.
> При расширении пула ты добавляешь диск к здоровому (целому) пулу, а не к деградировавшему,и? В чем принципиальная разница,как ты думаешь?
> поэтому никакой сверх обычной нагрузки там не будет.
никакой, совсем никакой - только старый пул надо перераскидать на новый диск для того чтобы появилось место.
Это не полный п-ц как с деградировавшим (когда перечитывается 100% оставшихся блоков и перезаписывается 1/n из них, тут перечитывается/перезаписывается < 1/n) но тоже совсем не айс, потому что у тебя пойдет _запись_ на все (!) диски пула в массовых объемах.
> но ты же не станешь из-за этого предлагать оказаться от скраба?в смысле? Я никогда не буду запускать ненужный scrub. Да, это совершенно бесполезная и вредная нагрузка, зачем она нужна?
scrub запускают когда есть причины это делать. Например, система перезагрузилась нештатным образом. Зачем ты его запускаешь еще?> Давай ты сначала назовёшь хоть одну причину, по которой их вообще надо перезаписывать.
мляааааа... у тебя было четыре диска с данными. Осталось пусть 10% свободного места - на КАЖДОМ, потому что данные пишутся - страйпом. Ты добавил пятый. Он пустой. На остальных как было 10% - так и осталось. Добавить туда место с нового диска можно только одним способом - _переписав_ часть данных так, чтобы они разложились более-менее равномерно.
И именно это происходит при zpool add pool zraid disk
Почему при этом не меняется число блоков в страйпе - догадаться несложно, так было на порядок проще сделать. Ребалансировки, как у btrfs, ну ниасилили, нету ее. (не так это и просто для рейда)
> никакой, совсем никакой - только старый пул надо перераскидать на новый диск
> для того чтобы появилось место.
> Это не полный п-ц как с деградировавшим (когда перечитывается 100% оставшихся блоков
> и перезаписывается 1/n из них, тут перечитывается/перезаписывается < 1/n) но тоже
> совсем не айс, потому что у тебя пойдет _запись_ на все
> (!) диски пула в массовых объемах.В случае штук типа btrfs эти заявления элементарно не соответствуют действительности и worst case чем-то похожий на это может быть только на очень забитой хранилке.
чувак, никому неитересна твоя бырбыры в теме про zfs, угомонись уже.Она банально вообще не умеет в raid6, нечего обсуждать.
Тока сеня читал в FreeBSD mastery: ZFS, что raidz не расширяются,
а если использовать add вместо attach, то хана пулу.
А тут вон добавили, шикарно
всегда использовал безопасный способ (но более затратный).
создавал новый пул на новых дисках, и просто переносил туда данные.
да, не по феншую ZFS, зато увеличение пула всегда проходило без проблем.
наоборот, единственноправильный метод. Обычно за это время собачка успевает подрасти, и новые диски позволяют все содержимое старых сложить в незаметный уголок.Вплоть до того что было 6+2, а стало 3way mirror, потому что...а нахрен не надо столько места занимать и столько тепла выделять, вот что. Те были двухтерабайтники, а эти, гляди-ка - по 20.
> а если использовать add вместо attach, то хана пулу.не хана пулу, но хана redundancy, впрочем, ходят необоснованные слухи что в современных версиях стало МОЖНО удалить обратно такое add (но это неточна!).
И учти что синтаксис другой и zpool add pool disk - по прежнему создаст тебе вот такое же. Добавлять надо не к пулу, а к массиву.
вопрос к знатокам: что вы делаете с шумом от хардов в квартире?
Меняем диски на тихие.
это какие, например? на какие ни посмотришь отзывы, все громкие
попробуй NVME.
Пару контор даже выпустили материнские платы с 4 разъемами для NAS.
в принципе вариант. посмотрел сейчас - цены всего в два раза ниже hdd, для дома норм. и места меньше занимают, и в usb моего N100-сервачка можно воткнутьно вот с большими объёмами у них с ценами беда, конечно
> вопрос к знатокам: что вы делаете с шумом от хардов в квартире?дверцу у шкафа закрываю нахрен. Теперь слышно только вой вентиляторов самого шкафа.
не стрёмно в шкафу круглосуточно работающую электронику держать?
В смысле?
Это промышленный 19" шкаф, точно такой же как в ЦОДах стоят.Но, поскольку у меня нет "холодного коридора" и я не могу жить при температуре +18 - в нем стоит штатное принудительное охлаждение. И на его фоне никаких внутренних звуков не слыхать.
Но, собственно, с отдельно стоящим сервером я тоже слышу не диски а вой вентиляторов.
Диски, особенно гелиевые - достаточно тихие. Но недостаточно холодные чтобы можно было обойтись пассивным охлаждением.
> не стрёмно в шкафу круглосуточно работающую электронику держать?Ты не понял. Его настолько покусал энтерпрайз что он установил себе второй холодильник^W^W майнфрейм^W в общем 19" шкаф походу.
И да, поскольку нормальные люди это ставят в датацентрах где как правило никого нет и вой похрену - выть оно умеет достаточно конкретно. А у этого гражданина, вероятно, соседи удивляются как можно пылесосить постоянно :)
Ну я вообще-то работаю - в IT. Поэтому довольно логично что некоторые мои хобби немножко похожи на рабочую обстановку. Иначе непонятно, чего я там работал бы.> И да, поскольку нормальные люди это ставят в датацентрах
сколько у тебя уже своих датацентров? У меня пока ноль.
Впрочем, ты похоже ни в одном не бывал, на картинках видал. Там либо система горячих и холодных коридоров, либо подача холодного воздуха через пол, сами по себе они абсолютно безшумные, компрессоры где-то далеко.Шкафы с принудительной вентиляцией предназначены именно для установки в неприспособленных для этого помещениях.
> Ну я вообще-то работаю - в IT. Поэтому довольно логично что некоторые мои хобби
> немножко похожи на рабочую обстановку. Иначе непонятно, чего я там работал бы.Хорошо что в айти! Ведь мог бы и водителем карьерного самосвала или вообще работником АЭС оказаться. Но вообще офигенный сюжет для фильма - "покусанные энтерпрайзом" :)
>> И да, поскольку нормальные люди это ставят в датацентрах
> сколько у тебя уже своих датацентров? У меня пока ноль.Да, но то оборудование делается - для установки в окружении датацентров и прочие НЕЖИЛЫЕ помещения.
> Впрочем, ты похоже ни в одном не бывал, на картинках видал. Там
> либо система горячих и холодных коридоров, либо подача холодного воздуха через
> пол, сами по себе они абсолютно безшумные, компрессоры где-то далеко.Я б не назвал датацентры - бесшумными, весьма зависит от. Да и "майнфрейм" размером с холк ставить - весьма на любителя. Хотя антуражно, конечно, спору нет. Небось молодость вспоминается, когда компы были большие, а ты маленький.
> Шкафы с принудительной вентиляцией предназначены именно для установки в
> неприспособленных для этого помещениях.Да там даже вентили вроде бывают достаточно большие и потому не сильно шумные. Но вот все остальное у серверного оборудования орет обычно знатно. И HDD услышать за ором каких-нибудь 13 000 rpm 40 mm "турбин" или какие там еще прелести встречаются - надо иметь очень чуткий и музыкальный слух :)
> Хорошо что в айти! Ведь мог бы и водителем карьерного самосвалая не думаю что те сделали свою работу из хобби. Так что максимум - коллекционируют игрушечные машинки, а скорее всего рады-радешеньки вылезти из кабины и забыть о ней. И в отличие от меня, это не чревато им потерей квалификации.
> Я б не назвал датацентры - бесшумными, весьма зависит от.
внезапно, источник шума - внутри стойки.
> Да там даже вентили вроде бывают достаточно большие и потому не сильно шумные.
8", но, к сожалению, сильно. Это в офисных помещениях и тому подобных местах не особо слышно. В квартире рядом с этим находиться можно, но недолго.
Игры с домашними системами хранения, они такие.
>> Хорошо что в айти! Ведь мог бы и водителем карьерного самосвала
> я не думаю что те сделали свою работу из хобби.Но таки некто Siphun, таки, стал чем-то между мемом и легендой, получив прямо на дому - около 500 живительных рентген на свою тушку (это ему народ посчитал потом, по мощности источника питания и типовому кпд рентгеновских трубок). И загремев с острой лучевкой в больничку, конечно. Так что доктора сперва шарахались как от прокаженного, пока им не объяснили что это он так, таки, живительным рентгеном.
На его счастье - выжил и даже основательно загоревшая клешня вроде не отвалилась. Правда, рентген бетоном неплохо задерживается, но вообще как тебе идейка получить такого соседа?
А 1 американец пошел дальше и - расковырял нехило датчиков дыма. Собрав прилично материала для запуска реактора. Он оказался неленивым ти - собрал весьма фонящую вундервафлю. Вызвав нехилую панику у спасателей, немного о...ших с уровенй радиации "в интерьере".
На этом фоне айтишник с стойкой - безобидный чувак с легкими чудачествами :)
> из кабины и забыть о ней. И в отличие от меня, это не чревато им потерей квалификации.
Да оно вроде у тебя и так - произошло. Большая часть твоих знаний о линухе застряла в 2010 году.
>> Я б не назвал датацентры - бесшумными, весьма зависит от.
> внезапно, источник шума - внутри стойки.Однако если поток воздуха есть - то и шум с ним таки пролезать будет. А звуканы вентилей некоторых серверных питальников или турбин охлаждающих процы 1U блейдов сравнимы разве что с истребителем на взлете.
>> Да там даже вентили вроде бывают достаточно большие и потому не сильно шумные.
> 8", но, к сожалению, сильно. Это в офисных помещениях и тому подобных
> местах не особо слышно. В квартире рядом с этим находиться можно, но недолго.Ну так в доме/квартире ночью уровень шума другой. И вот тут я вполне могу слышать - винчи.
> Игры с домашними системами хранения, они такие.
В принципе у Ларабеля в подвале тоже нечто такое стоит, в энном количестве. Но вот он - таки реально небольшой тематичный датацентрик в подвале отгрохал. Это все же несколько экстремально. И только электричества он жрет - 2 мегаватта в месяц. Поэтому ему приходится суетиться и отбивать затраты, своими бенчами, в том числе как я понимаю всяким корпоративным толстым котам. Нормально придумал так то - на работу ходить не надо, она прям в подвале.
Ну и если оно в подвале - так и пусть себе там воет. Но у тебя наверное подвала как у него - нет? Или таки - фороникс #2 пропадает? :)
А они у вас точно от хардов, а не от вентиляторов?
Если нужна тишина сначала надо разбираться с шумом издающее воздушное охлаждение. Из-за шума воздушного охлаждения можно не услышать шума одного работающего HDD.
после перехода на водяное и безвентиляторные питальники выясняется что у тебя сгорают диски. Потому что внезапно им тоже нужно охлаждение. (предполагаю что про мост тебе кто-то заранее скажет или производитель догадается подсказать)А когда ты все это наладишь, выясняется что все это - жужжит еще хуже чем просто большой тихий вентилятор, если тот вовремя менять.
> Если нужна тишина сначала надо разбираться с шумом издающее воздушное охлаждение. Из-за
> шума воздушного охлаждения можно не услышать шума одного работающего HDD.Современные просторные комповые корпуса - расчитаны на 120-140 мм вентили, эти таки тихие при нормальном потоке воздуха, если с оборотами не звереть. Чем больше вентиль тем больше воздуха он гонит при равном уровне шума.
И там в целом - если с TDP не звереть - может быть нифига не слышно. Особенно - в idle. На полном ходу шум воздуха появится, конечно. Но надолго вы многоядерную 64 бит вундервафлю так прогрузите? Если вы не гентушник - то что вы будете в таком объеме считать?
А вот когда вы уже слышите стрекотание дисков - man hdparm и крутите настройки AAM. Конечно seek станет медленнее, если перфоманс урезать во имя тишины, чудес не бывает. Зато не будет энтерпрайзного экспериенса прямо на дому.
> Современные просторные комповые корпуса - расчитаны на 120-140 мм вентили, эти таки
> тихие при нормальном потоке воздуха, если с оборотами не звереть. Чемсовременные так себе корпуса рассчитаны на победу на конкурсе дизайнов, а не на эффективное охлаждение начинки, увы. Поэтому нате вам стеклянную дверь на петлях (вам же пофигу что для нее нужно место еще с два таких корпуса) и светодиодную подсветочку из зАда.
Ну а такой который действительно предназначен для больше чем одного жесткого диска 24/7 - "интересовавшиеся этим товаром так же купили: наушники для стрельбы, затычки для ушей" (с) Амазон.
У нетапа вон все норм охлаждается. И недорого (с доставкой по штатам, конечно). В гараже, наверное, поставить можно.
> современные так себе корпуса рассчитаны на победу на конкурсе дизайнов, а не
> на эффективное охлаждение начинки, увы.В именно современных одно другому не мешает, если конечно брать от нормальных фирм и под мощные конфиги. Продвинутые топовые бигтауэры делаются под ломовой TDP воркстейшнов, геймеров и проч. С топовыми видяхами, процами и т.п..
Поэтому оно неплохо продувается - относительно большими и тихими вентялями. Во всяком случае, на непозорный проц, 1-2 видяхи верхушки среднего сегмента и 4-5 веников и проч совершенно не напрягается.
Узнать такие штуки легко. Стоит не менее 100-150 баксов и продается без питальника, предполагается что юзерь сам купит нечто нормальное под свой конфиг. И ставится питальник - вниз. Дабы его воздушные потоки шли отдельно от и так нагретого воздуха от проца. У некоторых даже место под водянку сразу есть, если оно надо. И да, даже так можно получить память с ECC и проч.
> Поэтому нате вам стеклянную дверь на петлях (вам же пофигу что для нее нужно
> место еще с два таких корпуса) и светодиодную подсветочку из зАда.Мои агрегаты ничем таим особо не страдают - просто есть парочка бигтауэров с неполохим обвесом. Светодиодной подсветки у меня нет, а вот 8 x 120..140 вентилей - таки да. В холостом режиме они удушены по оборотам и реально винчи - самое громкое. Если конечно поврубать счет на всех ядрах CPU и обоих GPU, TDP, конечно, будет более другой и обороты ессно тоже. Но даже так - слышно лишь негромкий шум воздуха.
> Ну а такой который действительно предназначен для больше чем одного жесткого диска 24/7
В мои на максималках можно наверное штук 8 веников затолкать, и там - таки - и корзины есть для удобной уствновки, и вентили для обдува прям перед вениками. Но зачем мне такой турбо пепелац? :)
> У нетапа вон все норм охлаждается. И недорого (с доставкой по штатам,
> конечно). В гараже, наверное, поставить можно.А оно мне надо - всякие неведомы проприетарные штуки? У меня нет passion целовать проприетарным господам ботинки, я и сам на пантеон поучусь ходить, без этого всего. Это и дешевле, и интереснее.
> В именно современных одно другому не мешаетс апломбом заявляет нам кексперт с дырявой флэшкой.
Вот когда соберешь хоть одну систему с больше чем одним диском - тогда и приходи рассказывать сказочки.
> А оно мне надо
да тебе ничего не надо, кексперт.
Но ценное мнение имеешь.
> с апломбом заявляет нам кексперт с дырявой флэшкой.
> Вот когда соберешь хоть одну систему с больше чем одним диском -
> тогда и приходи рассказывать сказочки.Мля, в вот этой железке - 5 довольно жирных веников постепенно отросло. И SSD под систему. Это и так на грани предела моей толерантности по части общий свойств этого добра. И так AAMом немного придушил стрекот.
>> А оно мне надо
> да тебе ничего не надо, кексперт.
> Но ценное мнение имеешь.Да я не сомневался что есть 2 мнения - твое и неправильное :)
при чём тут шум охлаждения? вопрос был про шум дисков
> при чём тут шум охлаждения? вопрос был про шум дисковпри том, глупенький, что если у тебя диски не спеклись еще - ты не шум дисков будешь слышать, а шум того что их охлаждает. И вот с ним - ничего сделать нельзя вообще.
> при том, глупенький, что если у тебя диски не спеклись еще -
> ты не шум дисков будешь слышать, а шум того что их
> охлаждает. И вот с ним - ничего сделать нельзя вообще.Ты там что, 15 000 RPM чтоли наставил? У меня веники обдуваются парой фронтальных стодвадцаток (их RPM диначески рулится). Выше 45 градусов их температура никогда не поднималась (это прям по их smart, он умеет lifetime min/max запоминать), при том что это все не слышно, так что я немного AAM придушил - чтоб не тарахтели. От них все же емкость требуется, а для скорости и под систему у меня вообще SSD'шник.
Ничего не делаем.
Их практически не слышно.
Во время ремонта квартиры я соорудил полку в туалете с закрывающейся дверцей и поставил системник на эту полку, получился эдакий "туалетный сервер". Протянул туда витую пару, сделал электророзетку. Да, там он шумит конечно, но при закрытой дверце полки и при закрытой двери туалета звуки от системника (винтиляторов и дисков) в остальные комнаты квартиры не доносятся вообще
да и пердёж не так слышно...Но беда не в том что он шумит, а в том что твои соседушки над и под разумеется снесли под корень вентиляционную шахту и впиндюрили туда полоцьку. А твоя сплит-система в комнатенке - до сортира не добьет. И сгорит все первым же жарким летом - к хренам.
Зато бесшумно, ога.
P.S. причем у каждого первого, подозреваю, обитателя человейника, есть остекленный и может даже отапливаемый балкончик, где никто ночевать вроде не планирует, но там рассада, это швятое, какой еще сервер.
Народ, есть такая проблема. У меня система на ZFS при полном бездействии (!) записывает на диск 1.5-2 ГБ данных в час (!). du при этом рапортует о 15-30 МБ. Это как, нормально вообще? Это ж ппц просто... С такими чудесами никакого ssd не хватит.
fsminer3 удалите
Откуда ему взяться? Да и был бы это майнер, это было бы заметно по загрузке процссора, а у меня ничего подобного нет.
ищите что в системе так сильно пользует FS.
может быть у вас хитрая конфигурация zraid
или диски битые
и поэтому zfs постоянно перестраивает данные.а может у вас скраб постоянно отрабатывает.
Да никто её не использует. Я проверял и iotop'ом и fatrace'ом, и чем только не проверял. Причём эти 2 ГБ идут сверху всегда, независимо от объёма записанных данных, т.е. записал файл размером 10 ГБ -- на диск легло 12-13 ГБ, записал 100 -- легло 102-103. Т.е. никакое усиление записи тут тоже ни при чём. А если оставить комп в покое, то через несколько часов эта цифра снижается примерно до 150-200 МБ. У меня даже мелькала мысль, что может и правда майнер какой-то. Хотя если это майнер, то какой-то странный... Диск (ssd) в полном порядке, скраб тоже ни причём (он, если не ошибаюсь, запускается у меня раз в месяц, и это сразу заметно). Ради интереса устанавливал точно такую же систему в виртуалку (только без браузера, плеера и прочих пользовательских программ), и на ней ничего подобного не происходит. Я уже начинаю думать, что может это ssd в фоне что-то химичит, вот только сомнительно что его деятельность должна отражаться в смарте... Короче, не знаю что происходит :)
если есть возможность, склонируйте и поставьте для тестов другой SSD.
удаленно сложно поставить диагноз "по телефону".
может и прошивка\firmware SSD вносит свою лепту.
иначе - переустановка, если в виртуалке все ок.
у меня скраб еженедельный, и да, заметно когда чекит диск.
"А если оставить комп в покое, то через несколько часов эта цифра снижается примерно до 150-200 МБ" снижается или повышается?
Снижается. Статистику собираю iostat'ом раз в час по крону. Если оствить комп в покое (на ночь), то первые несколько часов он так и продолжает писать 1.5-2 ГБ в час, хотя никакие программы в это время не запущены. Потом количество записей снижается.
А при обычном сёрфинге 2.5-3 ГБ в час -- уже привычная картина. ссд при этом ледяной, загрузка прцессора тоже практически нулевая.
Стоит увеличить zfs_txg_timeout до 30 секунд.
нет, это не нормально.
Эти 15-30 мб у тебя откуда-то взялись, zfs сама их не рожает.Ищи какой-нибудь ненужный лог или еще что. Если он пишется по одному символу с fsync - да, 15 мегабайт легко могут превратиться в гигабайты.
и нет, не scrub
> 15 мегабайт легко могут превратиться в гигабайтыЕсли это было так, то подобную картину наблюдали бы все, а не только я.
Просто когда ее наблюдают люди пограмотней тебя - они не бегут со своим ценным наблюдением в совершенно несвязанное с ним сообщение на каком-то сайте в интернете, а идут выяснять, зачем и что у них такое делает. И выключают (ну либо живут с этим).А у тебя - лапки.
Используй программы которые показывают, что пишет на диск и думай, что с этим делать если что-то выясниться и с этим можно что-то сделать. Это как пример: github.com/mate-desktop/caja/issues/1704
позравляю, теперь ты узнал что такое ZFS, она требует SSD диски корпоративного класса, если ты её поставишь на обычные SSD, то ресурс их кончится очень быстро. эта ФС изнашивает диски до 8-10 раз быстрее чем другие.
> эта ФС изнашивает диски до 8-10 раз быстрее чем другие.Откуда такие цифры, стесняюсь спросить? И почему она будучи установленной в виртуалку их не изнашивает?
чтобы понять надо знать как эта ФС работает, почитай форумы proxmox например, как наивные ребята ставят эту фс для виртуалок на обычные ssd с домашним DWPD, а через год их ресурс заканчивается.
А ты попробуй своими словами объяснить, раз уж ты об этом заикнулся.
Это по быстрому что нашол: верить или не верить этому каждый решает сям. Перепроверять надо. Возможно, трим уже есть но только возможно.
"
Вот несколько основных причин, почему использование OpenZFS с твердотельными накопителями (SSD) не является оптимальным:Износ SSD:
OpenZFS использует технологию копирования при записи (copy-on-write), что приводит к большему количеству записей на SSD.
Это может ускорить износ ячеек памяти SSD и сократить срок службы накопителя.Избыточная запись:
OpenZFS постоянно создает контрольные суммы и метаданные, что увеличивает количество записей на SSD.
Это может привести к преждевременному износу SSD.Фрагментация:
OpenZFS не оптимизирован для работы с SSD, что может привести к фрагментации данных и снижению производительности.Ограничения TRIM:
OpenZFS не поддерживает команду TRIM, которая помогает SSD освобождать неиспользуемые блоки данных.
Это может снизить производительность и ускорить износ SSD.Избыточность:
OpenZFS использует зеркалирование и RAID, что может быть избыточным для SSD, которые и так обладают высокой надежностью.В целом, файловые системы, оптимизированные для работы с твердотельными накопителями, такие как ext4, XFS или BTRFS, лучше подходят для использования с SSD. Они лучше справляются с особенностями SSD и позволяют продлить срок службы накопителя.
"Btrfs тоже использует технологию копирования при записи (copy-on-write), что приводит к большему количеству записей на SSD.
> Это по быстрому что нашол: верить или не верить этому каждый решает
> сям. Перепроверять надо. Возможно, трим уже есть но только возможно.
> "
> Вот несколько основных причин, почему использование OpenZFS с твердотельными накопителями
> (SSD) не является оптимальным:Спросил чатгопа? Какой молодец. При использовании на SSD cow так то неплохо маппится на логику wear leveling накопителя. И по опыту эксплуатации btrfs на обычных компах, типа серваков, лаптопов, десктопов и проч - разница в объемах записи VS ext4 не стоит упоминания.
В случае каких-то специфичных нагрузок, типа ACID баз с кучей мелких синхронных записей - мозможны варианты, конечно. Для этого btrfs умеет nocow, если что - и будет косить под примерно то что EXT4 и проч делали. Сабж... в него nocow вроде не завезли.
openzfs.org/wiki/Documentation читай если тебе это надо так надёжнее будет. Всё что узнаешь всё будет твоё. Спросил. Не утверждал что это верно.
> openzfs.org/wiki/Documentation читай если тебе это надо так надёжнее будет.Мне оно не надо - ибо см. выше, я больше за btrfs'а в форме сказать.
По каждому пункту - чушь.> OpenZFS использует технологию копирования при записи (copy-on-write), что приводит к большему количеству записей на SSD
Если речь идёт об усилении записи, то в действительности оно у ZFS при выключенном сжатии лишь немногим выше, чем у EXT4. "Немногим" -- это буквально на несколько процентов, даже не в два раза. А при включённом сжатии так и вовсе ниже, причём намного. Все эти сказки про то что zfs и btrfs имеют усиление записи чу ли не х30 -- это просто безграмотные мифы от людей, которые где-то когда-то что-то прочитали, сами ничего не проверяли и теперь распространяют эти байки среди таких же дурачков как и они сами.
> OpenZFS постоянно создает контрольные суммы и метаданные, что увеличивает количество записей на SSD
Верю, но к преждевременному износу это привести не может, т.к. если даже это и приводит к каким-то лишним записям, то они -- просто капля в море на фоне всего остального. В худшем случае ssd прослужит на пару дней меньше -- не велика потеря.
> OpenZFS не оптимизирован для работы с SSD, что может привести к фрагментации данных и снижению производительности.
Вообще никак не связано с износом. Напрямую во всяком случае.
> OpenZFS не поддерживает команду TRIM, которая помогает SSD освобождать неиспользуемые блоки данных.
Враньё. OpenZFS поддерживает TRIM.
> OpenZFS использует зеркалирование и RAID, что может быть избыточным для SSD
Вообще бред какой-то... Во-первых, если человеку RAID не нужен, то он его и использовать не будет, а если нужен, то будет использовать невзирая на "избыточность" (что бы это не значило). Кроме того RAID предполагает использование нескольких накопителей, нагрузка между которыми в любом случае будет распределена равномерно, следовательно и износ каждого диска в массиве будет никак не выше, чем износ одиночного ссд.
> SSD, которые и так обладают высокой надежностью
Очень сомнительное утверждение, особенно применительно к бытовым ssd и особенно с т.з. способности к долговременному хранению данных. К тому же каким бы ни был надёжным ссд, но рано или поздно он всё равно выйдет из строя, а RAID и придумали в первую очередь для того, чтобы избежать остановки оборудования для замены дисков, а вовсе не для "надёжности".
И уж тем более нелепо противоставлять ZFS и BTRFS, т.к. вторая тоже COW и в целом не имеет никаких преимуществ перед ZFS, кроме разве что более высокой скорости работы, да и то под вопросом.
"И уж тем более нелепо противоставлять ZFS и BTRFS, т.к. вторая тоже COW и в целом не имеет никаких преимуществ перед ZFS, кроме разве что более высокой скорости работы, да и то под вопросом"Слишком простое объяснение. Вроде того что: в принципе обе одинаковые забей на различия. Похожи, но не одинаковые различия есть, а какие различия существенные или нет это читайте сами кому это надо. Я так поверхностно глянул о OpenZFS мне это не надо на данный момент.
"Если речь идёт об усилении записи" об усилении записи надо ещё узнать, что оно есть. Чтобы включить сжатие о нём надо ещё узнать, что оно есть, а потом думать как включить и для чего включать. Допустим все всё знают о OpenZFS и BTRFS включат сжатие с пониманием. Может на это ссылаются. BTRFS www.cs.utexas.edu/~vijay/papers/apsys17-ioamp.pdf 2017 год. Ты кто? Это не оскорбление. Кому поверим им или тебе? Ты кто? Я человек - такой ответ не подходит. "Какие ваши доказательства?"
> что оно есть. Чтобы включить сжатие о нём надо ещё узнать,вот специально для ребят с лапками - нет, в zfs чтобы выключить сжатие - надо о нем знать.
Причем делать этого - нельзя, на самом деле. Она не предназначена для работы в таком режиме.
(ну в смысле вам, с лапками. Кому надо - тем можно, но они должны хорошо понимать на какие именно грабли наступят.)
"вот специально для ребят с лапками" - это мусор."нет, в zfs чтобы выключить сжатие - надо о нем знать.
Причем делать этого - нельзя, на самом деле. Она не предназначена для работы в таком режиме" Часть фразы не цитирую.
(ну в смысле вам, с лапками. Кому надо - тем можно, но они должны хорошо понимать на какие именно грабли наступят.)
Пояснение существенное, нужное если это так. Мои слова были о BTRFS так как я о ней кое-что знаю, пользовался в том числе и сжатием. О ZFS, OpenZFS ещё меньше знаю.
Да, просто запомните и запишите - выключать дефолтное сжатие на zfs - нельзя.
Она никем даже и не тестируется в такой позе.И скорее всего там все давным-давно напрочь поломано.
Это я уже читал, 2019 год: habr.com/ru/articles/476414/
Молодец. А теперь забудь всё что ты там прочитал.
"Молодец. А теперь забудь всё что ты там прочитал" эти слова для меня не аргумент. Не чего мне доказывать не надо, вы если хоте переубедить или в чём-то убедить, или рассказать подтверждайте чем-то если вам это надо, иначе вам могут не поверить. А то выглядит чуть лучше этого: попой клянусь, всё что там написано не так как есть на самом деле.
По ответам что тут попадаются скорее будет так, так больше похоже.А то выглядит чуть лучше этого: жопой клянусь, всё что там написано не так как есть на самом деле.
> И уж тем более нелепо противоставлять ZFS и BTRFS, т.к. вторая тоже
> COW и в целом не имеет никаких преимуществ перед ZFS, кроме
> разве что более высокой скорости работы, да и то под вопросом.Только менеджмент зело приятнее, снапшоты логичнее и проще сделаны, девайсы add/remove намного менее геморно, интегрировано с майнлайном, а заодно умеет NOCOW - на случай если вот именно логика cow - "не очень". Оракл очень просил, для баз.
А вот базу с мелкими записями на ZFS разложить... ну ему и придет амба от cow'ания журнала базы и кучи фрагментиков от того что изначально было задумано как in-place перезаписи в файле (БД пытаются косплеить логику ФС сами, но этот паттерн доступа с идеей cow не дружит, журналинг журналов/cow'ing cow - тупая идея).
Как я понял надо смотреть последнею документацию к OpenZFS. Оптимизации в OpenZFS для SSD делают. Но какие? Возможно если сам под конкретное дело не настроить для SSD OpenZFS будет работать как для HDD. Точно мне ясно даже если и есть в OpenZFS оптимизации для работы с SSD всё равно как и с BTRFS запись на диски SSD будет больше чем у ext4. А насколько это выясняйте сами кому надо.
Для себя ради интереса посмотрел. openzfs.org/wiki/Features#TRIM_Support"
TRIM SupportTRIM support provides the ability to pass deletes / frees through to underlying vdevs that help to ensure devices such as SSD's, which rely on receiving TRIM / UNMAP requests for sectors which are no longer needed, maintain optimal performance.
Two modes of TRIM/UNMAP were added: manual and automatic. Manual TRIM through the `zpool trim` command does on-demand TRIMing. Automatic TRIM can be enabled to perform a periodic background TRIM.
illumos not yet ported
FreeBSD OpenZFS v2
ZFS on Linux Mar 2019
OpenZFS on OS X Mar 2019
"
> Для себя ради интереса посмотрел. openzfs.org/wiki/Features#TRIM_SupportКстати, чушь написана.
> FreeBSD OpenZFS v2
поздравляю этих звиздунов совравши.
А на деле поддержка trim была _портирована_ в openshitfs _из_ freebsd'шной реализации перед окончательным мержем.
Причем теми же самыми кто ее там делал десять лет назад.
Я правильно понял чуш написана имеется в ввиду только это "FreeBSD OpenZFS v2"?
полагаю, остальное правильно - примерно в том 19м году в ZoL вмержили бсдшные куски кода, в том числе и с Trim.Все что нужно знать про уровень прожекта ZoL/OpenZFS по сравнению с нативным кодом на фре.
К сожалению, никакой другой zfs у меня для вас (теперь) нет.(по этой причине свою хранилку я с 11 апгрейдить никогда и не буду. И там выключен большой вредоносный кусок кода портированный из ZoL)
> (по этой причине свою хранилку я с 11 апгрейдить никогда и не
> буду. И там выключен большой вредоносный кусок кода портированный из ZoL)А на нах. время обиделось и у него всегда полшестого и всегда пора пить чай :)
То что меня заинтересовало из тех слов, соответствует это -> из перерода я понял, что для OpenZFS, для Linux с 2019 года появился TRIM но, TRIM для OpenZFS не включен и может работать в двух вариантах: самому запускать TRIM для OpenZFS или самому сделать, чтобы автоматически запускался TRIM для OpenZFS.
> То что меня заинтересовало из тех слов, соответствует это -> из перерода
> я понял, что для OpenZFS, для Linux с 2019 года появился
> TRIM но, TRIM для OpenZFS не включен и может работать
> в двух вариантах: самому запускать TRIM для OpenZFS или самому сделать,
> чтобы автоматически запускался TRIM для OpenZFS.ну учитывая что это не безобидная операция - таки первый вариант лучше.
Хотя на своем диске - я не заметил особой задержки, но она может быть, наклон мозгов каждой ssdшки особенный.Я эту фигню использую для вмвари, где, естественно, бессмысленно включать фичу. Надо урезать осетра - дергаешь zpool trim.
По умолчанию вроде до сих пор off/unset, нойета ниточна, потому что сам понимаешь, узок круг леворюционеров, рискнувших поставить себе только что вывалившийся из под хвоста 2.3.0
По потребностям. Кому оно надо тот разбирается если о существовании OpenZFS знает, а кому не надо не разбирается и если есть выбор. Мне не надо не пользуюсь, точно на данный момент не надо. Всё началось с вопроса почему так много пишется на диск, использую файловую систему OpenZFS. И похоже человек использует OpenZFS, а сам не понимает что такое файловая система OpenZFS — деталей не знает о файловой система OpenZFS только в общих чертах.Mint:
"
ZFS removedZFS support was removed from the installer.
This feature wasn't used by many people and required a significant amount of work and maintenance to be properly tested and supported.
"
Да там товарисч даже не понимает ЧТО у него пишется. Куда ему в zfs, когда он в своей системе даже не может найти что у него там пишет, казалось бы, задачка несложная совсем.> This feature wasn't used by many people and required a significant amount of work
Чую, их следующий шаг - "mint removed". С тем же самым комментарием, что характерно.
Не, ну а чо - используется полутора инвалидами, и поддержка дистрибутива - required significant amount...
(уж всяко посложнее чем разово zpool create вызвать. Помню, разглядывал эту поддержку во фре, где она, понятно, основная фс - ну так, страничка-полторы sh-скриптов.)
Я тоже не спец по файловым системам, Linux. Умею искать где что почитать.
Я ещё проще сделал но, это виртуализация и туда кроме обновлений не чего практически не пишется. А NTFS это NTFS, что есть то и есть. И exFAT использую. Это всё с пониманием, где и какая надёжность у всего этого. Пока меня такое устраивает. ibb.co/wJBgRJz
Забыл написать. exFAT с пониженным кластером.
> Допустимый размер имён файлов и каталогов увеличен c 255 до 1023 символов (новый размер выбран с расчётом размещения 255 4-байтовых символов).Решительно одобряю! Теперь можно взять и просто скопировать файлы с NTFS не измеряя имена. Не знаю насколько просаживается производительность, но это того стоит. Надо чтобы еще в ext4 такое заехало.
хм.
По умолчанию в винде, ЕСЛИ НЕ ПРАВИТЬ РЕЕСТР, все же на ntfs томах ограничение в 255 символов.
Проверено кучу раз начиная с win2000 и вплоть до до win10.
255 символов не всегда влезут в 255 байтВ новости под словом символ понимается однобайтный ASCII символ
> По умолчанию в винде, ЕСЛИ НЕ ПРАВИТЬ РЕЕСТР, все же на ntfs томах ограничение в 255шестнадцатибитных символов.
поэтому на ext2 не влезают.
Это только для Linux части как раз и сделано, для FreeBSD патч урезан:
https://github.com/openzfs/zfs/pull/15921/commits/28cfb419af...
для умеющих читать - там написано что не урезан а просто не будет работать, потому что внутриядерные лимиты все равно не пропустят еще на уровне vfs.Выглядит патч, кстати, жутко стремно (раньше видимо полагались как раз на внутриядерные проверки, а тут поняляпано там и сям самодельных где попало... а где не попало - узнаем через пару лет). К счастью, это feature, т.е. можно выключить.
Кажется, мужик из Level1Tech эту ФС всё очень советовал для всяких серваков и насов. Особенно для ССД вместо HW RAID-ов.
> Кажется, мужик из Level1Tech эту ФС всё очень советовал для всяких серваков
> и насов. Особенно для ССД вместо HW RAID-ов.кажется - перекрестись. Я бы вот для себя любимого если бы собирал сейчас - сделал бы тесты на базе нее и на базе refs. И ничуть бы не удивился, окажись второе и надежнее, и быстрее.