"The future is bright for Linux filesystems (http://lxer.com/module/newswire/view/103802/index.html)" - анализ насколько файловые системы Linux готовы к работе с многотерабайтными массивами данных.В настоящее время XFS, поддерживая 64-битную адресацию, может работать с разделами размером 9 эксабайт (9216 петабайт или 9437184 терабайт)
URL: http://lxer.com/module/newswire/view/103802/index.html
Новость: http://www.opennet.me/opennews/art.shtml?num=16427
Увы не оченбто готовы. Одна проверка файловой системы на таких обьем чего будет стоить.
к десктопным\ноутбучным дискам - да, ext3 ещё надолго хватит.
>к десктопным\ноутбучным дискам - да, ext3 ещё надолго хватит.А вот выпендрятся и сделают скажем голографические носители.С емкостью на пару порядков больше... представляете себе fsck на диске в 500Тб?Ну, через недельку отстреляется.Хотя если его квантовым процессором снабдить - за пару часов уложится :)
> А вот выпендрятся и сделают скажем голографические носители.На стадии лабораторных экспериментов. Лет через тридцать они будут так же привычны, как сейчас CD и DVD. :)
>Увы не оченбто готовы. Одна проверка файловой системы на таких обьем чего
>будет стоить.Юзаю XFS немного.Ну, нормальная ФС вполне.Остался вопрос: что надо сделать чтобы получить файл такого размера с осмысленными данными?Сложить в БД все существующие в мире фильмы с HD качеством?9 с хреном миллионов Тб - это весьма много данных.
Но справедлво отметили пока еще альфу btrfs. А ext4, увы, костыль.
а что, кто-то серьезно хочет на много-терабайтных разделах использовать ext*?
Это чуть ли не единственная ФС, которая официально поддерживается вендорами.
А скажите пожалуйста для чего нужны такие ФС одному серваку? потому как для кластера толкового все равно мало чего предлагают. Ни семейство ext, ни XFS ни ReiserFS не умеют работать в мультихостовом окружении. Из бесплатных сразу вспомню только Oracle CFS, или RedHat GFS, но насколько они применимы в нагруженном окружении?
"ни XFS" ??? Зайдите на сайт sgi - они продают шкафы !!!
вот прелесть open source!
конторы уже нет, а fs осталась
..
кстати, хорошая fs, развивается сообществом.
и жён не убивает
Только вот не надо про жён.
> вот прелесть open source!
> конторы уже нет, а fs осталасьwww.sgi.com -- это про кого тогда???
А что надо использовать на многотерабайтных разделах?
CFS (теперь уже Sun) в люстре использует ;)
Размеры до 10P - полет нормальный ;)
>Размеры до 10P - полет нормальный ;)А у вас есть разделы на 10 петабайт?
> CFS (теперь уже Sun) в люстре использует ;)Я тут беседовал на Sun Tech Days с одним из разработчиков ZFS. Он сказал, что они портируют Lustre на ZFS (чтобы обойти ZFS POSIX Layer, через него-то Lustre и сейчас с ZFS'ом работает, но это неинтересно... :)
...на домашнем шеститеррабайтовом жосском (через 2 года)
chunkfs поможет проверке файловой системе
alex, для ZFS проверок не каких нет, ибо они там просто не нужны, а вот в других FS, как получиться вестимо...*ZFS*
>alex, для ZFS проверок не каких нет, ибо они там просто не
>нужны, а вот в других FS, как получиться вестимо...*ZFS*btrfs тоже такой фичастостью будет обладать. Если проект доделают, конечно :-)
у ZFS был шанс набрать комьюнити
...
но больше он уже здесь не нужен
к чему стремиться - есть
дальше решаем только технические вопросы.
>у ZFS был шанс набрать комьюнити
>...
>но больше он уже здесь не нуженНе надо говорить за всех, тем более - говорить глупости.
1) Кто как не комьюнити портануло еЯ на FreeBSD?
2) ZFS - проект Sun, оно будет жить и без коммьюнити.
ну и 0) Оно нужно.
ну-ну.
>Не надо говорить за всех, тем более - говорить глупости.
>1) Кто как не комьюнити портануло еЯ на FreeBSD?А оно простите релизного качества достигло и работает без проблем и граблей?Хотя те кто юзает BSD привыкли спать в обнимку с любимым напильником и если что-то не так, у них инструмент наготове...
>2) ZFS - проект Sun, оно будет жить и без коммьюнити.
Ага... особенно по судорожным опенсорц потугам санок заметно что комьюнити им совсем не нужно, ага.В современном мире выжить можно двумя путями:
1) Быть M$ и иметь миллиарды бабла, юзать монополию и нечестную конкуренцию.
2) Набрать большую базу юзеров и слегка подвинуть контору 1) с какого-то кусочка рынка.Ни файловая система, ни OS, ни программа у которой не набралось в итоге user base особых шансов не имеет.Кроме разве что случаев когда вы - M$ Corp.
>alex, для ZFS проверок не каких нет, ибо они там просто не
>нужны,JFS (а вроде и XFS) аналогично - после краша просто реплеит логи за несколько секунд.Все.По техническим причинам том с JSF пережил несколько дюжин некорректных перезагрузок без слива кеша на диск.Как показала практика, этого реплея логов за секунды достаточно.В смысле при желании там можно пнуть и полную проверку всего тома насильно - ну вот она ничего в итоге не нашла.Вывод: весьма приятная в плане отношения к крашам файловая система.Быстро оживает и не разрушается.Походу IBM знает толк в файловых системах.
Догадываясь где будут храниться данные в необозримом будущем))))Ядро́ Земли́ — центральная часть планеты Земля, геосфера, находящаяся под мантией Земли) и, предположительно, состоящая из железо-никелевого сплава с примесью других сидерофильных элементов. Глубина залегания — 2900 км. Разделяется на твердое внутреннее ядро диаметром около 1300 км и жидкое внешнее ядро диаметром около 2200 км, между которыми иногда выделяется переходная зона. Масса ядра — 1,932*10*24 кг. )))))))))))
Угу, это ещё у Лема было, что у планеты стало не Ядро, а Мудро.
А какой предел у моей любимой ext2?
http://en.wikipedia.org/wiki/Ext2
Хороший вопрос - хороший ответ :)
Скорее, готово ли появление многотерабайтных дисков к файловым системам Linux?
Ага, точно, дисков еще нету и неизвесно будут ли таковые, а уже проверяют сможет ли ext3 на них работать :) как только так сразу.
> дисков еще нету и неизвесно будут ли таковыеТы с какого века? Несколько десятков террабайт уже норма.
на одном разделе? точнее на одном винте ? вы правы, я не встречал с несколькими десятками терабайт.
Если слово RAID вам неизвестно, то извините, не буду отвлекать от приятного проведения летних каникул.
ага, еще норма на вертолете на работу,
а вечерком на самолете в сочи в море искупаться.
Ну если несколько террабайт для вас сравнимы с вертолетом... Даже на знаю что сказать.Надо же, остались таки мамонты, один про RAID не знает, у другого вообще вертолеты...
Недавно массив на 20ТБ настраивал, максимум что удалось на ext3 - это создать раздел 8ТБ с разделом кластера 4кб, хотя вроде бы должен быть максимум 16ТБ, может я что-то не так делал?
Система убунту сервер 8.04
>Недавно массив на 20ТБ настраивал, максимум что удалось на ext3 - это
>создать раздел 8ТБ с разделом кластера 4кб, хотя вроде бы должен
>быть максимум 16ТБ, может я что-то не так делал?
>Система убунту сервер 8.04http://batleth.sapienti-sat.org/projects/FAQs/ext3-faq.html
Q: What is the largest possible size of an ext3 filesystem and of files on ext3?
Ext3 can support files up to 1TB. With a 2.4 kernel the filesystem size is limited by the maximal block device size, which is 2TB. In 2.6 the maximum (32-bit CPU) limit is of block devices is 16TB, but ext3 supports only up to 4TB.Это похоже какой-то патченный ext3, потому что тут написано 4TB :)
И так что в итоге ? Нарезал 20TB на несколько разделов по 8TB ?
Или сделал один раздел в xfs/reizerfs ?
нарезал 8ТБ, 8ТБ, 6ТБ (в сумме 22ТБ, но реальных 20.1ТБ, т.е. 7.3ТБ, 7.3ТБ, 5.4ТБ)
А что можно было одним разделом сделать? а то очень надо было одним и с поддержкой ACL
сделай www.google.com своей стартовой страницей.Linux kernel >2.6.18 fixed ext3 kernel bugs so ext3 can support >8TB
filesystem. The filesystem size is still limited up to 16TB due to 32
bit block numbers (based on 4k default block size). It needs
e2fsprogs-1.39 to able to create a fs >8TB.
http://www.redhat.com/archives/ext3-users/2007-May/msg00013....
>А что можно было одним разделом сделать? а то очень надо было
>одним и с поддержкой ACLНе в обиду будь сказано, но почему-то от убунтушного сообщества совершенно естественным образом не ожидаешь подсказки из трёх букв -- xfs...
Захотите не смотреть на стораджи с таким растерянным видом -- рекомендую присмотреться к нормальным сообществам и нормальным операционкам. Где такие проблемы принято решать нормально.
ну не гони!
...
все-равно здесь уже нужен volume manager.
иначе - свалка. а какая разница, какая в ней fs?
...
хорошо бы btrfs (если правда, что о ней пишут), но так пока надежней
>Захотите не смотреть на стораджи с таким растерянным видом -- рекомендую присмотреться
>к нормальным сообществам и нормальным операционкам. Где такие проблемы принято
>решать нормально.Будьте добры - подскажите, пожалуйста, нормальное сообщество, нормальное операционку где решают нормально проблемы? если не секрет.
>Будьте добры - подскажите, пожалуйста, нормальное сообщество, нормальное операционку
>где решают нормально проблемы? если не секрет.Например, в https://lists.altlinux.org/mailman/listinfo/sysadmins точно предложили бы сразу XFS, да и про GPT б рассказали :-)
Посмотреть на скору руку или зацепить в RSS можно здесь: http://dir.gmane.org/gmane.linux.altlinux.sysadmins
Писать через gmane тоже пишут, но тут не знаю -- почтой подписывался.
FreeBSD ufs позволяет работать максимум с 0,8TB разделами, так что раид10 из десятка 1ТБ винтов пришлось заводить под zfs так что и тут не все в поряде. Надеюсь zfs окончательно вытеснит ufs через пару лет.
>FreeBSD ufs позволяет работать максимум с 0,8TB разделамимягко говоря это не так :-/
>FreeBSD ufs позволяет работать максимум с 0,8TB разделами, так что раид10 из
>десятка 1ТБ винтов пришлось заводить под zfs так что и тут
>не все в поряде. Надеюсь zfs окончательно вытеснит ufs через пару
>лет.UFS2 позволяет хранить до 2^73 байт на один том. Видимо либо ограничение ОС либо вы что-то не так делалали.
>>FreeBSD ufs позволяет работать максимум с 0,8TB разделами, так что раид10 из
>>десятка 1ТБ винтов пришлось заводить под zfs так что и тут
>>не все в поряде. Надеюсь zfs окончательно вытеснит ufs через пару
>>лет.
>
>UFS2 позволяет хранить до 2^73 байт на один том. Видимо либо ограничение
>ОС либо вы что-то не так делалали.
>
>Инфа: http://en.wikipedia.org/wiki/Unix_File_SystemСсылка не та. Правильная http://en.wikipedia.org/wiki/Comparison_of_file_systems
>FreeBSD ufs позволяет работать максимум с 0,8TB разделами, так что раид10 из
>десятка 1ТБ винтов пришлось заводить под zfs так что и тут
>не все в поряде. Надеюсь zfs окончательно вытеснит ufs через пару
>лет.С какого перепугу взята цифра 0.8TB ?
odip@elf$ uname -r
7.0-RELEASE-p1
odip@elf$ df -h | grep home
/dev/da0c 1.1T 16G 1.0T 2% /home
odip@elf$ mount | grep home
/dev/da0c on /home (ufs, NFS exported, local, with quotas)
Есть предел в 2TB, который обусловлен:1) MBR не позволяет разбить устройство размером более 2Tb
Соответственно никакой раздел не может быть выше 2Tb2) bsdlabel(disklabel) использует 32-битные счетчики
Соответственно тоже имеем предел 2TB.
( В OpenBSD bsdlabel не ограничен 2TB )Соответственно на >2TB дисках мы не можем использовать MBR.
И не можем разбить сырой /dev/da0 с помощью bsdlabel в dedicated (без MBR) режиме.
Но мы вполне можем использовать GPT - создать GPT-раздел и его отформатировать.Или же можем отформатировать все устройство как один том ZFS
Соответственно никаких MBR, bsdlabel не будет - будет сразу том ZFS.
>FreeBSD ufs позволяет работать максимум с 0,8TB разделами, так что раид10 из
>десятка 1ТБ винтов пришлось заводить под zfs так что и тут
>не все в поряде. Надеюсь zfs окончательно вытеснит ufs через пару
>лет.#uname -rs
FreeBSD 6.3-RELEASE
#df -h
/dev/da0p1 2.7T 2.4T 316G 89% /backup
на ufs+gpt
>FreeBSD ufs позволяет работать максимум с 0,8TB разделами, так что раид10 из
>десятка 1ТБ винтов пришлось заводить под zfs так что и тут
>не все в поряде. Надеюсь zfs окончательно вытеснит ufs через пару
>лет.у меня четыре года отмолотил сервер с двумя ufs2 (поверх gpt) по 2.5 терабайта каждая.
вы что-то путаете.
Нифига себе Dragonfly'щики дали жару...