Представлен (http://www.lessfs.com/wordpress/?p=938) значительный релиз Btier 2.0.0 (http://www.lessfs.com), модуля для ядра Linux, позволяющего формировать многоуровневые блочные устройства, состоящие из нескольких разнотипных устройств небольшого размера. Исходные тексты проекта распространяется (http://sourceforge.net/projects/tier/) под лицензией GPL.
Версия Btier 2.0 примечательна переработкой внутренней архитектуры, позволившей добиться более высокой производительности. Обратной стороной изменения архитектуры стало прекращение поддержки VFS и возможности использования отдельных файлов в качестве элементов сводного хранилища. Повышены требования к используемым ядрам Linux, если Btier 1 мог работать с ядрами, начиная с 2.6.32, то Btier 2.0 ограничен только поддержкой последних выпусков ядра.
Использование Btier позволяет достигнуть более высокой производительности по сравнению с другими методами ускорения доступа к данным через использование кэша на SSD-накопителях, благодаря применению дополнительной техники кэширования в оперативной памяти и оптимального разнесения блоков по дискам. В частности, для кэширования в ОЗУ применяются наработки, реализованные в RAM-диске EPRD (http://www.opennet.me/opennews/art.shtml?num=33541), а при распределении данных по дискам учитывается статистика доступа к уже размещённым данным, например, принимается во внимание то, когда данные использовались последний раз и как часто они запрашивались. Для адаптации к меняющимся условиям работы системы, в Btier поддерживается автоматическая миграции данных между накопителями и обеспечивается "умная" балансировка размещения блоков данных на накопителях в зависимости от характера нагрузки.
При наличии разных типов накопителей в пуле, отличающихся скоростными характеристиками, наиболее востребованные данные будут вытеснены на более быстрые накопители, такие как SSD или SAS НЖМД, а редко используемые данные будут размещены на медленных дисках. Таким образом, Btier позволяет сэкономить средства, используя SSD только для действительно востребованных данных, при том, что общая ёмкость всего быстрого хранилища в Btier составляет сумму из всех подключенных устройств хранения. Например, близкий аналог flashcache (http://www.opennet.me/opennews/art.shtml?num=26440) может поддерживать отдельный кэш из SSD-накопителей поверх традиционных дисков, дублируя данные, в то время как Btier максимально эффективно использует доступное пространство.
Для тонкого управления миграцией данных между накопителями и получении сведения о физическом размещении данных предусмотрен специальный API, изменение конфигурации может производиться через sysfs. В тестах производительности Btier продемонстрировал возможность передачи потоков в 1100 Мб/сек и обработки 210 тысяч случайных операций ввода/вывода в секунду.
URL: http://www.lessfs.com/wordpress/?p=938
Новость: http://www.opennet.me/opennews/art.shtml?num=41483
Шикарно. Когда будет готово для продакшена?
Разве lvm не это же делает?
lvm позволяет объединить диски, но он не будет за вас делать кэши и переносить куда-то редко или частоиспользуемые данные
dm-cache, сэр!
угу. Только непонятно — то ли у кого-то опять nih-синдром, то ли они чем-то радикально отличаются
Ну они ставят фишку на то, что у них именно что добавляется объем, а не кэш тупо дублирует кусок обычных данных.
http://tekinerd.com/wp-content/uploads/2010/11/cache-vs-tier...
> Разве lvm не это же делает?Нет. Это делает ZFS с GEOM на FreeBSD.
С plan9 содрали всё
А подробнее?
>Нет. Это делает ZFS с GEOM на FreeBSD.Точне, geom concat
EXAMPLES
The following example shows how to configure four disks for automatic
concatenation, create a file system on it, and mount it:gconcat label -v data /dev/da0 /dev/da1 /dev/da2 /dev/da3
newfs /dev/concat/data
mount /dev/concat/data /mnt
[...]
umount /mnt
gconcat stop data
gconcat unloadConfigure concatenated provider on one disk only. Create file system.
Add two more disks and extend existing file system.gconcat label data /dev/da0
newfs /dev/concat/data
gconcat label data /dev/da0 /dev/da1 /dev/da2
growfs /dev/concat/dataHISTORY
The gconcat utility appeared in FreeBSD 5.3, 2004----
Модератор(ы) удаляют сообщения о возможностях BSD =)
Свобода слова как она есть =)
> Модератор(ы) удаляют сообщения о возможностях BSD =)
> Свобода слова как она есть =)И чё ты там понаписакал? Как Бздя умеет кучковать диски? Так тема не об этом.
>> Модератор(ы) удаляют сообщения о возможностях BSD =)
>> Свобода слова как она есть =)
> И чё ты там понаписакал? Как Бздя умеет кучковать диски? Так тема
> не об этом.1 Да неужто? Расскажи это в любой теме, не касающейся Linux =)
2 А те не можешь без попытки унизить, деточка из совка? =)
3 Скажи спасибо, что дал тебе возможность расширить свой кругозор.
Сколько злости ))
Дышите глубже, все люди братья ;-)
Bob_Marley-Jamming.mp3
Я вот вижу грубость на грубость. Это конечно не оправдание, но ты то обратил внимание только на ответ и его осудил, а изначальный пост проигнорировал. А это называется "двойные стандарты".
"Не суди да, несудим будешь" ©
> возможности использования отдельных файлов в качестве элементов сводного хранилища.Это чё, значит, я могу нахватать на облачных сервисах халявные 1-2-5-10 гигабайт у каждого и слепить себе облачное хранилище эпического размера?
Нет, у вас наверняка мозгов не хватит такое сделать. Да и не применимо это для удаленного сервера
Теоретически собрать RAID из ремотных серверов ничему как бы не противоречит. А те кто поумнее и размером с гугл - давно забили на эти абстракции и сделали себе распределенные сетевые ФС. Так что они и популярные данные поближе к пользователям могут перебазировать, в том числе и по мере востребованности, и место добавляют путем добавления еще эн серверов, и вылет 1 сервака всем индифферентен. Но это крутые штучные решения под нужды сильно нескольких контор.
> популярные данные поближе к пользователям могут перебазироватьОх зайди на ютуб и попробуй посмотреть видео которое полгода уже не кто не смотрел - это просто ад.
Это уже можно сделать с помощью aufs3 или mhddfs. Я так давно себе завел несколько терабайтный хранилищ для шифрованных бэкапов на разных сервисах.
Использую aufs3 уже больше 3 лет для дисков, очень удобно. Этакий raid0 для бедных, только при выходе из строя одного диска теряются данные только на этом диске, а все остальное продолжает работать.
Работает мимо подсистем ядра - в топку
> через использование кэша:facepalm:
<дебил mode on>И чё, можно сделать быструю файловую систему из старых флэшек, памяти видеокарты и CD-RW?
<дебил mode off>
> <дебил mode on>
> И чё, можно сделать быструю файловую систему из старых флэшек, памяти видеокарты
> и CD-RW?
> <дебил mode off>Я делал рэйд из 2х флэшек. Скорость скажу я Вам... Метров 20 в секунду.
Не, быстрее в 1.5-2 раза, чем по-отдельности. Но даже чтобы угнаться за современным хдд надо столько юсб-портов... И уж поверьте человеку намучавшемуся с софтовыми и полу-софтовыми рэйдами на работе - не стоит оно того.CD-RW использовал раньше в режиме UDF вроде. Можно было файлы закидывать как на флэшку.
Но после 10+ дописываний начинались глюки.
А что там в с надежностью? Заниматься такими вещами на, по сути, страйпе чревато. Т.е. надо в этот бтьер добавлять либо уже зеркалированные тома, либо зеркалировать диски бтьера. Получается сильно много слоев, не? Звучит так, как будто проще добавить функионал в zfs/btrfs.
Это Линукс: во время очередного заседания в окружении сан. фаянса пришла в голову мысль, которая была реализована. В Линукс любое "а ведь можно сделать вот такую фигню" имеет название пакета в котором эту фигню уже сделали.
> Это Линукс: во время очередного заседания в окружении сан. фаянса пришла в
> голову мысль, которая была реализована. В Линукс любое "а ведь можно
> сделать вот такую фигню" имеет название пакета в котором эту фигню
> уже сделали.А в виндовс-мире всего 5 пакетов, в которых есть необходимый вам функционал, и ещё много другого, и стоит от 999$ до 5000$ за премиум-версию.
Это как если тебе надо шлифануть доску напильником - предлагают взять в аренду (правом собственности на софт ты обладать не будешь) деревообрабатывающий завод.
Видишь ли, клоун, Линукс - свободная и открытая система. В том числе это означает то, что любой желающий имеет все возможности, чтобы написать модуль для ядра, делающий что угодно. И, например, пользоваться самостоятельно или выложить у себя на странице. Пока нет вопроса о включении функционала в ядро - нет никаких проблем, какая бы санфаянсовая мысль ни была бы реализована. А ты "случайно" пропустил. что это сторонний модуль, в ядро не входящий.Впрочем, я не удивлён - идея "всё, что не наносит доказанного вреда другим, запрещено быть не должно" тебе чужда, тебе разрешение хозяина на всё нужно.
Я не в курсе может быть чего-то, а почему не использовать VFS(FUSE)? Это намного уджобнее и отладка проще? Зачем городить пользовательскую файловую систему на уровне ядра? Ладно еще там Fat и другие туда впиливают, но это-то зачем?
мб потому что это не файловая система?