The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Выпуск Btier 2.0, блочного устройства для агрегирования накопителей в Linux

18.01.2015 19:29

Представлен значительный релиз Btier 2.0.0, модуля для ядра Linux, позволяющего формировать многоуровневые блочные устройства, состоящие из нескольких разнотипных устройств небольшого размера. Исходные тексты проекта распространяются под лицензией GPL. Версия Btier 2.0 примечательна переработкой внутренней архитектуры, позволившей добиться более высокой производительности. Обратной стороной изменения архитектуры стало прекращение поддержки VFS и возможности использования отдельных файлов в качестве элементов сводного хранилища. Повышены требования к используемым ядрам Linux, если Btier 1 мог работать с ядрами, начиная с 2.6.32, то Btier 2.0 ограничен только поддержкой последних выпусков ядра.

Использование Btier позволяет достигнуть более высокой производительности по сравнению с другими методами ускорения доступа к данным через использование кэша на SSD-накопителях, благодаря применению дополнительной техники кэширования в оперативной памяти и оптимального разнесения блоков по дискам. В частности, для кэширования в ОЗУ применяются наработки, реализованные в RAM-диске EPRD, а при распределении данных по дискам учитывается статистика доступа к уже размещённым данным, например, принимается во внимание то, когда данные использовались последний раз и как часто они запрашивались. Для адаптации к меняющимся условиям работы системы, в Btier поддерживается автоматическая миграции данных между накопителями и обеспечивается "умная" балансировка размещения блоков данных на накопителях в зависимости от характера нагрузки.

При наличии разных типов накопителей в пуле, отличающихся скоростными характеристиками, наиболее востребованные данные будут вытеснены на более быстрые накопители, такие как SSD или SAS НЖМД, а редко используемые данные будут размещены на медленных дисках. Таким образом, Btier позволяет сэкономить средства, используя SSD только для действительно востребованных данных, при том, что общая ёмкость всего быстрого хранилища в Btier составляет сумму из всех подключенных устройств хранения. Например, близкий аналог flashcache может поддерживать отдельный кэш из SSD-накопителей поверх традиционных дисков, дублируя данные, в то время как Btier максимально эффективно использует доступное пространство.

Для тонкого управления миграцией данных между накопителями и получении сведения о физическом размещении данных предусмотрен специальный API, изменение конфигурации может производиться через sysfs. В тестах производительности Btier продемонстрировал возможность передачи потоков в 1100 Мб/сек и обработки 210 тысяч случайных операций ввода/вывода в секунду.

  1. Главная ссылка к новости (http://www.lessfs.com/wordpres...)
  2. OpenNews: Для Linux представлен TIER, блочное устройство для агрегирования накопителей
  3. OpenNews: EPRD - реализация RAM-диска, обеспечивающего постоянное хранение данных
  4. OpenNews: Facebook открыл модуль Flashcache для организации кэширования на SSD-накопителях
  5. OpenNews: Система кэширования на SSD-накопителях BCache претендует на включение в ядро Linux
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/41483-lessfs
Ключевые слова: lessfs, btier
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (30) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Бывший школьник (?), 19:43, 18/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Шикарно. Когда будет готово для продакшена?
     
  • 1.2, Mike Lee (?), 19:57, 18/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Разве lvm не это же делает?
     
     
  • 2.3, Владимир (??), 20:16, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +4 +/
    lvm позволяет объединить диски, но он не будет за вас делать кэши и переносить куда-то редко или частоиспользуемые данные
     
     
  • 3.5, sdog (ok), 20:53, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • –2 +/
    dm-cache, сэр!
     
     
  • 4.16, Аноним (-), 08:10, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    угу. Только непонятно — то ли у кого-то опять nih-синдром, то ли они чем-то радикально отличаются
     
     
  • 5.21, Stax (ok), 14:32, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Ну они ставят фишку на то, что у них именно что добавляется объем, а не кэш тупо дублирует кусок обычных данных.
    http://tekinerd.com/wp-content/uploads/2010/11/cache-vs-tier-capacity.jpg
     
  • 2.17, iZEN (ok), 10:34, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Разве lvm не это же делает?

    Нет. Это делает ZFS с GEOM на FreeBSD.

     
     
  • 3.18, Аноним (-), 10:41, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • –2 +/
    С plan9 содрали всё
     
     
  • 4.23, Андрей (??), 19:34, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    А подробнее?
     
  • 3.22, uniman (ok), 15:01, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Нет. Это делает ZFS с GEOM на FreeBSD.

    Точне, geom concat

    EXAMPLES
         The following example shows how to configure four disks for automatic
         concatenation, create a file system on it, and mount it:

               gconcat label -v data /dev/da0 /dev/da1 /dev/da2 /dev/da3
               newfs /dev/concat/data
               mount /dev/concat/data /mnt
               [...]
               umount /mnt
               gconcat stop data
               gconcat unload

         Configure concatenated provider on one disk only.  Create file system.
         Add two more disks and extend existing file system.

               gconcat label data /dev/da0
               newfs /dev/concat/data
               gconcat label data /dev/da0 /dev/da1 /dev/da2
               growfs /dev/concat/data

    HISTORY
         The gconcat utility appeared in FreeBSD 5.3, 2004

    ----

    Модератор(ы) удаляют сообщения о возможностях BSD =)
    Свобода слова как она есть =)

     
     
  • 4.25, dsdf (?), 03:48, 20/01/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Модератор(ы) удаляют сообщения о возможностях BSD =)
    > Свобода слова как она есть =)

    И чё ты там понаписакал? Как Бздя умеет кучковать диски? Так тема не об этом.

     
     
  • 5.26, uniman (ok), 04:29, 20/01/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> Модератор(ы) удаляют сообщения о возможностях BSD =)
    >> Свобода слова как она есть =)
    > И чё ты там понаписакал? Как Бздя умеет кучковать диски? Так тема
    > не об этом.

    1 Да неужто? Расскажи это в любой теме, не касающейся Linux =)
    2 А те не можешь без попытки унизить, деточка из совка? =)
    3 Скажи спасибо, что дал тебе возможность расширить свой кругозор.

     
     
  • 6.27, count0krsk (ok), 14:27, 20/01/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Сколько злости ))
    Дышите глубже, все люди братья ;-)
    Bob_Marley-Jamming.mp3
     
     
  • 7.32, Анониммм (?), 01:49, 22/01/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Я вот вижу грубость на грубость. Это конечно не оправдание, но ты то обратил внимание только на ответ и его осудил, а изначальный пост проигнорировал. А это называется "двойные стандарты".
    "Не суди да, несудим будешь" ©
     

  • 1.4, YetAnotherOnanym (ok), 20:30, 18/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > возможности использования отдельных файлов в качестве элементов сводного хранилища.

    Это чё, значит, я могу нахватать на облачных сервисах халявные 1-2-5-10 гигабайт у каждого и слепить себе облачное хранилище эпического размера?

     
     
  • 2.6, Петруччо (?), 20:53, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Нет, у вас наверняка мозгов не хватит такое сделать. Да и не применимо это для удаленного сервера
     
  • 2.7, Аноним (-), 21:05, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Теоретически собрать RAID из ремотных серверов ничему как бы не противоречит. А те кто поумнее и размером с гугл - давно забили на эти абстракции и сделали себе распределенные сетевые ФС. Так что они и популярные данные поближе к пользователям могут перебазировать, в том числе и по мере востребованности, и место добавляют путем добавления еще эн серверов, и вылет 1 сервака всем индифферентен. Но это крутые штучные решения под нужды сильно нескольких контор.
     
     
  • 3.14, Аноним (-), 02:01, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > популярные данные поближе к пользователям могут перебазировать

    Ох зайди на ютуб и попробуй посмотреть видео которое полгода уже не кто не смотрел - это просто ад.

     
  • 2.13, Chaser (??), 00:09, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это уже можно сделать с помощью aufs3 или mhddfs. Я так давно себе завел несколько терабайтный хранилищ для шифрованных бэкапов на разных сервисах.
     
     
  • 3.30, sage (??), 11:40, 21/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Использую aufs3 уже больше 3 лет для дисков, очень удобно. Этакий raid0 для бедных, только при выходе из строя одного диска теряются данные только на этом диске, а все остальное продолжает работать.
     

  • 1.10, Crazy Alex (ok), 22:13, 18/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Работает мимо подсистем ядра - в топку
     
  • 1.12, t28 (?), 22:59, 18/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > через использование кэша

    :facepalm:

     
  • 1.15, Какаянахренразница (ok), 06:39, 19/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +9 +/
    <дебил mode on>

    И чё, можно сделать быструю файловую систему из старых флэшек, памяти видеокарты и CD-RW?

    <дебил mode off>

     
     
  • 2.28, count0krsk (ok), 14:34, 20/01/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > <дебил mode on>
    > И чё, можно сделать быструю файловую систему из старых флэшек, памяти видеокарты
    > и CD-RW?
    > <дебил mode off>

    Я делал рэйд из 2х флэшек. Скорость скажу я Вам... Метров 20 в секунду.
    Не, быстрее в 1.5-2 раза, чем по-отдельности. Но даже чтобы угнаться за современным хдд надо столько юсб-портов... И уж поверьте человеку намучавшемуся с софтовыми и полу-софтовыми рэйдами на работе - не стоит оно того.

    CD-RW использовал раньше в режиме UDF вроде. Можно было файлы закидывать как на флэшку.
    Но после 10+ дописываний начинались глюки.

     

  • 1.19, gaga (ok), 11:17, 19/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А что там в с надежностью? Заниматься такими вещами на, по сути, страйпе чревато. Т.е. надо в этот бтьер добавлять либо уже зеркалированные тома, либо зеркалировать диски бтьера. Получается сильно много слоев, не? Звучит так, как будто проще добавить функионал в zfs/btrfs.
     
     
  • 2.20, клоун (?), 12:04, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Это Линукс: во время очередного заседания в окружении сан. фаянса пришла в голову мысль, которая была реализована. В Линукс любое "а ведь можно сделать вот такую фигню" имеет название пакета в котором эту фигню уже сделали.
     
     
  • 3.29, count0krsk (ok), 14:38, 20/01/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Это Линукс: во время очередного заседания в окружении сан. фаянса пришла в
    > голову мысль, которая была реализована. В Линукс любое "а ведь можно
    > сделать вот такую фигню" имеет название пакета в котором эту фигню
    > уже сделали.

    А в виндовс-мире всего 5 пакетов, в которых есть необходимый вам функционал, и ещё много другого, и стоит от 999$ до 5000$ за премиум-версию.
    Это как если тебе надо шлифануть доску напильником - предлагают взять в аренду (правом собственности на софт ты обладать не будешь) деревообрабатывающий завод.

     
  • 3.31, Crazy Alex (ok), 20:54, 21/01/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Видишь ли, клоун, Линукс - свободная и открытая система. В том числе это означает то, что любой желающий имеет все возможности, чтобы написать модуль для ядра, делающий что угодно. И, например, пользоваться самостоятельно или выложить у себя на странице. Пока нет вопроса о включении функционала в ядро - нет никаких проблем, какая бы санфаянсовая мысль ни была бы реализована. А ты "случайно" пропустил. что это сторонний модуль, в ядро не входящий.

    Впрочем, я не удивлён - идея "всё, что не наносит доказанного вреда другим, запрещено быть не должно" тебе чужда, тебе разрешение хозяина на всё нужно.

     

  • 1.24, Аноним (-), 01:14, 20/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Я не в курсе может быть чего-то, а почему не использовать VFS(FUSE)?  Это намного уджобнее и отладка проще? Зачем городить пользовательскую файловую систему на уровне ядра? Ладно еще там Fat и другие туда впиливают, но это-то зачем?
     
     
  • 2.33, dfcz (??), 09:13, 23/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    мб потому что это не файловая система?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру