The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Файловая система POHMELFS включена в "-staging" ветку Linux ядра

16.02.2009 17:22

Грег Кроа-Хартман (Greg Kroah-Hartman) включил в "staging" ветку Linux ядра код высокопроизводительной распределенной сетевой файловой системы POHMELFS, разработанной Евгением Поляковым. Если при проверке кода в "staging" ветке не возникнет проблем и тестирование пройдет успешно, то в будущем Грег пообщел рекомендовать код POHMELFS для помещения в основное дерево исходных текстов Linux ядра 2.6.30.

В настоящее время реализация POHMELFS включает в себя около 12 тыс. строк кода. По заявлению Евгения Полякова все основные функции POHMELFS реализованы, осталось исправить некоторые известные ошибки. Последние тесты демонстрируют (tar и dbench, dbench, iozone) на порядок более высокую производительность, по сравнению с NFS.

Наиболее интересные особенности POHMELFS:

  • Поддержание локального кэша для данных и мета-данных, согласованного для всех узлов использующих ФС;
  • Обработка данных и событий в асинхронном режиме, за исключением операций с жёсткими и символическими ссылками;
  • Гибкая архитектура, оптимизированная для обмена данных по сети, включая возможность объединения нескольких операций в одну управляющую команду передаваемую по сети;
  • Одна из первичных целей проекта - высокая производительность;
  • Возможность хранения данных на нескольких устройствах (что-то похожее на зеркалирование);
  • Поддержка автоконфигурирования на стороне клиента, позволяющее на лету добавлять или удалять серверы из рабочего набора.
  • Возможность определения точек монтирования, работающих в режиме только для чтения. Возможность определения максимального размера экспортируемой директории;
  • Поддержка параллельного чтения/записи данных с соседних узлов для клиента и сервера;
  • Средства аутентификации (ACL) и шифрования передаваемых по сети данных;
  • Возможность автоматического переключения на запасной сервер в случае сбоя текущего.


  1. Главная ссылка к новости (http://www.ioremap.net/node/16...)
  2. OpenNews: Отдельная ветка Linux ядра для предварительного тестирования стороннего кода
  3. OpenNews: Сравнение производительности сетевых файловых систем POHMELFS и NFS
  4. OpenNews: Вышел релиз сетевой файловой системы POHMELFS
  5. OpenNews: Обновлённый релиз распределённого устройства хранения данных DST
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/20315-pohmelfs
Ключевые слова: pohmelfs, nfs
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (35) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, Ыку (?), 17:54, 16/02/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    А ребрендинг это ФС не предполагается?
     
     
  • 2.3, Аноним (-), 18:00, 16/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    А зачем ?
     
     
  • 3.30, Andrey Mitrofanov (?), 11:21, 17/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Продаваться в отдельно взятой стране плохо будет -- клиенты в укатайке будут.
     
     
  • 4.31, Аноним (31), 11:34, 17/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Продаваться в отдельно взятой стране плохо будет -- клиенты в укатайке будут.
    >

    Для этого есть сервер со скучным названием fserver и распределенное хранилище с чуть менее скучным названием elliptics network.

     

  • 1.7, _umka_ (ok), 18:47, 16/02/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Интересно как userland сервер могут включить в ядро?
    Может речь идет только о клиенте?
     
  • 1.10, Аноним (10), 19:17, 16/02/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Самое забавное, что ФС на удивление неплоха :)
     
     
  • 2.20, _umka_ (ok), 22:11, 16/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Самое забавное, что ФС на удивление неплоха :)

    Из блога автора

    $ time (find /mnt/testdir | wc -l )
    3963

    POHMELFS:   1m1.493s
         NFS:   0m2.521s

    ну собственно проиграть на порядк NFS - это уже неплоха?

    читаем дальше:
    Local coherent cache for data and metadata. (Byte-range) locking. Locks were prepared to be byte-range, but since all Linux filesystems lock the whole inode, it was decided to lock the whole object during writing. Actual messages being sent for locking/cache coherency protocol are byte-range, but because the whole inode is locked, lock is cached, so range actually is equal to the inode size.
    ----
    в вольном пересказе - один клиент открыл на запись, остальные отдыхают и ждут пока он закончит. Ну еще вопросы с таймаутами и тп.
    На workload когда каждый клиент пишет в свой файл оно может и лучше - но объясните зачем там надо distributed FS ?

     
     
  • 3.21, pavlinux (ok), 23:02, 16/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    А round-robin прикрутить. Очереди, со своим гипервизором, уже им разруливать по блочным FS

     
     
  • 4.28, User294 (ok), 09:29, 17/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >А round-robin прикрутить. Очереди, со своим гипервизором, уже им разруливать по блочным
    >FS

    Где-то видимо урожай травы удался на славу =)

     
  • 3.23, Аноним (31), 01:09, 17/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >POHMELFS:   1m1.493s
    >     NFS:   0m2.521s
    >
    >ну собственно проиграть на порядк NFS - это уже неплоха?

    Ну да, а то, что он дальше пишет из-за чего это, и как все исправить, ты конечно опустил. Как и остальные тесты :) Объективно, что скажешь...

    >читаем дальше:
    >Local coherent cache for data and metadata. (Byte-range) locking. Locks were prepared
    >to be byte-range, but since all Linux filesystems lock the whole
    >inode, it was decided to lock the whole object during writing.
    >Actual messages being sent for locking/cache coherency protocol are byte-range, but
    >because the whole inode is locked, lock is cached, so range
    >actually is equal to the inode size.
    >----
    >в вольном пересказе - один клиент открыл на запись, остальные отдыхают и
    >ждут пока он закончит. Ну еще вопросы с таймаутами и тп.

    Во-первых, так же происходит и при записи в обычный файл на локальной файловой системе. Во-вторых, там не лок берется, а делегируется право записи, как я понял, это как leases.

     
     
  • 4.34, _umka_ (ok), 15:18, 17/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Остальные тесты - для случая одного клиента Что этим хотелось померять Нету не... большой текст свёрнут, показать
     
     
  • 5.35, _umka_ (ok), 17:25, 17/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    >>
    >>Ну да, а то, что он дальше пишет из-за чего это, и
    >>как все исправить, ты конечно опустил. Как и остальные тесты :)
    >>Объективно, что скажешь...
    >>
    >
    >Остальные тесты - для случая одного клиента. Что этим хотелось померять?
    >Нету не lock contention между клиентами, передачи данных между клиентами нету -
    >не посмотриш как влияют эти факторы на работу клиентов и сети.
    >

    Кстати в догонку - интресный тест получается в таком workload.
    N клиентов - по очереди открывают файл как open(O_RW|O_TRUNCATE) и пишут так что бы попало на несколько слайсов - посмотреть как себя будет вести в случае byte-range lock ping-pong и discard data.
    Отоже самое - только open(O_APPEND).
    ну и для комплекта MPI fsx test.

    Автор покажет результаты таких тестов? и в сравнении с GFS, NFS, pNFS, Lustre.
    я бы с удовольствием поглядел на результаты и обсудил их.

     
  • 5.39, Аноним (31), 23:24, 17/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Смешно А тот тест, который ты цитируешь - он какое-то отношение к этому имеет ... большой текст свёрнут, показать
     
     
  • 6.43, _umka_ (ok), 14:16, 19/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    для partial page write - надо прочитать кусок страницы с другого клента который ... большой текст свёрнут, показать
     
     
  • 7.44, Аноним (31), 00:00, 20/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Ты процитировал тест с find mnt там этого ничего нет Чувствую, что ты не вника... большой текст свёрнут, показать
     
     
  • 8.45, _umka_ (ok), 15:21, 20/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    не придумывай gt оверквотинг удален где доказал Он продемонтрировал работу с... большой текст свёрнут, показать
     

  • 1.11, spamtrap (??), 19:26, 16/02/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    что-то последнее время пошла мода на распределенные сетевые файловые системы...
     
     
  • 2.13, tigra (??), 20:27, 16/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    пришло их время — низы уже хотят, верхи уже могут
     
  • 2.46, banzai (?), 08:27, 24/06/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >что-то последнее время пошла мода на распределенные сетевые файловые системы...

    Не мода, а необходимость =)

     

  • 1.14, pavlinux (ok), 20:50, 16/02/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Поляков рулит!!! Осталось дрийверок для Windows придумать, афторизацию через SQL/passwd/RADIUS  и SMB, CIFS, NFS можно фтопку ......

     
     
  • 2.37, User294 (??), 18:54, 17/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Осталось дрийверок для Windows придумать, афторизацию через SQL/passwd/RADIUS  и
    >SMB, CIFS, NFS можно фтопку ......

    Мне кажется что кое-кто успеет поседеть в ожидании драйверка для виндовса...

     
     
  • 3.38, fank (?), 22:33, 17/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >>Осталось дрийверок для Windows придумать, афторизацию через SQL/passwd/RADIUS  и
    >>SMB, CIFS, NFS можно фтопку ......
    >
    >Мне кажется что кое-кто успеет поседеть в ожидании драйверка для виндовса...

    http://en.wikipedia.org/wiki/Linux_Kernel_Library

     

  • 1.15, koffu (??), 21:00, 16/02/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Интересное такое название ПохмельФС, что-бы это значило?! Тесты в каком состоянии проводились?
     
     
  • 2.16, Аноним (31), 21:05, 16/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    POHMELFS stands for Parallel Optimized Host Message Exchange Layered File System.
     
     
  • 3.19, Умник (?), 21:42, 16/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >POHMELFS stands for Parallel Optimized Host Message Exchange Layered File System.

    Такое только с бодуна в голову стукнет!

     

  • 1.22, Аноним (31), 23:14, 16/02/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Я уже предполагаю, что пользоваться этой ОС будет очень сложно. Вот если бы сделали крайне простое монтирование и управление, простое и понятное расшаривание - тогда интересно. Если очередная поделка, имеющая супер мощную функциональность, но при этом надо долго париться чтобы это заработало - такая ФС не нужна.
     
     
  • 2.24, Аноним (31), 01:11, 17/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Я уже предполагаю, что пользоваться этой ОС будет очень сложно. Вот если
    >бы сделали крайне простое монтирование и управление, простое и понятное расшаривание
    >- тогда интересно. Если очередная поделка, имеющая супер мощную функциональность, но
    >при этом надо долго париться чтобы это заработало - такая ФС
    >не нужна.

    Ей пользоваться - проще не бывает, одна команда на конфигурацию и сам mount.
    И в фаерволе всего одна дырка нужна, не то что NFS.

     
  • 2.29, Аноним (31), 11:11, 17/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Я уже предполагаю, что пользоваться этой ОС будет очень сложно. Вот если
    >бы сделали крайне простое монтирование и управление, простое и понятное расшаривание
    >- тогда интересно. Если очередная поделка, имеющая супер мощную функциональность, но
    >при этом надо долго париться чтобы это заработало - такая ФС
    >не нужна.

    Вы NFS используете ? 5 демонов, portmap rpc.statd rpc.idmapd rpc.mountd rpc.rquotad + 7 TCP портов + 7 udp портов - это по вашему просто ? + ещё kerberos ...

     
     
  • 3.33, Аноним (31), 13:33, 17/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    > Вы NFS используете ? 5 демонов, portmap rpc.statd rpc.idmapd rpc.mountd rpc.rquotad + 7 TCP портов + 7 udp портов - это по вашему просто ? + ещё kerberos ...

    В том то и дело, что если получится нечто вроде NFS, то мне такое не надо. Приходится порой пользоваться NFS, но я предпочитаю CIFS... Это смешно, но под Linux оказывается удобнее пользоваться CIFS. Надеюсь POHMELFS решит эту несправедливость. Ну и ребрендинг малость не помешает :)

    > Ей пользоваться - проще не бывает, одна команда на конфигурацию и сам mount. И в фаерволе всего одна дырка нужна, не то что NFS.

    Ясно, спасибо. Я уже начинаю любить POHMELFS :)

     

  • 1.25, Аноним (10), 03:32, 17/02/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Грег пообщел рекомендовать код POHMELFS для помещения в основное дерево исходных текстов Linux ядра 2.6.30.

    Мало кто знает но он сделал это ради лулзов, вполне возможно находять в состоянии похожем на название субжика.

     
     
  • 2.32, Аноним (31), 12:25, 17/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Мало кто знает но он сделал это ради лулзов, вполне возможно находять
    >в состоянии похожем на название субжика.

    Just For Fun теперь зовётся "ради лулзов"?
    всё течёт, всё изменяется...

     
  • 2.41, Аноним (31), 16:54, 18/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    а что значит "ради лулзов" ? просвятите отсталого... ради прибыли ? или что ?
     
     
  • 3.42, Аноним (31), 00:16, 19/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >а что значит "ради лулзов" ? просвятите отсталого... ради прибыли ? или
    >что ?

    Означает, что сам процесс создания доставил автору удовольствие, а не какие-то другие мотивы.

    http://lurkmore.ru/Лулз

     

  • 1.36, Аноним (10), 18:37, 17/02/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Если уж делать ради лулзов, то зачем останавливаться толькл на названии? Тогда уж надо все технические детали свести к алкогольной тематике.

    mount -t pohmelfs -o vodka,seledka,oguretz

     
     
  • 2.40, None (??), 12:28, 18/02/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Если уж делать ради лулзов, то зачем останавливаться толькл на названии? Тогда
    >уж надо все технические детали свести к алкогольной тематике.
    >
    >mount -t pohmelfs -o vodka,seledka,oguretz

    Буржуины не осилят...


     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру