The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"OpenNews: Новая распределенная файловая система Ceph"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Разговоры, обсуждение новостей (Public)
Изначальное сообщение [ Отслеживать ]

"OpenNews: Новая распределенная файловая система Ceph"  
Сообщение от opennews (??) on 16-Ноя-07, 02:36 
Sage Weil анонсировал (http://kerneltrap.org/Linux/Ceph_Distributed_Network_File_Sy...) в списке рассылки Linux ядра новую распределенную файловую систему Ceph (http://ceph.sourceforge.net/).


Ceph может использоваться на системах, состоящих от нескольких машин, до тысяч узлов. Общий объем хранилища данных может измеряться петабайтами, встроенные механизмы продублированной репликации данных (не зависит от отказа отдельных узлов, данные разбиваются на блоки и несколько раз дублируются на разных машинах) обеспечивают чрезвычайно высокую живучесть системы, при добавлении или удалении новых узлов, массив данных автоматически ребалансируется с учетом новшеств.


В настоящее время для отладки доступен Fuse клиент, работающий на уровне пользователя.


В отличии от таких файловых систем, как GFS, OCFS2, и GPFS, в  Ceph обработка данных и метаданных разделена на различные группы узлов в кластере, примерно как это сделано в  Lustre, с тем различием, что обработка производится на уровне пользователя, не требуя какой-то особой поддержки от ядра. Ceph может работать поверх блочных устройств, внутри одного файла или используя существующую ФС (например, XFS).

URL: http://kerneltrap.org/Linux/Ceph_Distributed_Network_File_Sy...
Новость: http://www.opennet.me/opennews/art.shtml?num=12795

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Новая распределенная файловая система Ceph"  
Сообщение от johnjoy email(??) on 16-Ноя-07, 02:36 
ну фиг знает. с одной стороны - велосипед, к тому же колеса и педали "в разработке, скоро будут". с другой стороны, взяли плюсы люстры и того же dfs(hadoop) и решили лечить от минусов (хотя лекарства небесспорны)

вообще, мода какая-то пошла - распределенные фс. имхо, лучше бы до ума доводили существующие. там работы - туча, и решать ее кропотливой разработкой. сие решение кардинально нового и решающего эти проблемы на уровне архитектуры вроде не приносит, посему ... посмотрим =)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Новая распределенная файловая система Ceph"  
Сообщение от DeNIS on 16-Ноя-07, 08:22 
Да интересно ... теперь растем в ширь ... потом будет новый виток: нАчить-углубить-расширить.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Новая распределенная файловая система Ceph"  
Сообщение от milk email(??) on 16-Ноя-07, 09:01 
Может кто знает, есть ли такая функциональность:

Задача: организовать файло-помойку в географически рапределенных сетях, ну или связааных "медленным" каналом.

Есть два файл-сервера.

Клиент просит файл с 2-ого сервера (он ему географически близок). Второй сервер обнаруживает, что локально такого файла нет и тянет его с 1-го сервера. Вытянул - отдал клиенту, сохранил в своем "хранилище".

Клиент - поработал с файлом, сохранил. 2-ой сервер сообщает 1-ому, что файл изменился. 1-сервер, в ответ удаляет этот файл из своего хранилища.

А вот, синхронизация файлов - идет своим чередом в фоне...

Есть у меня такое подозрение, что все это извращение и для решения таких задач нужно использовать, что-то другое... вообще в принципе избовляться от файлопомойки.

Но всетаки интерестно:)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Новая распределенная файловая система Ceph"  
Сообщение от Instruktor email on 16-Ноя-07, 09:34 
Подмонтируйте взаимно половины файлового дерева по NFS. :)
Правда файлы таки будут оставаться на своих местах.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Новая распределенная файловая система Ceph"  
Сообщение от warper on 16-Ноя-07, 12:41 
Клиент просит файл с 2-ого сервера (он ему географически близок). Второй сервер обнаруживает, что локально такого файла нет и тянет его с 1-го сервера. Вытянул - отдал клиенту, сохранил в своем "хранилище".

Клиент будет сидеть перед экраном 5 - 10 или сколько там минут и ждать, пока файл откроется? Не думаю, что этот вариант хорош...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Новая распределенная файловая система Ceph"  
Сообщение от Dvorkin email(??) on 16-Ноя-07, 12:58 
найдите простой FTP-прокси с load-balancing
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "Новая распределенная файловая система Ceph"  
Сообщение от mr_gfd on 17-Ноя-07, 16:03 
Microsoft DFS заточена под все вышеперечисленное
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

16. "Новая распределенная файловая система Ceph"  
Сообщение от Nick email(??) on 21-Ноя-07, 18:18 
особенно ценой %)))))))))))
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Новая распределенная файловая система Ceph"  
Сообщение от Serg email(??) on 16-Ноя-07, 11:08 
  Половины... ага... Вот у меня несколько сотен(!) компов, и это не десктопы. Всем надо реально молотить данные. Если попадается задачка, которая большие временные файлы начинает писать в текущий каталог (читай на NFS) - всё просто ложится. ls -d отрабатывает минут 5-7. А уж что творится с NFS в случае каких-то проблем...
  Так что распределённые ФС - вещь весьма актуальная не только для файлопомойки. Вот доделали бы только хоть какую-то до разумного состояния. Посмотрим, что с интеграцией люстры в ZFS получится... Пока проблемы у всех есть - либо с надёжностью, либо с производительностью. Кроме коммерческих, типа panassass...
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "Новая распределенная файловая система Ceph"  
Сообщение от _umka_ (ok) on 17-Ноя-07, 11:29 
Люстра и без zfs вполне не плохо :)
====
We run on 7 of the top 10 and 16 of the top 30 and 31-46 of the top
100.
====

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

17. "Новая распределенная файловая система Ceph"  
Сообщение от Nick email(??) on 21-Ноя-07, 18:19 
поддержу Умку

люстра _весьма_ хороша

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

18. "Новая распределенная файловая система Ceph"  
Сообщение от Serg email(??) on 22-Ноя-07, 10:51 
>люстра _весьма_ хороша

  И устойчивость к падению сервера метаданных уже появилась? И отключение 3-4 рабочих узлов проходит нормально? Я на их сайте ответов на эти вопросы не нашёл...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

19. "Новая распределенная файловая система Ceph"  
Сообщение от Nick email(??) on 22-Ноя-07, 11:32 
>  И устойчивость к падению сервера метаданных уже появилась?

Сервера данных и метаданных могут резервироваться.
(Корифеянам, глава 15, стих 38)

%)

А ваще - смотри тут:
http://manual.lustre.org/images/1/1a/LustreManual_1.6_man_v1...


>И отключение
>3-4 рабочих узлов проходит нормально?

Если они с резервом - нормально.
Если без резерва и к файлу, часть которого есть хоть на одной недоступной более ноде
- запрашивающий процесс будет оставаться в D-state пока нода не включиться (проверял - неделю провисело... т.е. абсолютный лок до вмешательства админа либо мониторящих тулзей), либо не будет деактивирована на менеджмент сервере. После деактивации запрос куска
файла с отключенных/деактивированных нод сразу возвращает EIO.
Но в этой DPF-ке описан метод переноса всех данных с ноды для запланированного выключения.

Все-же лично я пока не понял как перманентно убрать ноду из конфига кластера.
Буду рад если подскажешь.

>Я на их сайте ответов на эти вопросы не нашёл...

Да... сайт у них почти как для души :)
как-то все тяжко и не совсем прозрачно разложено.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

14. "Новый пост!"  
Сообщение от LeWdrewsGer email on 19-Ноя-07, 05:20 
Салют! Хороший проект =)))

Хотелось бы принять посильное участие в его жизни!
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

15. "Новая распределенная файловая система Ceph"  
Сообщение от неаноним on 19-Ноя-07, 19:41 
Хотелось бы увидеть нечто, подобное www.availl.com , но под *nix
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

20. "Новая распределенная файловая система Ceph"  
Сообщение от b2d email(ok) on 17-Янв-08, 18:53 
Так что все в одно горло кричат люстра?! я пробовал GFS2, OCFS2 по верх drbd - посный отстой? Что посоветуете?
Кто-то  этот ceph ставил?
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

21. "Новая распределенная файловая система Ceph"  
Сообщение от Nick email(??) on 18-Янв-08, 11:46 
Просто люстре уже много лет, и она уже используется на больших кластерах.
А это значит, что можно говорить о надежности (непоследнее дело на кластере).
Вот все и кричат "люстра" :)
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

24. "Новая распределенная файловая система Ceph"  
Сообщение от johnjoy email(??) on 20-Янв-08, 09:56 
>Так что все в одно горло кричат люстра?! я пробовал GFS2, OCFS2
>по верх drbd - посный отстой? Что посоветуете?
>Кто-то  этот ceph ставил?

что значит отстой?
Polyserve пробуйте - лидер, как-никак.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

25. "Новая распределенная файловая система Ceph"  
Сообщение от Nick email(??) on 20-Янв-08, 10:03 
>Polyserve пробуйте - лидер, как-никак.

да будь оно хоть супер-пупер
Ты на каком сайте то проприетарщину рекомендуешь?
постыдился бы...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

27. "Новая распределенная файловая система Ceph"  
Сообщение от johnjoy email(??) on 20-Янв-08, 23:04 
>>Polyserve пробуйте - лидер, как-никак.
>
>да будь оно хоть супер-пупер
>Ты на каком сайте то проприетарщину рекомендуешь?
>постыдился бы...

=)))
(аки catalyst vs. bsd/linix)
да ладно ) вещь действительно стоящая.

Ну а я вот все жду пока QFS откроют - давно уж обещают.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

26. "Новая распределенная файловая система Ceph"  
Сообщение от b2d email(??) on 20-Янв-08, 22:13 
>>Так что все в одно горло кричат люстра?! я пробовал GFS2, OCFS2
>>по верх drbd - посный отстой? Что посоветуете?
>>Кто-то  этот ceph ставил?
>
>что значит отстой?
>Polyserve пробуйте - лидер, как-никак.

FC8 + drbd8.2.1 + GFS2/OCFS2

ложтиться на 3-4 ...
вопервых нельзя отмантить раздел - говорит что нот gfs2 filesystem
при повышении нагрузки тестом ab2 -n 1000000 -c 1000 http://host/:80
ЛА ростеть до 800... и тесты умирают...

посоветуйте проверенный вариант распределленой системы.. кроме люстры...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

22. "Новая распределенная файловая система Ceph"  
Сообщение от Аноним on 18-Янв-08, 19:14 
Кто поскажет можно люстру поставить на 2 обыкновенных тазика как Распределенную ФС?
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

23. "Новая распределенная файловая система Ceph"  
Сообщение от Nick email(??) on 18-Янв-08, 22:02 
можно

но если это верх развития этой системы и ниче не предвидицо - то можно и не мучаццо

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру