Sage Weil анонсировал (http://kerneltrap.org/Linux/Ceph_Distributed_Network_File_Sy...) в списке рассылки Linux ядра новую распределенную файловую систему Ceph (http://ceph.sourceforge.net/).
Ceph может использоваться на системах, состоящих от нескольких машин, до тысяч узлов. Общий объем хранилища данных может измеряться петабайтами, встроенные механизмы продублированной репликации данных (не зависит от отказа отдельных узлов, данные разбиваются на блоки и несколько раз дублируются на разных машинах) обеспечивают чрезвычайно высокую живучесть системы, при добавлении или удалении новых узлов, массив данных автоматически ребалансируется с учетом новшеств.
В настоящее время для отладки доступен Fuse клиент, работающий на уровне пользователя.
В отличии от таких файловых систем, как GFS, OCFS2, и GPFS, в Ceph обработка данных и метаданных разделена на различные группы узлов в кластере, примерно как это сделано в Lustre, с тем различием, что обработка производится на уровне пользователя, не требуя какой-то особой поддержки от ядра. Ceph может работать поверх блочных устройств, внутри одного файла или используя существующую ФС (например, XFS).URL: http://kerneltrap.org/Linux/Ceph_Distributed_Network_File_Sy...
Новость: http://www.opennet.me/opennews/art.shtml?num=12795
ну фиг знает. с одной стороны - велосипед, к тому же колеса и педали "в разработке, скоро будут". с другой стороны, взяли плюсы люстры и того же dfs(hadoop) и решили лечить от минусов (хотя лекарства небесспорны)вообще, мода какая-то пошла - распределенные фс. имхо, лучше бы до ума доводили существующие. там работы - туча, и решать ее кропотливой разработкой. сие решение кардинально нового и решающего эти проблемы на уровне архитектуры вроде не приносит, посему ... посмотрим =)
Да интересно ... теперь растем в ширь ... потом будет новый виток: нАчить-углубить-расширить.
Может кто знает, есть ли такая функциональность:Задача: организовать файло-помойку в географически рапределенных сетях, ну или связааных "медленным" каналом.
Есть два файл-сервера.
Клиент просит файл с 2-ого сервера (он ему географически близок). Второй сервер обнаруживает, что локально такого файла нет и тянет его с 1-го сервера. Вытянул - отдал клиенту, сохранил в своем "хранилище".
Клиент - поработал с файлом, сохранил. 2-ой сервер сообщает 1-ому, что файл изменился. 1-сервер, в ответ удаляет этот файл из своего хранилища.
А вот, синхронизация файлов - идет своим чередом в фоне...
Есть у меня такое подозрение, что все это извращение и для решения таких задач нужно использовать, что-то другое... вообще в принципе избовляться от файлопомойки.
Но всетаки интерестно:)
Подмонтируйте взаимно половины файлового дерева по NFS. :)
Правда файлы таки будут оставаться на своих местах.
Клиент просит файл с 2-ого сервера (он ему географически близок). Второй сервер обнаруживает, что локально такого файла нет и тянет его с 1-го сервера. Вытянул - отдал клиенту, сохранил в своем "хранилище".Клиент будет сидеть перед экраном 5 - 10 или сколько там минут и ждать, пока файл откроется? Не думаю, что этот вариант хорош...
найдите простой FTP-прокси с load-balancing
Microsoft DFS заточена под все вышеперечисленное
особенно ценой %)))))))))))
Половины... ага... Вот у меня несколько сотен(!) компов, и это не десктопы. Всем надо реально молотить данные. Если попадается задачка, которая большие временные файлы начинает писать в текущий каталог (читай на NFS) - всё просто ложится. ls -d отрабатывает минут 5-7. А уж что творится с NFS в случае каких-то проблем...
Так что распределённые ФС - вещь весьма актуальная не только для файлопомойки. Вот доделали бы только хоть какую-то до разумного состояния. Посмотрим, что с интеграцией люстры в ZFS получится... Пока проблемы у всех есть - либо с надёжностью, либо с производительностью. Кроме коммерческих, типа panassass...
Люстра и без zfs вполне не плохо :)
====
We run on 7 of the top 10 and 16 of the top 30 and 31-46 of the top
100.
====
поддержу Умкулюстра _весьма_ хороша
>люстра _весьма_ хорошаИ устойчивость к падению сервера метаданных уже появилась? И отключение 3-4 рабочих узлов проходит нормально? Я на их сайте ответов на эти вопросы не нашёл...
> И устойчивость к падению сервера метаданных уже появилась?Сервера данных и метаданных могут резервироваться.
(Корифеянам, глава 15, стих 38)%)
А ваще - смотри тут:
http://manual.lustre.org/images/1/1a/LustreManual_1.6_man_v1...
>И отключение
>3-4 рабочих узлов проходит нормально?Если они с резервом - нормально.
Если без резерва и к файлу, часть которого есть хоть на одной недоступной более ноде
- запрашивающий процесс будет оставаться в D-state пока нода не включиться (проверял - неделю провисело... т.е. абсолютный лок до вмешательства админа либо мониторящих тулзей), либо не будет деактивирована на менеджмент сервере. После деактивации запрос куска
файла с отключенных/деактивированных нод сразу возвращает EIO.
Но в этой DPF-ке описан метод переноса всех данных с ноды для запланированного выключения.Все-же лично я пока не понял как перманентно убрать ноду из конфига кластера.
Буду рад если подскажешь.>Я на их сайте ответов на эти вопросы не нашёл...
Да... сайт у них почти как для души :)
как-то все тяжко и не совсем прозрачно разложено.
Салют! Хороший проект =)))
Хотелось бы принять посильное участие в его жизни!
Хотелось бы увидеть нечто, подобное www.availl.com , но под *nix
Так что все в одно горло кричат люстра?! я пробовал GFS2, OCFS2 по верх drbd - посный отстой? Что посоветуете?
Кто-то этот ceph ставил?
Просто люстре уже много лет, и она уже используется на больших кластерах.
А это значит, что можно говорить о надежности (непоследнее дело на кластере).
Вот все и кричат "люстра" :)
>Так что все в одно горло кричат люстра?! я пробовал GFS2, OCFS2
>по верх drbd - посный отстой? Что посоветуете?
>Кто-то этот ceph ставил?что значит отстой?
Polyserve пробуйте - лидер, как-никак.
>Polyserve пробуйте - лидер, как-никак.да будь оно хоть супер-пупер
Ты на каком сайте то проприетарщину рекомендуешь?
постыдился бы...
>>Polyserve пробуйте - лидер, как-никак.
>
>да будь оно хоть супер-пупер
>Ты на каком сайте то проприетарщину рекомендуешь?
>постыдился бы...=)))
(аки catalyst vs. bsd/linix)
да ладно ) вещь действительно стоящая.Ну а я вот все жду пока QFS откроют - давно уж обещают.
>>Так что все в одно горло кричат люстра?! я пробовал GFS2, OCFS2
>>по верх drbd - посный отстой? Что посоветуете?
>>Кто-то этот ceph ставил?
>
>что значит отстой?
>Polyserve пробуйте - лидер, как-никак.FC8 + drbd8.2.1 + GFS2/OCFS2
ложтиться на 3-4 ...
вопервых нельзя отмантить раздел - говорит что нот gfs2 filesystem
при повышении нагрузки тестом ab2 -n 1000000 -c 1000 http://host/:80
ЛА ростеть до 800... и тесты умирают...посоветуйте проверенный вариант распределленой системы.. кроме люстры...
Кто поскажет можно люстру поставить на 2 обыкновенных тазика как Распределенную ФС?
можноно если это верх развития этой системы и ниче не предвидицо - то можно и не мучаццо