forum.opennet.ru - "Новая версия распределённой файловой системы XtreemFS 1.5" (50)

"Новая версия распределённой файловой системы XtreemFS 1.5"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
Сообщение от opennews (??), 14-Мрт-14, 17:54
После 16 месяцев разработки увидел свет (http://xtreemfs.blogspot.ru/2014/03/xtreemfs-15-released-imp... релиз распределенной файловой системы XtreemFS 1.5 (http://www.xtreemfs.org/). XtreemFS позволяет организовать работу хранилища с распределением данных по нескольким серверам. Для обеспечения отказоустойчивости и обеспечения параллельного доступа данные могут реплицироваться между узлами. Процесс репликации оптимизирован для использования низкоскоростных соединений и возможных временных обрывов связи. Компоненты XtreemFS распространяются (http://code.google.com/p/xtreemfs/) под лицензией BSD (http://code.google.com/p/xtreemfs/source/browse/branches/Xtr.... При помощи XtreemFS в том числе можно обеспечить синхронизацию хранилища на нескольких серверах в разных дата-центрах. Предоставляется возможность гибкого контроля и управления работой ФС через подключение плагинов. Возможно создание снапшотов и бэкапа метаданных в асинхронном режиме. Для защиты передаваемых по сети данных от перехвата поддерживается использование SSL. Расширение размера хранилища производится через подключение к распределенному хранилищу дополнительных узлов хранения. Серверная часть XtreemFS, обеспечивающая управление метаданными, написана (http://www.xtreemfs.org/download_sources.php) на языке Java. Клиент для работы с XtreemFS написан на С++ и доступен для Unix-подобных ОС, Windows и Mac OS X. Клиентская часть ФС работает в пространстве пользователя (user-space) с использованием FUSE. Для приложений работа с XtreemFS мало чем отличается от NFS (XtreemFS может использоваться как замена NFS), так же нет отличий от того, является ли файл реплицированным на локальную систему или доступен только с удаленного хоста. Из новшеств, добавленных в XtreemFS 1.5, можно отметить: - Улучшена поддержка платформы для организации распределённой обработки больших объёмов данных Hadoop. Добавлена дополнительная буферизация чтения и записи для увеличения производительности небольших запросов. Реализована поддержка работы с несколькими разделами для организации хранения данных для ввода и вывода в разделах с разными правилами репликации; - Добавлены оптимизации для организации оптимального хранения данных на SSD-накопителях. Ранее система была рассчитана на использование жестких дисков и применяла однопоточный метод доступа, учитывающий вращение дисков. Для SSD реализована возможность одновременного обращения в несколько потоков, что позволяет добиться более высокой пропускной способности; - Поддержка Multi-Homing для организации работы XtreemFS поверх разных сетей с предоставлением средств для автоматического получения клиентом корректного адреса для обращения к хранилищу; - Возможность создания нескольких хранилищ объектов (OSD) на одном сервере. Таким образом, для каждого диска на сервере может быть запущен отдельный OSD. Для упрощения запуска серии OSD подготовлен init.d-скрипт xtreemfs-osd-farm; - Проведена работа по устранению ошибок в реализациях репликации, работающих в режимах "только чтение" или "чтение/запись". В частности, решены проблемы с отказоустойчивостью для файлов, реплицированных в режиме "чтение/запись", и устранена проблема с зависанием в режиме "только чтение"; - Добавлена страница с наглядным отображением состояния репликации для открытых файлов; <center><a href="http://3.bp.blogspot.com/-UV2vqa2_fjQ/UyDf1frjlII/AAAAAAAAAC... src="http://www.opennet.me/opennews/pics_base/0_1394803838.png" style="border-style: solid; border-color: #606060; border-width: 1px;max-width:100%;" title="" border=0></a></center> - Подготовлено (http://code.google.com/p/xtreemfs/wiki/ContrailSummerSchoolH... руководство для быстрого знакомства с XtreemFS, в котором в том числе описывается простейшие примеры отказоустойчивых конфигураций и репликации данных. URL: http://xtreemfs.blogspot.ru/2014/03/xtreemfs-15-released-imp... Новость: http://www.opennet.me/opennews/art.shtml?num=39315
Ответить \| Правка \| Cообщить модератору

Оглавление

чем оно лучше glusterfs, ceph и lustre , Аноним (-), 17:54 , 14-Мрт-14, (1) +1

тем, что написано на жаве, очевидно , Аноним (-), 17:57 , 14-Мрт-14, (2) +13
Не знаю как XtreemFS, но glusterfs не умеет следить за оставшимся местом на ноде, SunXE (ok), 18:14 , 14-Мрт-14, (3) +1

где эти люди потеряли логику , Аноним (-), 18:57 , 14-Мрт-14, (5) +8

С ибо FUSE на клиенте Сервер метаданных на Java - так проще писать сложную лог, гость (?), 23:10 , 14-Мрт-14, (13) –1

так быстрее писать сложную логику fixed, ананим. (?), 11:20 , 15-Мрт-14, (31) +3

и вот зачем оно на яве нужно, Аноним (-), 20:18 , 14-Мрт-14, (9) +3

А то что hadoop и производные, дефакто стандарт для big data, полностью на java , anonymous (??), 23:30 , 14-Мрт-14, (15) –2

Теплое и мягкое , Могикан (?), 23:49 , 14-Мрт-14, (16) –1

Эм hadoop hdfs - распределенная файловая система, XtreemFS - распределенная фа, anonymous (??), 02:57 , 15-Мрт-14, (24)

Если честно, то оочень смущает И по производительности, и, особенно, по безопас, Аноним (-), 00:03 , 15-Мрт-14, (19) +5

И сколько дефейсов за время эксплуатации у вас было зафиксировано , anonymous (??), 02:52 , 15-Мрт-14, (23)
Обоснуешь , Reinar (ok), 21:52 , 15-Мрт-14, (40)
сразу видно знающего человека сарказм , тигар (ok), 10:05 , 17-Мрт-14, (59)

нифига не стандарт, это затычка для нищебро А там где действительно big data ха, all_glory_to_the_hypnotoad (ok), 13:09 , 15-Мрт-14, (32) +4

Охтыж, что только не узнаешь на opennet Facebook, Yahoo, ebay, adobe - нищеброд, registred_anonymous (ok), 14:18 , 15-Мрт-14, (33) +5

Для тебя новость, что деньги делают всегда на нищебродах , all_glory_to_the_hypnotoad (ok), 18:05 , 15-Мрт-14, (38)

а че, есть примеры контор где для вот этих вот штук используется не ходуп а что-, тигар (ok), 10:09 , 17-Мрт-14, (60)

математика это уже приложение, а не компонент хранилища и кластерного по Свои С, all_glory_to_the_hypnotoad (ok), 22:11 , 17-Мрт-14, (67)

а я и не считаю его готовым к использованию как есть но таки пилить его дешев, тигар (ok), 22:25 , 17-Мрт-14, (69)

смотря чего хочется Если захочется двигаться и развиваться дальше, то на опреде, all_glory_to_the_hypnotoad (ok), 23:07 , 17-Мрт-14, (72)

вернотак а аналоги-то тому же ходупу где, не на яве в любом случае, не верится , тигар (ok), 23:35 , 17-Мрт-14, (74)

С страницы http www rekby ru 2013 03 xtreemfs html Итог - очень медленно раб, Pilat (ok), 10:52 , 16-Мрт-14, (42) +2

gt оверквотинг удален не удивительно, ведь через fuse , AnonymousRex (ok), 20:40 , 16-Мрт-14, (46)

Да-да, тормозить может всё что угодно сеть, ядро, драйвера, память, fuse, чёрт , Аноним (-), 02:01 , 17-Мрт-14, (49)

жаба на сервере метаданных, а тормозят операции I O, которые работают через fuse, AnonymousRex (ok), 02:27 , 17-Мрт-14, (50)

Да-да, конечно-конечно, вы не волнуйтесь, поциент, это всё плюсы и fuse виноваты, Аноним (-), 03:58 , 17-Мрт-14, (52)

то есть ответить нечего, ну я так и думал что имею дело с хомячком, спасибо за п, AnonymousRex (ok), 05:03 , 17-Мрт-14, (53)

Что ж ты так кипишуешь-то болезный Да, это всё мы, проклятые хомячки, криво пиш, Аноним (-), 05:27 , 17-Мрт-14, (55)

gt оверквотинг удален это не просто хомячек, это еще и клоун, AnonymousRex (ok), 07:54 , 17-Мрт-14, (56)

Дык клоуна и пародирую Аль не признал , Аноним (-), 08:15 , 17-Мрт-14, (57)

зачем ты сам себя пародируешь тебе все правильно сказали, жаба там не при делах , тигар (ok), 10:13 , 17-Мрт-14, (61)

Не очень важно почему, главное что к реальному использованию, скорее всего, прое, Pilat (ok), 03:14 , 17-Мрт-14, (51)

не готов, хотя swift, ceph, sheepdog и gluster тоже особой скоростью не отличают, AnonymousRex (ok), 05:06 , 17-Мрт-14, (54)

Запись архива на 70МБ идет со скоростью 140Кб сек Это неоправданно низкая скоро, Pilat (ok), 09:05 , 17-Мрт-14, (58)

несомненно, AnonymousRex (ok), 15:52 , 17-Мрт-14, (64)

чем это лучше PohmelFS - , Аноним (-), 11:51 , 16-Мрт-14, (44)

Тем, что оно хотя бы живо , Аноним (-), 14:31 , 16-Мрт-14, (45)

пока в проекте живо - лишь бодро-написанный выглядящий веб-сайт, очень любимог, Аноним (-), 16:31 , 19-Мрт-14, (76)

Подскажите, а на чем лучше строить отказоустойчивый бекенд Скажем, есть 4 серве, anonimov (?), 21:33 , 16-Мрт-14, (47)

если контент статический, то лучше rsynс ать , all_glory_to_the_hypnotoad (ok), 22:55 , 16-Мрт-14, (48)

как это будет выглядеть при, скажем, 2млн файлов на каждой машине решение с БД , тигар (ok), 10:16 , 17-Мрт-14, (62)

нужно смотреть по факту, может быть хреново Вариант с выгрузкой из БД очень даж, all_glory_to_the_hypnotoad (ok), 22:16 , 17-Мрт-14, (68)

да банальная проверка тем же ngx на наличие файла обработчик 404 ошибки, котор, тигар (ok), 22:28 , 17-Мрт-14, (70)

Это уже хуже, будут задержки и из-за внезапного наплыва пользователей может быть, all_glory_to_the_hypnotoad (ok), 23:02 , 17-Мрт-14, (71)

ну значит AI должен быть чуть лучше, в зав-ти от фазы луны генерить статику и от, тигар (ok), 23:30 , 17-Мрт-14, (73)

Gluster генерирует очнь много вспомогательно траффика На 100 Mb трафика gluster, Аноним (-), 11:11 , 17-Мрт-14, (63)
DRBD поможет , vkt (ok), 17:59 , 17-Мрт-14, (65)
Если это чистый вэб, то лучше использовать объектное хранилище s3 подобное Ва, anonymous (??), 20:49 , 17-Мрт-14, (66)
drdb, Кирилл (??), 17:59 , 18-Мрт-14, (75)

Сообщения [Сортировка по времени | RSS]

1. "Новая версия распределённой файловой системы XtreemFS 1.5" +1 +/–

Сообщение от Аноним (-), 14-Мрт-14, 17:54

чем оно лучше glusterfs, ceph и lustre?

Ответить | Правка | Наверх | Cообщить модератору

2. "Новая версия распределённой файловой системы XtreemFS 1.5" +13 +/–

Сообщение от Аноним (-), 14-Мрт-14, 17:57

тем, что написано на жаве, очевидно.

Ответить | Правка | Наверх | Cообщить модератору

3. "Новая версия распределённой файловой системы XtreemFS 1.5" +1 +/–

Сообщение от SunXE (ok), 14-Мрт-14, 18:14

Не знаю как XtreemFS, но glusterfs не умеет следить за оставшимся местом на ноде на которую он кидает файл. Она годится только если у тебя все файлы одного размера, тогда место будет заполняться равномерно.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

5. "Новая версия распределённой файловой системы XtreemFS 1.5" +8 +/–

Сообщение от Аноним (-), 14-Мрт-14, 18:57

> Серверная часть XtreemFS .. написана на языке Java. Клиент для работы с XtreemFS написан на С++
где эти люди потеряли логику?

Ответить | Правка | Наверх | Cообщить модератору

13. "Новая версия распределённой файловой системы XtreemFS 1.5" –1 +/–

Сообщение от гость (?), 14-Мрт-14, 23:10

С++ ибо FUSE на клиенте.
Сервер метаданных на Java - так проще писать сложную логику.

Ответить | Правка | Наверх | Cообщить модератору

31. "Новая версия распределённой файловой системы XtreemFS 1.5" +3 +/–

Сообщение от ананим. (?), 15-Мрт-14, 11:20

так быстрее писать сложную логику. // fixed

Ответить | Правка | Наверх | Cообщить модератору

9. "Новая версия распределённой файловой системы XtreemFS 1.5" +3 +/–

Сообщение от Аноним (-), 14-Мрт-14, 20:18

и вот зачем оно на яве нужно

Ответить | Правка | Наверх | Cообщить модератору

15. "Новая версия распределённой файловой системы XtreemFS 1.5" –2 +/–

Сообщение от anonymous (??), 14-Мрт-14, 23:30

А то что hadoop и производные, дефакто стандарт для big data, полностью на java написан, вас не смущает?

Ответить | Правка | Наверх | Cообщить модератору

16. "Новая версия распределённой файловой системы XtreemFS 1.5" –1 +/–

Сообщение от Могикан (?), 14-Мрт-14, 23:49

Теплое и мягкое.

Ответить | Правка | Наверх | Cообщить модератору

24. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от anonymous (??), 15-Мрт-14, 02:57

> Теплое и мягкое.
Эм.. hadoop/hdfs - распределенная файловая система, XtreemFS - распределенная файловая система. Не объясните - в чем их идеологические/концептуальные различия..?

Ответить | Правка | Наверх | Cообщить модератору

19. "Новая версия распределённой файловой системы XtreemFS 1.5" +5 +/–

Сообщение от Аноним (-), 15-Мрт-14, 00:03

Если честно, то оочень смущает. И по производительности, и, особенно, по безопасности этих big data.

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

23. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от anonymous (??), 15-Мрт-14, 02:52

И сколько дефейсов за время эксплуатации у вас было зафиксировано?

Ответить | Правка | Наверх | Cообщить модератору

40. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от Reinar (ok), 15-Мрт-14, 21:52

> особенно, по безопасности этих big data.
Обоснуешь?

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

59. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от тигар (ok), 17-Мрт-14, 10:05

сразу видно знающего человека
//сарказм.

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

32. "Новая версия распределённой файловой системы XtreemFS 1.5" +4 +/–

Сообщение от all_glory_to_the_hypnotoad (ok), 15-Мрт-14, 13:09

нифига не стандарт, это затычка для нищебро. А там где действительно big data хадуп со своими производными сосёт и люди юзают свои локальные поделки на с/с++ и etc.

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

33. "Новая версия распределённой файловой системы XtreemFS 1.5" +5 +/–

Сообщение от registred_anonymous (ok), 15-Мрт-14, 14:18

Охтыж, что только не узнаешь на opennet. Facebook, Yahoo, ebay, adobe - нищеброды. А Oracle, IBM и пол дюжины других известных вендоров делают и продают решения на основе затычки для нищебродов. Наверное, тоже начали ориентироваться на рынок нищебродов.

Ответить | Правка | Наверх | Cообщить модератору

38. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от all_glory_to_the_hypnotoad (ok), 15-Мрт-14, 18:05

Для тебя новость, что деньги делают всегда на нищебродах?

Ответить | Правка | Наверх | Cообщить модератору

60. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от тигар (ok), 17-Мрт-14, 10:09

> Для тебя новость, что деньги делают всегда на нищебродах?
а че, есть примеры контор где для вот этих вот штук используется не ходуп а что-то свое, на "С/С++" ? там же, помимо этой вот хдфс, как бы и матеметеги over дофига. мапят там, редьюсят, прочей фигней занимаются с данными. реально интересно, есть ли те, у кого столько бабла чтобы написать свой задуп.

Ответить | Правка | Наверх | Cообщить модератору

67. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от all_glory_to_the_hypnotoad (ok), 17-Мрт-14, 22:11

математика это уже приложение, а не компонент хранилища и кластерного по. Свои С/C++ реализации всего этого добра есть хотя бы у более-менее вменяемых поисковиков, например google и yandex. Не нужно думать, что hdfs/hadoop это такое замечательное отлаженное решенре, на самом деле там довольно много косяков и много чего нужно долго и нудно допиливать напильником.

Ответить | Правка | Наверх | Cообщить модератору

69. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от тигар (ok), 17-Мрт-14, 22:25

> Не нужно думать, что hdfs/hadoop это такое замечательное отлаженное решенре, на самом деле там довольно много косяков и много чего нужно долго и нудно допиливать напильником.
а я и не считаю его готовым к использованию "как есть". но таки пилить его дешевле и проще, чем ваять аналог с нуля. не?

Ответить | Правка | Наверх | Cообщить модератору

72. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от all_glory_to_the_hypnotoad (ok), 17-Мрт-14, 23:07

смотря чего хочется. Если захочется двигаться и развиваться дальше, то на определённом этапе придётся делать своё решение. Будет это на мясе из хадупа или нет уже не так важно, ибо разрабатывать нужно будет в обоих вараиантах много, архитектурно и алгоритмически. Но ява к этому ещё подкинет кучку инженерного гогна в виде аппетитов к памяти и внезапного GC.

Ответить | Правка | Наверх | Cообщить модератору

74. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от тигар (ok), 17-Мрт-14, 23:35

> смотря чего хочется. Если захочется двигаться и развиваться дальше, то на определённом
> этапе придётся делать своё решение.
верно
> Но ява к этому ещё
> подкинет кучку инженерного гогна в виде аппетитов к памяти и внезапного
> GC.
так а аналоги-то тому же ходупу где, не на яве? в любом случае, не верится в то, что люди ,находясь в здравом уме, будут с нуля писать аналог на С/С++ не имея 100% гарантию того, что проект "выстрелит" => берется тотже ходуп, поначалу пытаются взлететь "как есть", потом наступает Просветление, изучается "сопроцессоры". Потом наступает еще 1 Просветление, начинают патчить ходуп "под себя". ну и уже после этого можно начать думать о чем-то своем. так что фраза про "для нищебродов" она как-то.. не вернА, мне по-прежнему кажется.

Ответить | Правка | Наверх | Cообщить модератору

42. "Новая версия распределённой файловой системы XtreemFS 1.5" +2 +/–

Сообщение от Pilat (ok), 16-Мрт-14, 10:52

С страницы http://www.rekby.ru/2013/03/xtreemfs.html :
"Итог - очень медленно работает с большим количеством файлов, например распаковка Joomla занимает около 15 минут в режиме синхронной записи в кластер и 20 минут в режиме асинхронной записи (на локальную файловую систему около 2-3 секунд).
Вход на страницу установки joomla занимает 20-40 секунд и так после каждого щелчка (т.е. после чтения файлы не кэшируются), настроек кэширования данных в этой файловой системе нет.
Доступ к большому файлу так же не очень быстр. Запись архива на 70МБ идет со скоростью 140Кб/сек (настроена репликация на 3 сервера), чтение 4-5 МБ/сек."

Ответить | Правка | Наверх | Cообщить модератору

46. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от AnonymousRex (ok), 16-Мрт-14, 20:40

>[оверквотинг удален]
> "Итог - очень медленно работает с большим количеством файлов, например распаковка Joomla
> занимает около 15 минут в режиме синхронной записи в кластер и
> 20 минут в режиме асинхронной записи (на локальную файловую систему около
> 2-3 секунд).
> Вход на страницу установки joomla занимает 20-40 секунд и так после каждого
> щелчка (т.е. после чтения файлы не кэшируются), настроек кэширования данных в
> этой файловой системе нет.
> Доступ к большому файлу так же не очень быстр. Запись архива на
> 70МБ идет со скоростью 140Кб/сек (настроена репликация на 3 сервера), чтение
> 4-5 МБ/сек."
не удивительно, ведь через fuse

Ответить | Правка | Наверх | Cообщить модератору

49. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от Аноним (-), 17-Мрт-14, 02:01

Да-да, тормозить может всё что угодно: сеть, ядро, драйвера, память, fuse, чёрт в ступе сглаз наложил, но только не жаба.

Ответить | Правка | Наверх | Cообщить модератору

50. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от AnonymousRex (ok), 17-Мрт-14, 02:27

> Да-да, тормозить может всё что угодно: сеть, ядро, драйвера, память, fuse, чёрт
> в ступе сглаз наложил, но только не жаба.
жаба на сервере метаданных, а тормозят операции I/O, которые работают через fuse и написаны на C++. Я конечно понимаю что вы никогда не видели нормальную имплементацию джавы в нормальных масштабах, но это просто потому что вы вообще никакой имплементации не видели, а не потому что таких имплементаций не бывает

Ответить | Правка | Наверх | Cообщить модератору

52. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от Аноним (-), 17-Мрт-14, 03:58

Да-да, конечно-конечно, вы не волнуйтесь, поциент, это всё плюсы и fuse виноваты. У-у проклятые!

Ответить | Правка | Наверх | Cообщить модератору

53. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от AnonymousRex (ok), 17-Мрт-14, 05:03

> Да-да, конечно-конечно, вы не волнуйтесь, поциент, это всё плюсы и fuse виноваты.
> У-у проклятые!
то есть ответить нечего, ну я так и думал что имею дело с хомячком, спасибо за подтверждение

Ответить | Правка | Наверх | Cообщить модератору

55. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от Аноним (-), 17-Мрт-14, 05:27

Что ж ты так кипишуешь-то болезный? Да, это всё мы, проклятые хомячки, криво пишем на плюсах, не даём светозарной жабе показать свою мощь. Это мы невовремя запускаем gc и калечим технику. От одного нашего взгляда требования к ресурсам у жаба-программ вырастают впятеро! Это мы тормозим прогресс, отчего вам не дают денег на память и железо. Мы смеем что-то возразить против нужности абстрактного генератора синглтонов фабрик фабрик. Еретики! Запретить!
Истинно говорю вам, придёт день, и адепты самого правоверного языка перепишут всё на нём, и тогда наступит мир, покой и в человецах благорастворение. Покайтесь плюсовики! Плачьте ассемблерщики! Ибо близко воскрешение Сана, а оракл - пророк его!

Ответить | Правка | Наверх | Cообщить модератору

56. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от AnonymousRex (ok), 17-Мрт-14, 07:54

>[оверквотинг удален]
> криво пишем на плюсах, не даём светозарной жабе показать свою мощь.
> Это мы невовремя запускаем gc и калечим технику. От одного нашего
> взгляда требования к ресурсам у жаба-программ вырастают впятеро! Это мы тормозим
> прогресс, отчего вам не дают денег на память и железо. Мы
> смеем что-то возразить против нужности абстрактного генератора синглтонов фабрик фабрик.
> Еретики! Запретить!
> Истинно говорю вам, придёт день, и адепты самого правоверного языка перепишут всё
> на нём, и тогда наступит мир, покой и в человецах благорастворение.
> Покайтесь плюсовики! Плачьте ассемблерщики! Ибо близко воскрешение Сана, а оракл -
> пророк его!
это не просто хомячек, это еще и клоун

Ответить | Правка | Наверх | Cообщить модератору

57. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от Аноним (-), 17-Мрт-14, 08:15

Дык клоуна и пародирую. Аль не признал?

Ответить | Правка | Наверх | Cообщить модератору

61. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от тигар (ok), 17-Мрт-14, 10:13

> Дык клоуна и пародирую. Аль не признал?
зачем ты сам себя пародируешь?тебе все правильно сказали, жаба там не при делах.

Ответить | Правка | Наверх | Cообщить модератору

51. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от Pilat (ok), 17-Мрт-14, 03:14

Не очень важно почему, главное что к реальному использованию, скорее всего, проект не готов. Разве что он идеально работает на медленных соединениях с частыми обрывами.

Ответить | Правка | К родителю #46 | Наверх | Cообщить модератору

54. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от AnonymousRex (ok), 17-Мрт-14, 05:06

> Не очень важно почему, главное что к реальному использованию, скорее всего, проект
> не готов. Разве что он идеально работает на медленных соединениях с
> частыми обрывами.
не готов, хотя swift, ceph, sheepdog и gluster тоже особой скоростью не отличаются. они собственно говоря и не для того придуманы, тут вся идея в масштабируемости и использовании локальных дисков с кучи хостов. если нужна еще и скорость, то надо поднимать инфраструктуру посерьезнее гигабитной сети, как впрочем и с обычным SAN

Ответить | Правка | Наверх | Cообщить модератору

58. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от Pilat (ok), 17-Мрт-14, 09:05

"Запись архива на 70МБ идет со скоростью 140Кб/сек"
Это неоправданно низкая скорость на любой сети.

Ответить | Правка | Наверх | Cообщить модератору

64. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от AnonymousRex (ok), 17-Мрт-14, 15:52

> "Запись архива на 70МБ идет со скоростью 140Кб/сек"
> Это неоправданно низкая скорость на любой сети.
несомненно

Ответить | Правка | Наверх | Cообщить модератору

44. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от Аноним (-), 16-Мрт-14, 11:51

чем это лучше PohmelFS ? :-/

Ответить | Правка | Наверх | Cообщить модератору

45. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от Аноним (-), 16-Мрт-14, 14:31

> чем это лучше PohmelFS ? :-/
Тем, что оно хотя бы живо?

Ответить | Правка | Наверх | Cообщить модератору

76. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от Аноним (-), 19-Мрт-14, 16:31

пока в проекте "живо" - лишь бодро-написанный/выглядящий веб-сайт, очень любимого амер. правительственными/разведываетльными огранизациями, облика/функциональности.

Ответить | Правка | Наверх | Cообщить модератору

47. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от anonimov (?), 16-Мрт-14, 21:33

Подскажите, а на чем лучше строить отказоустойчивый бекенд? Скажем, есть 4 сервера с веб-контентом, которые лоадбалансятся. Контент,в основном,мелкие файлы.
Чем лучше синхронизировать такой контент?Gluster?NFS?

Ответить | Правка | Наверх | Cообщить модератору

48. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от all_glory_to_the_hypnotoad (ok), 16-Мрт-14, 22:55

если контент статический, то лучше rsynс'ать.

Ответить | Правка | Наверх | Cообщить модератору

62. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от тигар (ok), 17-Мрт-14, 10:16

> если контент статический, то лучше rsynс'ать.
как это будет выглядеть при, скажем, 2млн файлов на каждой машине ?
решение с БД и выгрузкой в статику (например по крону) и то выглядит сильно менее корявым.

Ответить | Правка | Наверх | Cообщить модератору

68. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от all_glory_to_the_hypnotoad (ok), 17-Мрт-14, 22:16

нужно смотреть по факту, может быть хреново. Вариант с выгрузкой из БД очень даже хорош (~ строим очередь обновлений + на каждой машине докатываем новые файлы), но его же кодить нужно, хоть и не много.

Ответить | Правка | Наверх | Cообщить модератору

70. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от тигар (ok), 17-Мрт-14, 22:28

> нужно смотреть по факту, может быть хреново. Вариант с выгрузкой из БД
> очень даже хорош (~ строим очередь обновлений + на каждой машине
> докатываем новые файлы), но его же кодить нужно, хоть и не
> много.
да банальная проверка тем же ngx на наличие файла + обработчик 404 ошибки, который сходит в БД и покладет картинку куда нужно. это даже лучше чем cron, к примеру

Ответить | Правка | Наверх | Cообщить модератору

71. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от all_glory_to_the_hypnotoad (ok), 17-Мрт-14, 23:02

Это уже хуже, будут задержки и из-за внезапного наплыва пользователей может быть временами очень плохо.

Ответить | Правка | Наверх | Cообщить модератору

73. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от тигар (ok), 17-Мрт-14, 23:30

> Это уже хуже, будут задержки и из-за внезапного наплыва пользователей может быть
> временами очень плохо.
ну значит AI должен быть чуть лучше, в зав-ти от фазы луны генерить статику и отдавать ее, либо ходить за ней в бд.
в прошлом комменте я затупил про 404, есть же try_files :)

Ответить | Правка | Наверх | Cообщить модератору

63. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от Аноним (-), 17-Мрт-14, 11:11

Gluster генерирует очнь много вспомогательно траффика. На 100 Mb трафика gluster снегерит ещё 200 служебного

Ответить | Правка | К родителю #47 | Наверх | Cообщить модератору

65. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от vkt (ok), 17-Мрт-14, 17:59

DRBD поможет?

Ответить | Правка | К родителю #47 | Наверх | Cообщить модератору

66. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от anonymous (??), 17-Мрт-14, 20:49

Если это чистый вэб, то лучше использовать объектное хранилище (s3 подобное). Вариантов тут много:
dogsheep, ceph, яндекс пиарит свой Elliptics, swift (его многие считают нестабильным).
Если очень нужен posix, то наверное стоит посмотреть на moosefs.
На glaster на продакшене многие ругаются.

Ответить | Правка | К родителю #47 | Наверх | Cообщить модератору

75. "Новая версия распределённой файловой системы XtreemFS 1.5" +/–

Сообщение от Кирилл (??), 18-Мрт-14, 17:59

drdb

Ответить | Правка | К родителю #47 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Новая версия распределённой файловой системы XtreemFS 1.5"	+1 +/–
Сообщение от Аноним (-), 14-Мрт-14, 17:54
чем оно лучше glusterfs, ceph и lustre?
Ответить \| Правка \| Наверх \| Cообщить модератору


	2. "Новая версия распределённой файловой системы XtreemFS 1.5"	+13 +/–
	Сообщение от Аноним (-), 14-Мрт-14, 17:57
	тем, что написано на жаве, очевидно.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	3. "Новая версия распределённой файловой системы XtreemFS 1.5"	+1 +/–
	Сообщение от SunXE (ok), 14-Мрт-14, 18:14
	Не знаю как XtreemFS, но glusterfs не умеет следить за оставшимся местом на ноде на которую он кидает файл. Она годится только если у тебя все файлы одного размера, тогда место будет заполняться равномерно.
	Ответить \| Правка \| К родителю #1 \| Наверх \| Cообщить модератору

5. "Новая версия распределённой файловой системы XtreemFS 1.5"	+8 +/–
Сообщение от Аноним (-), 14-Мрт-14, 18:57
> Серверная часть XtreemFS .. написана на языке Java. Клиент для работы с XtreemFS написан на С++ где эти люди потеряли логику?
Ответить \| Правка \| Наверх \| Cообщить модератору


	13. "Новая версия распределённой файловой системы XtreemFS 1.5"	–1 +/–
	Сообщение от гость (?), 14-Мрт-14, 23:10
	С++ ибо FUSE на клиенте. Сервер метаданных на Java - так проще писать сложную логику.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	31. "Новая версия распределённой файловой системы XtreemFS 1.5"	+3 +/–
	Сообщение от ананим. (?), 15-Мрт-14, 11:20
	так быстрее писать сложную логику. // fixed
	Ответить \| Правка \| Наверх \| Cообщить модератору

9. "Новая версия распределённой файловой системы XtreemFS 1.5"	+3 +/–
Сообщение от Аноним (-), 14-Мрт-14, 20:18
и вот зачем оно на яве нужно
Ответить \| Правка \| Наверх \| Cообщить модератору


	15. "Новая версия распределённой файловой системы XtreemFS 1.5"	–2 +/–
	Сообщение от anonymous (??), 14-Мрт-14, 23:30
	А то что hadoop и производные, дефакто стандарт для big data, полностью на java написан, вас не смущает?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	16. "Новая версия распределённой файловой системы XtreemFS 1.5"	–1 +/–
	Сообщение от Могикан (?), 14-Мрт-14, 23:49
	Теплое и мягкое.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	24. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от anonymous (??), 15-Мрт-14, 02:57
	> Теплое и мягкое. Эм.. hadoop/hdfs - распределенная файловая система, XtreemFS - распределенная файловая система. Не объясните - в чем их идеологические/концептуальные различия..?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	19. "Новая версия распределённой файловой системы XtreemFS 1.5"	+5 +/–
	Сообщение от Аноним (-), 15-Мрт-14, 00:03
	Если честно, то оочень смущает. И по производительности, и, особенно, по безопасности этих big data.
	Ответить \| Правка \| К родителю #15 \| Наверх \| Cообщить модератору


	23. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от anonymous (??), 15-Мрт-14, 02:52
	И сколько дефейсов за время эксплуатации у вас было зафиксировано?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	40. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от Reinar (ok), 15-Мрт-14, 21:52
	> особенно, по безопасности этих big data. Обоснуешь?
	Ответить \| Правка \| К родителю #19 \| Наверх \| Cообщить модератору


	59. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от тигар (ok), 17-Мрт-14, 10:05
	сразу видно знающего человека //сарказм.
	Ответить \| Правка \| К родителю #19 \| Наверх \| Cообщить модератору


	32. "Новая версия распределённой файловой системы XtreemFS 1.5"	+4 +/–
	Сообщение от all_glory_to_the_hypnotoad (ok), 15-Мрт-14, 13:09
	нифига не стандарт, это затычка для нищебро. А там где действительно big data хадуп со своими производными сосёт и люди юзают свои локальные поделки на с/с++ и etc.
	Ответить \| Правка \| К родителю #15 \| Наверх \| Cообщить модератору


	33. "Новая версия распределённой файловой системы XtreemFS 1.5"	+5 +/–
	Сообщение от registred_anonymous (ok), 15-Мрт-14, 14:18
	Охтыж, что только не узнаешь на opennet. Facebook, Yahoo, ebay, adobe - нищеброды. А Oracle, IBM и пол дюжины других известных вендоров делают и продают решения на основе затычки для нищебродов. Наверное, тоже начали ориентироваться на рынок нищебродов.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	38. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от all_glory_to_the_hypnotoad (ok), 15-Мрт-14, 18:05
	Для тебя новость, что деньги делают всегда на нищебродах?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	60. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от тигар (ok), 17-Мрт-14, 10:09
	> Для тебя новость, что деньги делают всегда на нищебродах? а че, есть примеры контор где для вот этих вот штук используется не ходуп а что-то свое, на "С/С++" ? там же, помимо этой вот хдфс, как бы и матеметеги over дофига. мапят там, редьюсят, прочей фигней занимаются с данными. реально интересно, есть ли те, у кого столько бабла чтобы написать свой задуп.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	67. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от all_glory_to_the_hypnotoad (ok), 17-Мрт-14, 22:11
	математика это уже приложение, а не компонент хранилища и кластерного по. Свои С/C++ реализации всего этого добра есть хотя бы у более-менее вменяемых поисковиков, например google и yandex. Не нужно думать, что hdfs/hadoop это такое замечательное отлаженное решенре, на самом деле там довольно много косяков и много чего нужно долго и нудно допиливать напильником.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	69. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от тигар (ok), 17-Мрт-14, 22:25
	> Не нужно думать, что hdfs/hadoop это такое замечательное отлаженное решенре, на самом деле там довольно много косяков и много чего нужно долго и нудно допиливать напильником. а я и не считаю его готовым к использованию "как есть". но таки пилить его дешевле и проще, чем ваять аналог с нуля. не?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	72. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от all_glory_to_the_hypnotoad (ok), 17-Мрт-14, 23:07
	смотря чего хочется. Если захочется двигаться и развиваться дальше, то на определённом этапе придётся делать своё решение. Будет это на мясе из хадупа или нет уже не так важно, ибо разрабатывать нужно будет в обоих вараиантах много, архитектурно и алгоритмически. Но ява к этому ещё подкинет кучку инженерного гогна в виде аппетитов к памяти и внезапного GC.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	74. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от тигар (ok), 17-Мрт-14, 23:35
	> смотря чего хочется. Если захочется двигаться и развиваться дальше, то на определённом > этапе придётся делать своё решение. верно > Но ява к этому ещё > подкинет кучку инженерного гогна в виде аппетитов к памяти и внезапного > GC. так а аналоги-то тому же ходупу где, не на яве? в любом случае, не верится в то, что люди ,находясь в здравом уме, будут с нуля писать аналог на С/С++ не имея 100% гарантию того, что проект "выстрелит" => берется тотже ходуп, поначалу пытаются взлететь "как есть", потом наступает Просветление, изучается "сопроцессоры". Потом наступает еще 1 Просветление, начинают патчить ходуп "под себя". ну и уже после этого можно начать думать о чем-то своем. так что фраза про "для нищебродов" она как-то.. не вернА, мне по-прежнему кажется.
	Ответить \| Правка \| Наверх \| Cообщить модератору

42. "Новая версия распределённой файловой системы XtreemFS 1.5"	+2 +/–
Сообщение от Pilat (ok), 16-Мрт-14, 10:52
С страницы http://www.rekby.ru/2013/03/xtreemfs.html : "Итог - очень медленно работает с большим количеством файлов, например распаковка Joomla занимает около 15 минут в режиме синхронной записи в кластер и 20 минут в режиме асинхронной записи (на локальную файловую систему около 2-3 секунд). Вход на страницу установки joomla занимает 20-40 секунд и так после каждого щелчка (т.е. после чтения файлы не кэшируются), настроек кэширования данных в этой файловой системе нет. Доступ к большому файлу так же не очень быстр. Запись архива на 70МБ идет со скоростью 140Кб/сек (настроена репликация на 3 сервера), чтение 4-5 МБ/сек."
Ответить \| Правка \| Наверх \| Cообщить модератору


	46. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от AnonymousRex (ok), 16-Мрт-14, 20:40
	>[оверквотинг удален] > "Итог - очень медленно работает с большим количеством файлов, например распаковка Joomla > занимает около 15 минут в режиме синхронной записи в кластер и > 20 минут в режиме асинхронной записи (на локальную файловую систему около > 2-3 секунд). > Вход на страницу установки joomla занимает 20-40 секунд и так после каждого > щелчка (т.е. после чтения файлы не кэшируются), настроек кэширования данных в > этой файловой системе нет. > Доступ к большому файлу так же не очень быстр. Запись архива на > 70МБ идет со скоростью 140Кб/сек (настроена репликация на 3 сервера), чтение > 4-5 МБ/сек." не удивительно, ведь через fuse
	Ответить \| Правка \| Наверх \| Cообщить модератору


	49. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от Аноним (-), 17-Мрт-14, 02:01
	Да-да, тормозить может всё что угодно: сеть, ядро, драйвера, память, fuse, чёрт в ступе сглаз наложил, но только не жаба.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	50. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от AnonymousRex (ok), 17-Мрт-14, 02:27
	> Да-да, тормозить может всё что угодно: сеть, ядро, драйвера, память, fuse, чёрт > в ступе сглаз наложил, но только не жаба. жаба на сервере метаданных, а тормозят операции I/O, которые работают через fuse и написаны на C++. Я конечно понимаю что вы никогда не видели нормальную имплементацию джавы в нормальных масштабах, но это просто потому что вы вообще никакой имплементации не видели, а не потому что таких имплементаций не бывает
	Ответить \| Правка \| Наверх \| Cообщить модератору


	52. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от Аноним (-), 17-Мрт-14, 03:58
	Да-да, конечно-конечно, вы не волнуйтесь, поциент, это всё плюсы и fuse виноваты. У-у проклятые!
	Ответить \| Правка \| Наверх \| Cообщить модератору


	53. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от AnonymousRex (ok), 17-Мрт-14, 05:03
	> Да-да, конечно-конечно, вы не волнуйтесь, поциент, это всё плюсы и fuse виноваты. > У-у проклятые! то есть ответить нечего, ну я так и думал что имею дело с хомячком, спасибо за подтверждение
	Ответить \| Правка \| Наверх \| Cообщить модератору


	55. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от Аноним (-), 17-Мрт-14, 05:27
	Что ж ты так кипишуешь-то болезный? Да, это всё мы, проклятые хомячки, криво пишем на плюсах, не даём светозарной жабе показать свою мощь. Это мы невовремя запускаем gc и калечим технику. От одного нашего взгляда требования к ресурсам у жаба-программ вырастают впятеро! Это мы тормозим прогресс, отчего вам не дают денег на память и железо. Мы смеем что-то возразить против нужности абстрактного генератора синглтонов фабрик фабрик. Еретики! Запретить! Истинно говорю вам, придёт день, и адепты самого правоверного языка перепишут всё на нём, и тогда наступит мир, покой и в человецах благорастворение. Покайтесь плюсовики! Плачьте ассемблерщики! Ибо близко воскрешение Сана, а оракл - пророк его!
	Ответить \| Правка \| Наверх \| Cообщить модератору


	56. "Новая версия распределённой файловой системы XtreemFS 1.5"	+/–
	Сообщение от AnonymousRex (ok), 17-Мрт-14, 07:54
	>[оверквотинг удален] > криво пишем на плюсах, не даём светозарной жабе показать свою мощь. > Это мы невовремя запускаем gc и калечим технику. От одного нашего > взгляда требования к ресурсам у жаба-программ вырастают впятеро! Это мы тормозим > прогресс, отчего вам не дают денег на память и железо. Мы > смеем что-то возразить против нужности абстрактного генератора синглтонов фабрик фабрик. > Еретики! Запретить! > Истинно говорю вам, придёт день, и адепты самого правоверного языка перепишут всё > на нём, и тогда наступит мир, покой и в человецах благорастворение. > Покайтесь плюсовики! Плачьте ассемблерщики! Ибо близко воскрешение Сана, а оракл - > пророк его! это не просто хомячек, это еще и клоун
	Ответить \| Правка \| Наверх \| Cообщить модератору