The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Компания Red Hat преобразовала проект Gluster в сообщество р..., opennews (??), 06-Май-13, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


31. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  –2 +/
Сообщение от linux must _RIP_ (?), 07-Май-13, 08:43 
> lustre не умеет реплицировать данные. Эт эдакий raid0 по сети.

не умеет. да и не надо было. Хотя если почитаете материалы последнего LUG - то проект network raid реанимировали.

вы лучше скажите - как cephfs и gluster на скоростях гигабайты в секунду по ib?
как у них проблемы с recovery - правда ли что cephfs - надеется только на репликацию - и требует в 2 раза больше дисков и электричества для хранения того же объема данных (hint - 12P дискового массива жрут очень дофига, что бы удваивать)


Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

37. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +/
Сообщение от AlexAT (ok), 07-Май-13, 10:08 
> как у них проблемы с recovery - правда ли что cephfs -
> надеется только на репликацию - и требует в 2 раза больше

А какие способы гарантированного recovery кроме репликации вам известны?

Ответить | Правка | Наверх | Cообщить модератору

42. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  –1 +/
Сообщение от linux must _RIP_ (?), 07-Май-13, 11:38 
>> как у них проблемы с recovery - правда ли что cephfs -
>> надеется только на репликацию - и требует в 2 раза больше
> А какие способы гарантированного recovery кроме репликации вам известны?

гарантированного? а можно описать в каких случаях это вообще надо :-)
а то Cray об этом не в курсе и не использует recovery вообще :)
А так.. хотя бы журналирование данных и метаопераций.


Ответить | Правка | Наверх | Cообщить модератору

53. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +/
Сообщение от Аноним (-), 07-Май-13, 13:16 
> гарантированного? а можно описать в каких случаях это вообще надо :-)

"Если мы что-то не поддерживаем, значит, вам это не нужно"

Ответить | Правка | Наверх | Cообщить модератору

60. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  –1 +/
Сообщение от linux must _RIP_ (?), 07-Май-13, 16:10 
>> гарантированного? а можно описать в каких случаях это вообще надо :-)
> "Если мы что-то не поддерживаем, значит, вам это не нужно"

к слову вариант для тех кому нужно - поддерживается :-)

Ответить | Правка | Наверх | Cообщить модератору

70. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +2 +/
Сообщение от Аноним (-), 07-Май-13, 18:19 
>>> гарантированного? а можно описать в каких случаях это вообще надо :-)
>> "Если мы что-то не поддерживаем, значит, вам это не нужно"
> к слову вариант для тех кому нужно - поддерживается :-)

Тогда зачем так старательно доказывать, что оно не нужно? Может, лучше сначала погуглить и выяснить, в каких именно аспектах требуется ваша яростная защита?

Ответить | Правка | Наверх | Cообщить модератору

80. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  –2 +/
Сообщение от linux must _RIP_ (?), 07-Май-13, 19:08 
>>>> гарантированного? а можно описать в каких случаях это вообще надо :-)
>>> "Если мы что-то не поддерживаем, значит, вам это не нужно"
>> к слову вариант для тех кому нужно - поддерживается :-)
> Тогда зачем так старательно доказывать, что оно не нужно? Может, лучше сначала
> погуглить и выяснить, в каких именно аспектах требуется ваша яростная защита?

старательно? я лишь сослался на опыт Cray ;-) вполне себе.. а как у вас запекло...

Ответить | Правка | Наверх | Cообщить модератору

81. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  –2 +/
Сообщение от linux must _RIP_ (?), 07-Май-13, 19:09 
>>>> гарантированного? а можно описать в каких случаях это вообще надо :-)
>>> "Если мы что-то не поддерживаем, значит, вам это не нужно"
>> к слову вариант для тех кому нужно - поддерживается :-)
> Тогда зачем так старательно доказывать, что оно не нужно? Может, лучше сначала
> погуглить и выяснить, в каких именно аспектах требуется ваша яростная защита?

кстати raid5/6 вполне могут обеспечить надежность без полной репликации данных - на этом был (и есть) основан люстровый network raid.

Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору

90. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +1 +/
Сообщение от AlexAT (ok), 07-Май-13, 23:53 
> кстати raid5/6 вполне могут обеспечить надежность без полной репликации данных - на
> этом был (и есть) основан люстровый network raid.

Простите, как быть с вашим RAIDx, если потеряется вся нода целиком? Две ноды? В случае Gluster всё проще - там можно реплицироваться на любое число нод. At expense of performance.

Ответить | Правка | Наверх | Cообщить модератору

93. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  –2 +/
Сообщение от linux must _RIP_ (?), 08-Май-13, 00:01 
>> кстати raid5/6 вполне могут обеспечить надежность без полной репликации данных - на
>> этом был (и есть) основан люстровый network raid.
> Простите, как быть с вашим RAIDx, если потеряется вся нода целиком? Две
> ноды? В случае Gluster всё проще - там можно реплицироваться на
> любое число нод. At expense of performance.

нода целиком? это как? разу все диски рейд возьмут и умрут? для мисье секрет что raid5/6 может востанавливаться на воткнутый hot spare винт?

может не стоит покупать винчестеры по 20 баксов - а стоит посмотреть на серьезные вещи?

hint. наши железянщики рассказывают что не все марки одинаково хороши для рейдов + ext4 причем разница в скорости может достигать в разы - при одних и тех же параметрах md.

Ответить | Правка | Наверх | Cообщить модератору

95. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +/
Сообщение от Аноним (-), 08-Май-13, 01:54 
> нода целиком?

Это очень просто. Например, сгорел контроллер или baseboard. Я даже больше скажу, ноды могут сразу целыми стойками из строя выходить даже при резервировании питания по независимым линиям: например, на одно из линий падает напряжение (трансформатор на подстанции взял и накрылся) во время пиковой нагрузки, и через второй PDU на другой линии в стойке ток поднялся выше расчетного значения, в итоге, второй PDU  в стойке тоже отключился. И привет, стойка обесточена.

Подобных сценариев можно массу на ходу придумать. Именно поэтому равноправные узлы кластера в некоторых местах принято разносить по разным стойкам. Или, например, использовать несколько датацентров, строя архитектуру таким образом, чтобы выход из строя одного датацентра не прервал работу сервиса.

А ты: "диски, диски..."

> это как? разу все диски рейд возьмут и умрут?

Например, произошел сбой драйвера контроллера или сам контроллер сдох.

Ответить | Правка | Наверх | Cообщить модератору

96. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +/
Сообщение от vadikgo (ok), 08-Май-13, 02:24 
> Например, произошел сбой драйвера контроллера или сам контроллер сдох.

Достаточно сдохнуть батарейке в рейд контроллере. Сразу-же отключается кэш на запись и весь массив становится неработоспособен.

Ответить | Правка | Наверх | Cообщить модератору

99. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +1 +/
Сообщение от AlexAT (ok), 08-Май-13, 07:20 
>> Например, произошел сбой драйвера контроллера или сам контроллер сдох.
> Достаточно сдохнуть батарейке в рейд контроллере. Сразу-же отключается кэш на запись и
> весь массив становится неработоспособен.

Ну... уж не всё так страшно :) Современные контроллеры прекрасно работают без батарейки, в режиме кеширования write-through

Ответить | Правка | Наверх | Cообщить модератору

105. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  –1 +/
Сообщение от linux must _RIP_ (?), 08-Май-13, 10:00 
>> нода целиком?
> Это очень просто. Например, сгорел контроллер или baseboard. Я даже больше скажу,
> ноды могут сразу целыми стойками из строя выходить даже при резервировании
> питания по независимым линиям: например, на одно из линий падает напряжение
> (трансформатор на подстанции взял и накрылся) во время пиковой нагрузки, и
> через второй PDU на другой линии в стойке ток поднялся выше
> расчетного значения, в итоге, второй PDU  в стойке тоже отключился.
> И привет, стойка обесточена.

Если случится такое - то выход из строя ноды будет самое легкое что произойдет. Худшее - очередной атлантис сдохнет на орбите или биологический/ядерный эксперемент накроется :-)
Это будет веселее.


> Подобных сценариев можно массу на ходу придумать. Именно поэтому равноправные узлы кластера
> в некоторых местах принято разносить по разным стойкам. Или, например, использовать
> несколько датацентров, строя архитектуру таким образом, чтобы выход из строя одного
> датацентра не прервал работу сервиса.

:-) у вас слишком простой сценарий.

> А ты: "диски, диски..."
>> это как? разу все диски рейд возьмут и умрут?

откройте для себя disk backplane с JBOD контролером.

hint. так и вижу как фирма расчитывающая спецэфекты для черного рыцаря (ну или любую другую что они делали) - ходит через океан на другой DC за файлами с кадрами.

Ответить | Правка | К родителю #95 | Наверх | Cообщить модератору

114. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +/
Сообщение от Псевдоним (ok), 08-Май-13, 11:51 
>Если случится такое - то выход из строя ноды будет самое легкое что произойдет.

Если ноды зарезервированы, то это будет единственное, что произойдет.

>:-) у вас слишком простой сценарий.

На сложность претензий не было, скорее, наоборот, это первое, что в голову пришло :)

>откройте для себя disk backplane с JBOD контролером.

В общем-то, тупой HBA вместо RAID-контроллера от сбоя драйвера этого HBA не защищает. И уж тем более, не предотвращает простой, если диски подключены через единственный контроллер.
А резервировать каждый компонент сервера, и все равно с отсутствием гарантии, что нода не может стать недоступна, не факт, что дешевле, чем поставить 2 менее дорогих ноды с меньшим уровнем внутреннего резервирования.

>hint. так и вижу как фирма расчитывающая спецэфекты для черного рыцаря (ну или любую другую что они делали) - ходит через океан на другой DC за файлами с кадрами.

Эта фирма не ходит, а многие другие ходят, чтобы не допустить глобального простоя сервиса в случае катастрофы. Я о том тебе и говорю, что задачи и требования разные бывают и считать, что всем в качестве средства резервирования подойдут исключительно RAID-массивы, а большего никому не требуется - наивно. Тот же гугл, например, почему-то, одни рейд-массивы не устраивают.

Ответить | Правка | Наверх | Cообщить модератору

98. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +1 +/
Сообщение от AlexAT (ok), 08-Май-13, 07:17 
> нода целиком? это как?

Это элементарно: умерла мать/память/RAID-контроллер / порвали оптику/патчкорд до FCoE-коммутатора / etc. Т.е. выпала вся нода целиком.

> мисье секрет что raid5/6 может востанавливаться на воткнутый hot spare винт?

Постановка задачи однозначная: выпала НОДА, а не "все винты умерли", и нечего додумывать. Не важно, что там случилось. Пожар в DC был, может быть, и умерло всё, а не только винты. Или питалово отключили просто (тогда данные целы, но толку от них чуть менее, чем 0). Главное - нода потеряна.

Итак, что будем делать? И как поможет RAID1/5/6/100500 в данном случае?

Ответить | Правка | К родителю #93 | Наверх | Cообщить модератору

103. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  –2 +/
Сообщение от linux must _RIP_ (?), 08-Май-13, 09:55 
>> нода целиком? это как?
> Это элементарно: умерла мать/память/RAID-контроллер / порвали оптику/патчкорд до FCoE-коммутатора
> / etc. Т.е. выпала вся нода целиком.

и что? JBOD SAS и active-passive резервирование на соседную материнку. какое-то время проживет - при этом в течении часа сдохшее поменяют.


>> мисье секрет что raid5/6 может востанавливаться на воткнутый hot spare винт?
> Постановка задачи однозначная: выпала НОДА, а не "все винты умерли", и нечего
> додумывать. Не важно, что там случилось. Пожар в DC был, может
> быть, и умерло всё, а не только винты. Или питалово отключили
> просто (тогда данные целы, но толку от них чуть менее, чем
> 0). Главное - нода потеряна.
> Итак, что будем делать? И как поможет RAID1/5/6/100500 в данном случае?

у вас слишком маленькие объемы данных что бы защищать это реплицированием - и слишком маленькие скорости - что бы работало в разнесенных географически DC. когда у вас начнут требовать скорости 2.5Gb/s на запись per node и 4GB/s на чтение и объемы данных per node - от 20P тогда поговорим о реплицировании и разнесении по разным датацентрам.


hint. если что-то с питанием - страдает все - а не только 1 нода :-) пожар ровно так же. Но все это сильно искуственные условия.

Ответить | Правка | Наверх | Cообщить модератору

106. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +2 +/
Сообщение от AlexAT (ok), 08-Май-13, 10:03 
> и что? JBOD SAS и active-passive резервирование на соседную материнку. какое-то время
> проживет - при этом в течении часа сдохшее поменяют.

"В течение часа" для телекома, например - это ни хрена не допустимый простой.
Остальное - вода. Кто-то делает, кто-то ищет отговорки вида "вот когда начнут".

Ответить | Правка | Наверх | Cообщить модератору

110. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  –1 +/
Сообщение от linux must _RIP_ (?), 08-Май-13, 10:30 
>> и что? JBOD SAS и active-passive резервирование на соседную материнку. какое-то время
>> проживет - при этом в течении часа сдохшее поменяют.
> "В течение часа" для телекома, например - это ни хрена не допустимый
> простой.
> Остальное - вода. Кто-то делает, кто-то ищет отговорки вида "вот когда начнут".

:-) смешной ты. так что там на счет JBOD SAS и disk backplane к 2 разным материнкам, с резервированием по блокам питания и сетевым? с дополнительными блоками защиты на входе в каждую стойку и в целом всей комнаты? Телеком всегда на таком экономил.

ну и отдельной электростанцией :-)

hint. японский кластер из top100 (не помню уже его теперешнюю позицию) - потреблял около 6-10Мегаватт*ч. Да да - я посмотрю как будет резервироваться такая мощность :-) и в какую копеечку этот резерв обойдется вам.

hint2. репликация может (и частично должна) делаться другими средствами - а не FS. в частности HSM - хорошо "реплицирует" FS на ленточки.

Ответить | Правка | К родителю #106 | Наверх | Cообщить модератору

115. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +/
Сообщение от Псевдоним (ok), 08-Май-13, 12:00 
>>> и что? JBOD SAS и active-passive резервирование на соседную материнку. какое-то время
>>> проживет - при этом в течении часа сдохшее поменяют.
>> "В течение часа" для телекома, например - это ни хрена не допустимый
>> простой.
>> Остальное - вода. Кто-то делает, кто-то ищет отговорки вида "вот когда начнут".
> :-) смешной ты. так что там на счет JBOD SAS и disk
> backplane к 2 разным материнкам, с резервированием по блокам питания и
> сетевым? с дополнительными блоками защиты на входе в каждую стойку и
> в целом всей комнаты?

А что там насчет стоимости полного резевирования каждого компонента в сравнении с стоимостью второй обычной ноды?

> ну и отдельной электростанцией :-)

Отдельной подстанцией. С распределением нагрузки в энергосети между разными электростанциями энергетики сами справляются.

> hint2. репликация может (и частично должна) делаться другими средствами - а не
> FS. в частности HSM - хорошо "реплицирует" FS на ленточки.

А что там с доступностью и актуальностью данных, хранящихся на лентах? У меня такое чувство, что ты путаешь цели бэкапов и high availability.

Ответить | Правка | К родителю #110 | Наверх | Cообщить модератору

116. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  –1 +/
Сообщение от linux must _RIP_ (?), 08-Май-13, 12:24 
> А что там насчет стоимости полного резевирования каждого компонента в сравнении с стоимостью второй обычной ноды?

Не каждого. active-passive я не зря указал.


> Отдельной подстанцией. С распределением нагрузки в энергосети между разными электростанциями энергетики сами справляются.

не хватит :-)

> А что там с доступностью и актуальностью данных, хранящихся на лентах? У меня такое чувство, что ты путаешь цели бэкапов и high availability.

HSM - вполне может справиться в real time с заливанием на ленты. главное сделать правильно.
для FS это выглядит как обычный файл при доступе к которому возникает задержка (если так настроено).

ps. вариантов может быть чуть более чем дофига - и без гемороя с репликацией и контролем целостности в этом случае

pps. о parity declustering я в курсе.


Ответить | Правка | К родителю #115 | Наверх | Cообщить модератору

121. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +1 +/
Сообщение от Псевдоним (ok), 08-Май-13, 20:04 
>> А что там насчет стоимости полного резевирования каждого компонента в сравнении с стоимостью второй обычной ноды?
> Не каждого. active-passive я не зря указал.

active-standby или active-active - не важно. Стоимость железа, поддерживающего такую конфигурацию, выше, порой, намного. А отсутствие SPOF на нижних уровнях архитектуры опять же не гарантируется. Проще, дешевле и надежнее при построении масштабного сервиса сразу предусматривать отказоустойчивую архитектуру, а не молиться на фичастые полки и RAID.

>> Отдельной подстанцией. С распределением нагрузки в энергосети между разными электростанциями энергетики сами справляются.
> не хватит :-)

Вот прям всякому, кому необходима отказоустойчивость, и не хватит? :)

>> А что там с доступностью и актуальностью данных, хранящихся на лентах? У меня такое чувство, что ты путаешь цели бэкапов и high availability.
> HSM - вполне может справиться в real time с заливанием на ленты.

А с production-нагрузкой он справится? Еще раз, не путай бэкапы и отказоустойчивость всей системы. Они нацелены на решение разных проблем.

> главное сделать правильно.
> для FS это выглядит как обычный файл при доступе к которому возникает
> задержка (если так настроено).

Да пусть этот архив как угодно выглядит, хоть gopher-ресурсом прикидывается. Если при выходе из стоя одной ноды ты лезешь в библиотеку за резервной копией, а сервис при этом лежит - это уже не система для широкой промышленной эксплуатации. В лучшем случае, это нишевое решение для работы специальных условиях, а в худшем - локалхост школьника Пети (это еще умный школьник, если он бэкапы делает).

> ps. вариантов может быть чуть более чем дофига - и без гемороя
> с репликацией и контролем целостности в этом случае

Любое распределенное хранилище построено на компромиссе между условиями CAP-теоремы. Либо оно не распределенное и является одним большим SPOF.

Ответить | Правка | К родителю #116 | Наверх | Cообщить модератору

119. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +2 +/
Сообщение от AlexAT (ok), 08-Май-13, 15:53 
> :-) смешной ты. так что там на счет JBOD SAS и disk
> backplane к 2 разным материнкам

А как насчет отказа backplane?

Или таки как насчет пожара в ДЦ? Развертываемся из бэкапа с ленточек несколько суток?
Я предпочту онлайновую репликацию. Неважно, hot или hot standby.

Ответить | Правка | К родителю #110 | Наверх | Cообщить модератору

126. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  –3 +/
Сообщение от linux must _RIP_ (?), 10-Май-13, 08:19 
>> :-) смешной ты. так что там на счет JBOD SAS и disk
>> backplane к 2 разным материнкам
> А как насчет отказа backplane?

лежит рядом готовый к замене. Замена отработана и тп. Для выработавщих ресурс проводится предварительная замена.


> Или таки как насчет пожара в ДЦ? Развертываемся из бэкапа с ленточек
> несколько суток?
> Я предпочту онлайновую репликацию. Неважно, hot или hot standby.

если сгорит ДЦ у NASA - то потери от данных - будут самым малым что может быть.
Тоже самое можно сказать про Лос-Аламос (ака sandia.gov), или Ок Ридж.

опять же HSM - прозрачно перекинет данные с FS на ленту.

Ответить | Правка | К родителю #119 | Наверх | Cообщить модератору

127. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +2 +/
Сообщение от Псевдоним (ok), 10-Май-13, 23:54 
>лежит рядом готовый к замене. Замена отработана и тп. Для выработавщих ресурс проводится предварительная замена.

Поздравляю с даунтаймом. А даунтайма быть не должно.

>опять же HSM - прозрачно перекинет данные с FS на ленту.

Ага, а когда сдохнет production-сервер, все будет лежать, а ты будешь восстанавливать данные с ленты. Нафига такое счастье?


У меня складывается такое впечатление, что ты нам тут растолковываешь, как сделать так, чтобы данные не потерялись, а мы тебе толкуем о том, что даже простой сервиса - это уже ЧП, а потеря данных - за гранью добра и зла.

Ответить | Правка | К родителю #126 | Наверх | Cообщить модератору

132. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  –2 +/
Сообщение от linux must _RIP_ (?), 13-Май-13, 12:29 
еще раз почитайте что такое HSM.

в момент _обращения_ данные прийдут с ленты. прозрачно для приложения.

Ответить | Правка | К родителю #127 | Наверх | Cообщить модератору

133. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +2 +/
Сообщение от AlexAT (ok), 14-Май-13, 07:19 
> еще раз почитайте что такое HSM.
> в момент _обращения_ данные прийдут с ленты. прозрачно для приложения.

Т.е. придется еще держать кластер из ленточных накопителей + связанную с ними дисковую полку + робота для загрузки? Выйдет в десятки раз дороже. Спасибо, у нас задача - не попилить на инфраструктуре, а решить проблему отказоустойчивости с минимальными затратами и максимальным эффектом.

Ответить | Правка | К родителю #132 | Наверх | Cообщить модератору

135. "Компания Red Hat преобразовала проект Gluster в сообщество р..."  +/
Сообщение от Псевдоним (??), 15-Май-13, 12:05 
Еще раз: латентностные характеристики ленточного хранилища позволят ему выдержать production-нагрузку?
Ответить | Правка | К родителю #132 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру