URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID13
Нить номер: 864
[ Назад ]

Исходное сообщение
"GlusterFS split-brain possible как избежать и как бороться"
Отправлено obl , 30-Ноя-13 12:05

Добрый день!
тестирую два сервера в отказоустойчивом кластере на glusterfs, отправляю в перезагрузку один, создаю файл на втором.
После входа в строй обнаруживаю split-brain. новая синхронизация длится 2 часа - почти терабайт данных.
Подскажите что делать с этой бедой,
==> /var/log/glusterfs/storage-glusterfs-.log <==
[2013-11-30 11:51:07.57416] I [afr-self-heal-common.c:705:afr_mark_sources] 0-replicate: split-brain possible, no source detected
[2013-11-30 11:51:07.57518] W [fuse-bridge.c:419:fuse_attr_cbk] 0-glusterfs-fuse: 10: LOOKUP() / => -1 (Input/output error)
[2013-11-30 11:51:07.62235] I [afr-self-heal-common.c:705:afr_mark_sources] 0-replicate: split-brain possible, no source detected
[2013-11-30 11:51:07.515278] I [afr-self-heal-common.c:705:afr_mark_sources] 0-replicate: split-brain possible, no source detected
Конфиг glusterfsd:
volume SRV01-GLASTER
    type protocol/client
    option transport-type tcp
    option remote-host 10.1.1.1
    option remote-subvolume brick
end-volume
volume SRV02-GLASTER
    type protocol/client
    option transport-type tcp
    option remote-host 10.1.1.2
    option remote-subvolume brick
end-volume
volume replicate
    type cluster/replicate
    subvolumes SRV01-GLASTER SRV02-GLASTER
end-volume
volume writebehind
    type performance/write-behind
    option cache-size 1MB
    subvolumes replicate
end-volume
volume cache
    type performance/io-cache
    option cache-size 512MB
    subvolumes writebehind
end-volume

Конфиг клиентов:
volume SRV01-GLASTER
    type protocol/client
    option transport-type tcp
    option remote-host 10.1.1.1
    option remote-subvolume brick
end-volume
volume SRV02-GLASTER
    type protocol/client
    option transport-type tcp
    option remote-host 10.1.1.2
    option remote-subvolume brick
end-volume
volume replicate
    type cluster/replicate
    subvolumes SRV01-GLASTER SRV02-GLASTER
end-volume
volume writebehind
    type performance/write-behind
    option cache-size 1MB
    subvolumes replicate
end-volume
volume cache
    type performance/io-cache
    option cache-size 512MB
    subvolumes writebehind
end-volume

Содержание

GlusterFS split-brain possible как избежать и как бороться,Xaionaro, 16:58 , 30-Ноя-13
- GlusterFS split-brain possible как избежать и как бороться,obl, 20:46 , 04-Дек-13
  - GlusterFS split-brain possible как избежать и как бороться,obl, 20:48 , 04-Дек-13

Сообщения в этом обсуждении

"GlusterFS split-brain possible как избежать и как бороться"
Отправлено Xaionaro , 30-Ноя-13 16:58

Извиняюсь, что не совсем по теме. Но просто любопытства ради. А зачем вы используете GlusterFS? :)

"GlusterFS split-brain possible как избежать и как бороться"
Отправлено obl , 04-Дек-13 20:46

> Извиняюсь, что не совсем по теме. Но просто любопытства ради. А зачем
> вы используете GlusterFS? :)
Для быстрой синхронизации двух нод. Синхронизируются статические файлы, которые потом читаются только с диска, минуя блокировки glasterfs.
Это та самая редкая задача для которой гластер подходит идеально :)

"GlusterFS split-brain possible как избежать и как бороться"
Отправлено obl , 04-Дек-13 20:48

А что касается split-brain
похоже дело было в том что я размещал гластер в сам корень подмонтированной файловой системы. Опять же - возможно это как-то было связано с каталогом lost+found
Во всяком случае как только убрал корень гластера в отдельную директорию - все начало работать как положено.