URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 89659
[ Назад ]
Исходное сообщение
"DRBD+Heartbeat"
Отправлено zks1980 , 23-Авг-10 11:03 
Здравствуйте!
Есть два одинаковых сервера, на них стоит ОС Centos-5.5, ядро - 2.6.18-194.11.1.el5xen
На данных серверах нужны следующие сервисы: самба и фаирфокс.
Один сервер - первичный, второй - вторичный.
Решил использовать связку drbd+heartbeat.

На каждом сервере по три сетевые карты:
eth0 192.168.100.1-2/24 использую для мониторинга, что сервера живы
eth1 192.168.9.0.24 - клиенты на этой сети
eth2 192.168.1.0.24 - другие клиенты

Конфиг drbd.conf
resource r0 {
protocol C;
startup {
wfc-timeout 60;
degr-wfc-timeout 60;
}
net {
after-sb-0pri discard-younger-primary;
after-sb-1pri consensus;
rr-conflict disconnect;
}
disk {
on-io-error detach;
}
syncer {
rate 100M;
al-extents 257;
}
on srvprod1 {
device /dev/drbd0;
disk /dev/sdb1;
address 192.168.9.195:7789;
meta-disk internal;
}

on srvprod2 {
device /dev/drbd0;
disk /dev/sdb1;
address 192.168.9.161:7789;
meta-disk internal;
}
}

Конфиг ha.cf
debugfile /var/log/ha-debug
logfile   /var/log/ha-log
logfacility   local7
keepalive 1
deadtime 30
warntime 10
initdead 60
#udpport   694
#baud   19200
#serial   /dev/ttyS0   # Linux
bcast   eth0 eth1      # Linux
#mcast eth0 225.0.0.1 694 1 0
#ucast eth0 192.168.1.2
auto_failback on
#stonith baytech /etc/ha.d/conf/stonith.baytech
#stonith_host * baytech 10.0.0.3 mylogin mysecretpassword
#stonith_host ken3 rps10 /dev/ttyS1 kathy 0
#stonith_host kathy rps10 /dev/ttyS1 ken3 0
#watchdog /dev/watchdog
node   srvprod1
node   srvprod2
ping 192.168.9.249
#ping_group group1 10.10.10.254 10.10.10.253
#hbaping fc-card-name
#respawn userid /path/name/to/run
respawn hacluster /usr/lib64/heartbeat/ipfail
#apiauth client-name gid=gidlist uid=uidlist
apiauth ipfail gid=haclient uid=hacluster

Конфиг haresources
srvprod1   192.168.9.252/24/eth1
srvprod1   192.168.1.250/24/eth2
srvprod1   Filesystem::/dev/drbd0::/mnt/drbd::ext3 smb xinetd

service drbd status
drbd driver loaded OK; device status:
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by mockbuild@builder10.centos.org, 2010-06-04 08:04:27
m:res cs ro ds p mounted fstype
0:r0 Connected Primary/Secondary UpToDate/UpToDate C /mnt/drbd ext3

Когда я пытаюсь перегрузить компьютер со статусом secondary, первый мастер есть так и остался, но когда мастер перегружаю, то начинается интересное.
То drbd становится Secondary/Secondary то Primary/Unknown
И соответсвенно, самба из-за этого не запускается.
У меня подозрение, что я не правильно drbd настроил. Помогите пожалуйста разобраться из-за чего heartbeat не может мигрировать сервисы или переключать сервера?
Ткните носом где я неправильно настроил, а то уже запутался в настройках.

Содержание
Сообщения в этом обсуждении
"DRBD+Heartbeat"
Отправлено aaa1967 , 23-Авг-10 17:19 
А ты сделай конфигурацию в режиме primary-primary


global {
    usage-count yes;
}

common {
  syncer {
                rate 100M;
                al-extents 257;
         }
}

resource r0 {

  protocol C;

  startup {
    become-primary-on both;              ### For Primary/Primary ###
    degr-wfc-timeout 60;
    wfc-timeout  30;
  }

  disk {
    on-io-error   detach;
  }

  net {
    allow-two-primaries;                 ### For Primary/Primary ###
    cram-hmac-alg sha1;
    shared-secret "FooFunFactory";
    after-sb-0pri discard-zero-changes;
    after-sb-1pri violently-as0p;
    after-sb-2pri violently-as0p;
  }

  on osc-1 {
    device     /dev/drbd0;
    disk       /dev/sda3;
    address    10.60.11.103:7788;
    meta-disk   internal;
  }

  on osc-2 {
    device     /dev/drbd0;
    disk       /dev/sda3;
    address    10.60.11.104:7788;
    meta-disk   internal;
  }
}

"DRBD+Heartbeat"
Отправлено aaa1967 , 23-Авг-10 17:21 
А ты сделай в режиме primary-primary, правда потребуется оcfs2 или gfs2
global {
    usage-count yes;
}

common {
  syncer {
                rate 100M;
                al-extents 257;
         }
}

resource r0 {

  protocol C;

  startup {
    become-primary-on both;              ### For Primary/Primary ###
    degr-wfc-timeout 60;
    wfc-timeout  30;
  }

  disk {
    on-io-error   detach;
  }

  net {
    allow-two-primaries;                 ### For Primary/Primary ###
    cram-hmac-alg sha1;
    shared-secret "FooFunFactory";
    after-sb-0pri discard-zero-changes;
    after-sb-1pri violently-as0p;
    after-sb-2pri violently-as0p;
  }

  on osc-1 {
    device     /dev/drbd0;
    disk       /dev/sda3;
    address    10.60.11.103:7788;
    meta-disk   internal;
  }

  on osc-2 {
    device     /dev/drbd0;
    disk       /dev/sda3;
    address    10.60.11.104:7788;
    meta-disk   internal;
  }
}

"DRBD+Heartbeat"
Отправлено zks1980 , 24-Авг-10 04:31 
>А ты сделай в режиме primary-primary, правда потребуется оcfs2 или gfs2

А сервис самба переключать heartbeat-ом?
Мне же еще самба нужна.

"DRBD+Heartbeat"
Отправлено aaa1967 , 24-Авг-10 12:36 
>>А ты сделай в режиме primary-primary, правда потребуется оcfs2 или gfs2
>
>А сервис самба переключать heartbeat-ом?
>Мне же еще самба нужна.

Самба - через ctdb.
firebird-classic я установил на оба сервака, а /var/lib/firebird перенес на drbd-шару и симлинком обратно в /var/lib.
В качестве кластерной ФС использую ocfs2, она раза в два быстрее работает, чем GFS.
Рекомендую все это делать на debian или ubuntu, сам делал на debian-lenny. Сейчас планирую переползти на Squeeze. Сперва ставил все это на Centos, работает не очень стабильно, кроме этого в нем есть баг - при копировании файлов большого размера, система больше ни на что не реагирует. Будут вопросы пиши, конфигами могу поделиться.

"DRBD+Heartbeat"
Отправлено zks1980 , 24-Авг-10 13:39 
>[оверквотинг удален]
>Самба - через ctdb.
>firebird-classic я установил на оба сервака, а /var/lib/firebird перенес на drbd-шару и
>симлинком обратно в /var/lib.
>В качестве кластерной ФС использую ocfs2, она раза в два быстрее работает,
>чем GFS.
>Рекомендую все это делать на debian или ubuntu, сам делал на debian-lenny.
>Сейчас планирую переползти на Squeeze. Сперва ставил все это на Centos,
>работает не очень стабильно, кроме этого в нем есть баг -
>при копировании файлов большого размера, система больше ни на что не
>реагирует. Будут вопросы пиши, конфигами могу поделиться.

С Centos  я уже натрахался :(
Вообще запустить не могу. Пробую ocfs2 запустить, она требует модуль ocfs2_dlmfs.
DRBD развалил в результате эксперимента.
Попробую дебиан установить.
Буду признателен за конфиги, может свою ошибку найду.

"DRBD+Heartbeat"
Отправлено aaa1967 , 24-Авг-10 14:50 
/etc/drbd.conf:

global {
    usage-count yes;
}

common {
  syncer {
                rate 100M;
                al-extents 257;
         }
}

resource r0 {

  protocol C;

  startup {
    become-primary-on both;              ### For Primary/Primary ###
    degr-wfc-timeout 60;
    wfc-timeout  30;
  }

  disk {
    on-io-error   detach;
  }

  net {
    allow-two-primaries;                 ### For Primary/Primary ###
    cram-hmac-alg sha1;
    shared-secret "FooFunFactory";
    after-sb-0pri discard-zero-changes;
    after-sb-1pri violently-as0p;
    after-sb-2pri violently-as0p;
  }

  on node1 {
    device     /dev/drbd0;
    disk       /dev/sda3;
    address    192.168.0.11:7788;
    meta-disk   internal;
  }

  on node2 {
    device     /dev/drbd0;
    disk       /dev/sda3;
    address    192.168.0.12:7788;
    meta-disk   internal;
  }
}


ctdb:
/etc/default/ctdb

CTDB_RECOVERY_LOCK="/data/.ctdb/storage" # на drbd-шаре надо создать каталог .ctdb
CTDB_PUBLIC_INTERFACE=eth0
CTDB_PUBLIC_ADDRESSES=/etc/ctdb/public_addresses
CTDB_MANAGES_SAMBA=yes
CTDB_MANAGES_HTTPD=yes
#CTDB_MANAGES_WINBIND=yes
ulimit -n 10000
CTDB_NODES=/etc/ctdb/nodes
CTDB_LOGFILE=/var/log/log.ctdb
CTDB_DEBUGLEVEL=2
CTDB_PUBLIC_NETWORK="192.168.0.0/24"

/etc/ctdb/nodes

192.168.0.11
192.168.0.12

/etc/ctdb/public_addresses

192.168.0.10 eth0

samba:
перенес
/etc/samba
/var/lib/samba
/var/spool/samba
/home
на дрбд шару и симлинками на обе машины  

конфиг smb.conf:

[global]
        workgroup = CLUSTER
        netbios name = CLUSTER1
        #passdb backend = tdbsam
        printing = cups
        printcap name = cups
        printcap cache time = 750
        cups options = raw
        map to guest = Bad User
        include = /etc/samba/dhcp.conf
        logon path = \\%L\profiles\.msprofile
        logon home = \\%L\%U\.9xprofile
        logon drive = P:
        usershare allow guests = Yes
        add machine script = /usr/sbin/useradd  -c Machine -d /var/lib/nobody -s
/bin/false %m$
        domain logons = No
        domain master = No

        security = user
        clustering = yes
        idmap backend = tdb2
        private dir=/data/.ctdb
        fileid:mapping = fsname
        use mmap = no
        nt acl support = yes
        ea support = yes
[homes]
        comment = Home Directories
        valid users = %S, %D%w%S
        browseable = No
        read only = No
        inherit acls = Yes
[users]
        comment = All users
        path = /home
        read only = No
        inherit acls = Yes
        veto files = /aquota.user/groups/shares/

ocfs2:
после установки запустить dpkg-reconfigure ocfs2-tools
конфиг /etc/ocfs2/cluster.conf


node:
        ip_port = 7777
        ip_address = 192.168.0.11
        number = 0
        name = node1
        cluster = ocfs2

node:
        ip_port = 7777
        ip_address = 192.168.0.12
        number = 1
        name = node2
        cluster = ocfs2

cluster:
        node_count = 2
        name = ocfs2

"DRBD+Heartbeat"
Отправлено zks1980 , 25-Авг-10 09:25 
Спасибо. Сейчас я ставлю дебиан.
Потом буду, устанавливать необходимое ПО и конфигурировать

"DRBD+Heartbeat"
Отправлено zks1980 , 26-Авг-10 14:34 
Здравствуйте.
Вопрос у меня такой. я вбил конфиги, которые Вы мне предложили.
Сервисы запустились, монтируется, но когда клиентом под ОС (XP) я подключаюсь, мне приходится вбивать IP одного сервера., а если с ним что-то случится, то клиентов переподключать на другой адрес?

Вывел на экран ifconfig
eth0      Link encap:Ethernet  HWaddr 00:15:17:e9:20:a0
          inet addr:192.168.9.195  Bcast:192.168.9.255  Mask:255.255.255.0
          inet6 addr: fe80::215:17ff:fee9:20a0/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:54529199 errors:0 dropped:0 overruns:0 frame:0
          TX packets:105250731 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:100
          RX bytes:3953853340 (3.6 GiB)  TX bytes:4186565987 (3.8 GiB)
          Memory:b1b20000-b1b40000

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:107 errors:0 dropped:0 overruns:0 frame:0
          TX packets:107 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:9166 (8.9 KiB)  TX bytes:9166 (8.9 KiB)
Я так понимаю, что не поднялся у меня интерфейс который я объявил публичным. Я прав?

"DRBD+Heartbeat"
Отправлено aaa1967 , 26-Авг-10 15:21 
и не должен подниматься. Создается виртуальный адрес привязанный к определенному интерфейсу. Он описан в public_addresses.
Посмотреть это можно с помощью команды ip addr show eth0
"DRBD+Heartbeat"
Отправлено aaa1967 , 26-Авг-10 15:22 
Да, еще забыл
DRBD раздел я монтирую с помощью autofs

"DRBD+Heartbeat"
Отправлено zks1980 , 27-Авг-10 04:54 
>Да, еще забыл
>DRBD раздел я монтирую с помощью autofs

/etc/init.d/ctdb status
Checking status of Clustered TDB: ctdb running
Number of nodes:2
pnn:0 192.168.9.195    UNHEALTHY (THIS NODE)
pnn:1 192.168.9.161    UNHEALTHY
Generation:16408489
Size:2
hash:0 lmaster:0
hash:1 lmaster:1
Recovery mode:RECOVERY (1)
Recovery master:1
.
Судя по статусу похоже у меня кластер не совсем корректно работает

"DRBD+Heartbeat"
Отправлено aaa1967 , 27-Авг-10 09:27 
>[оверквотинг удален]
>pnn:0 192.168.9.195    UNHEALTHY (THIS NODE)
>pnn:1 192.168.9.161    UNHEALTHY
>Generation:16408489
>Size:2
>hash:0 lmaster:0
>hash:1 lmaster:1
>Recovery mode:RECOVERY (1)
>Recovery master:1
>.
>Судя по статусу похоже у меня кластер не совсем корректно работает

А drbd?

"DRBD+Heartbeat"
Отправлено zks1980 , 27-Авг-10 09:54 
>А drbd?

И DRBD похоже не работает. Я один узел, штатно отправил в перезагрузку.
DRBD перешел в режим Splin-brain. Сейчас кое как соединил массивы.
Посмотрю в какой статус перешли.

"DRBD+Heartbeat"
Отправлено zks1980 , 27-Авг-10 09:56 
/etc/init.d/drbd status
drbd driver loaded OK; device status:
version: 8.0.14 (api:86/proto:86)
GIT-hash: bb447522fc9a87d0069b7e14f0234911ebdab0f7 build by phil@fat-tyre, 2008-11-12 16:40:33
m:res  cs         st               ds                 p  mounted  fstype
0:r0   Connected  Primary/Primary  Diskless/UpToDate  C
Вот такой статус диска
"DRBD+Heartbeat"
Отправлено aaa1967 , 27-Авг-10 10:57 
>[оверквотинг удален]
>drbd driver loaded OK; device status:
>version: 8.0.14 (api:86/proto:86)
>GIT-hash: bb447522fc9a87d0069b7e14f0234911ebdab0f7 build by phil@fat-tyre, 2008-11-12 16:40:33
>m:res  cs         st
>          
>   ds        
>         p  
>mounted  fstype
>0:r0   Connected  Primary/Primary  Diskless/UpToDate  C
>Вот такой статус диска

Так у тебя на одной ноде drbd раздел не создан. Ты делал drbdadm create-md r0 на обеих нодах?  

Кстати для работы в боевом режиме на оба компа лучше ставить две сетевухи. Метаданыые лучше хранить на отдельном разделе.

"DRBD+Heartbeat"
Отправлено zks1980 , 27-Авг-10 11:36 
>Кстати для работы в боевом режиме на оба компа лучше ставить две
>сетевухи. Метаданыые лучше хранить на отдельном разделе.

На сервере у меня три сетевые карты. Две для пользователей, а третья запасная.
Да когда создавал drbd делал drbdadm create-md.
Сейчас еще раз сделаю. Пересоздам drbd

"DRBD+Heartbeat"
Отправлено zks1980 , 27-Авг-10 11:37 
>[оверквотинг удален]
>>version: 8.0.14 (api:86/proto:86)
>>GIT-hash: bb447522fc9a87d0069b7e14f0234911ebdab0f7 build by phil@fat-tyre, 2008-11-12 16:40:33
>>m:res  cs         st
>>          
>>   ds        
>>         p  
>>mounted  fstype
>>0:r0   Connected  Primary/Primary  Diskless/UpToDate  C
>>Вот такой статус диска
>

И такой статус появился, когда я имитировал сбой второй ноды (штатно перегрузил сервер).
После этого пошла такая пляска.

"DRBD+Heartbeat"
Отправлено zks1980 , 28-Авг-10 11:03 
2010/08/28 22:59:13.836986 [30577]: Starting CTDB daemon
2010/08/28 22:59:13.837835 [30579]: Set scheduler to SCHED_FIFO
2010/08/28 22:59:13.838073 [30579]: server/eventscript.c:365 eventscript releaseip eth1 192.168.1.253 24 called with no timeout
2010/08/28 22:59:13.838107 [30581]: Refusing to run event scripts with option 'releaseip eth1 192.168.1.253 24' while in recovery
2010/08/28 22:59:13.838203 [30579]: server/eventscript.c:365 eventscript releaseip eth0 192.168.9.252 24 called with no timeout
2010/08/28 22:59:13.838240 [30582]: Refusing to run event scripts with option 'releaseip eth0 192.168.9.252 24' while in recovery
2010/08/28 22:59:13.838337 [30579]: Keepalive monitoring has been started
2010/08/28 22:59:13.838351 [30579]: Monitoring has been started
2010/08/28 22:59:13.838421 [30583]: monitor_cluster starting
2010/08/28 22:59:13.856325 [30583]: server/ctdb_recoverd.c:2208 Got pnn lock on '/shared/.ctdb/storage.pnn'
2010/08/28 22:59:14.860914 [30583]: server/ctdb_recoverd.c:2529 Initial recovery master set - forcing election
2010/08/28 22:59:18.546972 [30579]: server/ctdb_recover.c:841 startrecovery eventscript has been invoked
2010/08/28 22:59:18.598598 [30579]: server/ctdb_recover.c:526 Recovery mode set to NORMAL
2010/08/28 22:59:18.599079 [30607]: ctdb_recovery_lock: Got recovery lock on '/shared/.ctdb/storage'
2010/08/28 22:59:18.599115 [30607]: ERROR: recovery lock file /shared/.ctdb/storage not locked when recovering!
2010/08/28 22:59:19.373153 [30583]: server/ctdb_recoverd.c:2333 in the middle of recovery. skipping public ip address check
2010/08/28 22:59:19.606045 [30579]: server/ctdb_recover.c:841 startrecovery eventscript has been invoked
2010/08/28 22:59:19.657468 [30579]: server/ctdb_recover.c:526 Recovery mode set to NORMAL
2010/08/28 22:59:19.657583 [30620]: ctdb_recovery_lock: Got recovery lock on '/shared/.ctdb/storage'
2010/08/28 22:59:19.657612 [30620]: ERROR: recovery lock file /shared/.ctdb/storage not locked when recovering!
2010/08/28 22:59:20.377150 [30583]: server/ctdb_recoverd.c:2333 in the middle of recovery. skipping public ip address check
2010/08/28 22:59:20.662079 [30579]: server/ctdb_recover.c:841 startrecovery eventscript has been invoked
2010/08/28 22:59:20.713472 [30579]: server/ctdb_recover.c:526 Recovery mode set to NORMAL
2010/08/28 22:59:20.713582 [30633]: ctdb_recovery_lock: Got recovery lock on '/shared/.ctdb/storage'
2010/08/28 22:59:20.713610 [30633]: ERROR: recovery lock file /shared/.ctdb/storage not locked when recovering!

Вот, что в логах пишет у меня.


"DRBD+Heartbeat"
Отправлено zks1980 , 30-Авг-10 08:03 
Вы какой пакет устанавливали на Debian samba или sernet-samba?
По ошибкам которые у меня возникают, гугл говорит, что не правильно настроен ctdb.
И какая версия ctdb
Самбу и ctdb Вы собирали из исходников?
"DRBD+Heartbeat"
Отправлено aaa1967 , 01-Сен-10 09:58 
>Вы какой пакет устанавливали на Debian samba или sernet-samba?
>По ошибкам которые у меня возникают, гугл говорит, что не правильно настроен
>ctdb.
>И какая версия ctdb
>Самбу и ctdb Вы собирали из исходников?

Оказывается все дело в OCFS, как оказалось у нее проблема с блокировками, хотя писали, что в версии 1.4 эту проблему решили. Пробовал создавать Recovery_lock файл на gfs и glusterfs - тогда все работает нормально

"DRBD+Heartbeat"
Отправлено zks1980 , 01-Сен-10 18:37 
>>Вы какой пакет устанавливали на Debian samba или sernet-samba?
>>По ошибкам которые у меня возникают, гугл говорит, что не правильно настроен
>>ctdb.
>>И какая версия ctdb
>>Самбу и ctdb Вы собирали из исходников?
>
>Оказывается все дело в OCFS, как оказалось у нее проблема с блокировками,
>хотя писали, что в версии 1.4 эту проблему решили. Пробовал создавать
>Recovery_lock файл на gfs и glusterfs - тогда все работает нормально
>

То есть использовать gfs или glusterfs? Их можно использовать? GFS я читал.

"DRBD+Heartbeat"
Отправлено zks1980 , 01-Сен-10 18:42 
>>Вы какой пакет устанавливали на Debian samba или sernet-samba?
>>По ошибкам которые у меня возникают, гугл говорит, что не правильно настроен
>>ctdb.
>>И какая версия ctdb
>>Самбу и ctdb Вы собирали из исходников?
>
>Оказывается все дело в OCFS, как оказалось у нее проблема с блокировками,
>хотя писали, что в версии 1.4 эту проблему решили. Пробовал создавать
>Recovery_lock файл на gfs и glusterfs - тогда все работает нормально
>

http://www.drbd.org/users-guide/s-ocfs-create-resource.html

Я попробую рекомендацию, с данного сайта
resource resource {
  startup {
    become-primary-on both;
    ...
  }
  net {
    # allow-two-primaries;
    after-sb-0pri discard-zero-changes;
    after-sb-1pri discard-secondary;
    after-sb-2pri disconnect;
    ...
  }
  ...
}

It is not recommended to enable the allow-two-primaries option upon initial configuration. You should do so after the initial resource synchronization has completed.

"DRBD+Heartbeat"
Отправлено aaa1967 , 02-Сен-10 09:18 
>[оверквотинг удален]
>    after-sb-1pri discard-secondary;
>    after-sb-2pri disconnect;
>    ...
>  }
>  ...
>}
>
>It is not recommended to enable the allow-two-primaries option upon initial configuration.
>You should do so after the initial resource synchronization has completed.
>

lock-файл перенести на раздел glusterfs или gfs, а остальное использовать на ocfs2.

"DRBD+Heartbeat"
Отправлено zks1980 , 02-Сен-10 09:51 
Samba-у и ctdb Вы собирали из исходников? или менеджер пакетов использовали.

"DRBD+Heartbeat"
Отправлено aaa1967 , 02-Сен-10 13:08 
>Samba-у и ctdb Вы собирали из исходников? или менеджер пакетов использовали.

использовал стандартные из apt

Понравилось как работает glusterfs. Попробую в стрессовом режиме, если будет все нормально переведу все на нее. Настройки проще и не надо огород городить с drbd

"DRBD+Heartbeat"
Отправлено zks1980 , 02-Сен-10 13:49 
>>Samba-у и ctdb Вы собирали из исходников? или менеджер пакетов использовали.
>
>использовал стандартные из apt
>
>Понравилось как работает glusterfs. Попробую в стрессовом режиме, если будет все нормально
>переведу все на нее. Настройки проще и не надо огород городить
>с drbd

У меня почему-то стандартные не пошли, я рискнул собрать из исходников.
Очень пришлось повозиться с ctdb.

Если не секрет сколько пользоввателей у Вас работают с расшаренными ресурсами?
У меня порядка 30. На сегодня.
Вы не из Красноярска?

"DRBD+Heartbeat"
Отправлено aaa1967 , 02-Сен-10 15:38 
>[оверквотинг удален]
>>Понравилось как работает glusterfs. Попробую в стрессовом режиме, если будет все нормально
>>переведу все на нее. Настройки проще и не надо огород городить
>>с drbd
>
>У меня почему-то стандартные не пошли, я рискнул собрать из исходников.
>Очень пришлось повозиться с ctdb.
>
>Если не секрет сколько пользоввателей у Вас работают с расшаренными ресурсами?
>У меня порядка 30. На сегодня.
>Вы не из Красноярска?

Странно, я ctdb ставил с диска 5.0.4, запустился сразу если не считать коллизию с ocfs2.
Пользователей пока мало - гоняю в тестовом режиме. Планирую перевести roaming-profiles пользователей. Сам из Казани.
  

"DRBD+Heartbeat"
Отправлено zks1980 , 02-Сен-10 19:25 
>[оверквотинг удален]
>>
>>Если не секрет сколько пользоввателей у Вас работают с расшаренными ресурсами?
>>У меня порядка 30. На сегодня.
>>Вы не из Красноярска?
>
>Странно, я ctdb ставил с диска 5.0.4, запустился сразу если не считать
>коллизию с ocfs2.
>Пользователей пока мало - гоняю в тестовом режиме. Планирую перевести roaming-profiles пользователей.
>Сам из Казани.
>

Диск у меня 5.0.5 Видимо коллизии было из-за ocfs2.
У меня запускалось, но ноды не переходили в статус ОК

"DRBD+Heartbeat"
Отправлено aaa1967 , 03-Сен-10 12:04 
>[оверквотинг удален]
>>>Вы не из Красноярска?
>>
>>Странно, я ctdb ставил с диска 5.0.4, запустился сразу если не считать
>>коллизию с ocfs2.
>>Пользователей пока мало - гоняю в тестовом режиме. Планирую перевести roaming-profiles пользователей.
>>Сам из Казани.
>>
>
>Диск у меня 5.0.5 Видимо коллизии было из-за ocfs2.
>У меня запускалось, но ноды не переходили в статус ОК

Я писал выше перенеси lock-файл на раздел с gfs и будет все ок, я сделал на glusterfs. Уже вторую неделю сижу без проблем

"DRBD+Heartbeat"
Отправлено zks1980 , 03-Сен-10 13:31 
>[оверквотинг удален]
>>>Пользователей пока мало - гоняю в тестовом режиме. Планирую перевести roaming-profiles пользователей.
>>>Сам из Казани.
>>>
>>
>>Диск у меня 5.0.5 Видимо коллизии было из-за ocfs2.
>>У меня запускалось, но ноды не переходили в статус ОК
>
>Я писал выше перенеси lock-файл на раздел с gfs и будет все
>ок, я сделал на glusterfs. Уже вторую неделю сижу без проблем
>

glusterfs  на дебиан у тебя встала из коробки?


"DRBD+Heartbeat"
Отправлено aaa1967 , 03-Сен-10 14:29 
>[оверквотинг удален]
>>>>
>>>
>>>Диск у меня 5.0.5 Видимо коллизии было из-за ocfs2.
>>>У меня запускалось, но ноды не переходили в статус ОК
>>
>>Я писал выше перенеси lock-файл на раздел с gfs и будет все
>>ок, я сделал на glusterfs. Уже вторую неделю сижу без проблем
>>
>
>glusterfs  на дебиан у тебя встала из коробки?

да, работает

"DRBD+Heartbeat"
Отправлено zks1980 , 03-Сен-10 14:42 
>да, работает

что за Debian у тебя,у меня с коробки вставть не хочет, говорит такого пакета нет

"DRBD+Heartbeat"
Отправлено aaa1967 , 03-Сен-10 16:08 
>>да, работает
>
>что за Debian у тебя,у меня с коробки вставть не хочет, говорит
>такого пакета нет

http://ftp.debian.org/pool/main/g/glusterfs/

"DRBD+Heartbeat"
Отправлено aaa1967 , 03-Сен-10 16:12 
>>да, работает
>
>что за Debian у тебя,у меня с коробки вставть не хочет, говорит
>такого пакета нет

А вот как устанавливать и настраивать не из коробки
http://www.howtoforge.com/high-availability-storage-with-glu...

"DRBD+Heartbeat"
Отправлено zks1980 , 05-Сен-10 14:48 
glusterfs по моему требует клиента, то есть два сервера+ клиент

"DRBD+Heartbeat"
Отправлено zks1980 , 06-Сен-10 03:56 
>glusterfs по моему требует клиента, то есть два сервера+ клиент

Конфиг клиента
volume remote1
  type protocol/client
  option transport-type tcp
  option remote-host ubuntu.avto.krsn.ru         # IP address of the remote brick
  option remote-subvolume brick        # name of the remote volume
end-volume

volume remote2
  type protocol/client
  option transport-type tcp
  option remote-host test2.avto.krsn.ru
  option remote-subvolume brick
end-volume

volume replicate
  type cluster/replicate
  subvolumes remote1 remote2
end-volume

volume writebehind
  type performance/write-behind
  option window-size 1MB
  subvolumes replicate
end-volume

volume cache
  type performance/io-cache
  option cache-size 512MB
  subvolumes writebehind
end-volume

Конфиг сервера

volume posix
  type storage/posix                   # POSIX FS translator
  option directory /home/data/export        # Export this directory
end-volume

volume locks
  type features/locks
  subvolumes posix
end-volume

volume brick
  type performance/io-threads
  option thread-count 8
  subvolumes locks
end-volume

volume server
  type protocol/server
  option transport-type tcp
  subvolumes brick
  option auth.addr.brick.allow 192.168.9.* # Allow access to "brick" volume
end-volume

Монтирую я таким образомЖ
mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/shared

Если на одном сервере отключить службу gluster то каталог /mnt/shared не доступен. Это нормально?

"DRBD+Heartbeat"
Отправлено aaa1967 , 06-Сен-10 10:24 
>[оверквотинг удален]
>  option transport-type tcp
>  subvolumes brick
>  option auth.addr.brick.allow 192.168.9.* # Allow access to "brick" volume
>end-volume
>
>Монтирую я таким образомЖ
> mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/shared
>
>Если на одном сервере отключить службу gluster то каталог /mnt/shared не доступен.
>Это нормально?

клиенты тоже надо поставить на оба сервера


"DRBD+Heartbeat"
Отправлено zks1980 , 07-Сен-10 05:57 
>[оверквотинг удален]
>>  option auth.addr.brick.allow 192.168.9.* # Allow access to "brick" volume
>>end-volume
>>
>>Монтирую я таким образомЖ
>> mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/shared
>>
>>Если на одном сервере отключить службу gluster то каталог /mnt/shared не доступен.
>>Это нормально?
>
>клиенты тоже надо поставить на оба сервера

Клиентов я на оба ставил, вместе с серверами.
Конфиги можете выслать ваши, я сравню со своими?
Может ошибку найду.