SCSI Storage подключен (или точнее подглючен) к 2 SCSI адаптерам в 2 узлах одного кластера.Есть такой вопрос:
Строю кластер с общим storage’ем для двух linux RH 7.3 машин. В каждой стоит adaptec SCSI контроллер с выходом внутрь и наружу. Внутренний выход пуст, а через наружный я подключаю этот Storage с обеих сторон к обоим узлам кластера. Т.е. получается след. конфигурация SCSI:
контроллер – storage( диск – диск ) – контроллер
вопросы:
1. возможна ли в принципе такая конфигурация или я что то напутал.
2. я наблюдаю проблемы, ВОЗМОЖНО связанные с терминированием SCSI устройств. А именно: я поставил OS на один узел кластера и пытаюсь получить доступ к дискам Storage’а, создаю LVM-диск (я пробовал и с обычной партицией) и mount’ю его. Если при этом второй узел выключен, но остался подключен к сети (електропитания, т.е какой то ток на motherboard всетаки подается, моргает Ethernet On Board контроллер и т.д.) – я получаю сообщения об ошибках в логах или большой-большой DUMP еще при:
<pre>modeprobe aic7xxx</pre>
в любом случае, даже если диск монтируется, то он работает не нормально.
Если отключить SCSI кабель от второго узла – доступ к диску происходит так как надо. Есть предположение, что «розетки» Storage’а могут (по какой то там доке) терминировать SCSI-сигнал – что в общем очень даже возможно.
3. может я не правильно конфигурирую кластер (в Hardware - плане), но если не так, то как? Ведь надо, чтоб при «отвале» одного узла, второй мог получить доступ к файлам на Storage’е
4. может внешние и внутренние подключения SCSI контроллера не одинаковые и их надо по разному опрашивать?
5. может кто делал подобные вещи и поделится инфой на тему "how to cluster"в любом случае – всем читавшим - спасибо. Жду Ваших комментариев.
э-э-э-эа scsi-инициатор на одном адаптере поменял ?
>SCSI Storage подключен (или точнее подглючен) к 2 SCSI адаптерам в 2
>узлах одного кластера.
>
>Есть такой вопрос:
>
>Строю кластер с общим storage’ем для двух linux RH 7.3 машин. В
>каждой стоит adaptec SCSI контроллер с выходом внутрь и наружу. Внутренний
>выход пуст, а через наружный я подключаю этот Storage с
>обеих сторон к обоим узлам кластера. Т.е. получается след. конфигурация SCSI:
>
> контроллер – storage( диск – диск ) – контроллер
>вопросы:
>1. возможна ли в принципе такая конфигурация или я что то напутал.
>
>2. я наблюдаю проблемы, ВОЗМОЖНО связанные с терминированием SCSI устройств. А именно:
>я поставил OS на один узел кластера и пытаюсь получить доступ
>к дискам Storage’а, создаю LVM-диск (я пробовал и с обычной партицией)
>и mount’ю его. Если при этом второй узел выключен, но остался
>подключен к сети (електропитания, т.е какой то ток на motherboard всетаки
>подается, моргает Ethernet On Board контроллер и т.д.) – я получаю
>сообщения об ошибках в логах или большой-большой DUMP еще при:
><pre>modeprobe aic7xxx</pre>
>в любом случае, даже если диск монтируется, то он работает не нормально.
>
>Если отключить SCSI кабель от второго узла – доступ к диску происходит
>так как надо. Есть предположение, что «розетки» Storage’а могут (по какой
>то там доке) терминировать SCSI-сигнал – что в общем очень даже
>возможно.
>3. может я не правильно конфигурирую кластер (в Hardware - плане), но
>если не так, то как? Ведь надо, чтоб при «отвале» одного
>узла, второй мог получить доступ к файлам на Storage’е
>4. может внешние и внутренние подключения SCSI контроллера не одинаковые и их
>надо по разному опрашивать?
>5. может кто делал подобные вещи и поделится инфой на тему "how
>to cluster"
>
>в любом случае – всем читавшим - спасибо. Жду Ваших комментариев.
>
>а scsi-инициатор на одном адаптере поменял ?а как scsi-инициатор поменят?
в настройках одного scsi-адаптера утилью или из биоса изменить scsi-target с 7 на какой-нить другой. Что бы ещё с массивом разный был.
>>а scsi-инициатор на одном адаптере поменял ?
>
>а как scsi-инициатор поменят?
>в настройках одного scsi-адаптера утилью или из биоса изменить scsi-target с 7
>на какой-нить другой. Что бы ещё с массивом разный был.
>
>
>>>а scsi-инициатор на одном адаптере помен ял ?
>>
>>а как scsi-инициатор поменят?в каком .rpm может быть scsi-target (или может .tgz)
>в настройках одного scsi-адаптера утилью или из биоса изменить scsi-target с 7
>на какой-нить другой. Что бы ещё с массивом разный был.
>
>
>>>а scsi-инициатор на одном адаптере поменял ?
>>
>>а как scsi-инициатор поменят?
я изменил SCSI ID в BIOSе SCSI Adapter в другом компьютере и, кажется, он пошел.
было бы еще интересно, где я scsi-target наиду
дык это и требовалось
scsi id = scsi target = scsi initiator для адаптера
>>в настройках одного scsi-адаптера утилью или из биоса изменить scsi-target с 7
>>на какой-нить другой. Что бы ещё с массивом разный был.
>>
>>
>>>>а scsi-инициатор на одном адаптере поменял ?
>>>
>>>а как scsi-инициатор поменят?
>
>
>я изменил SCSI ID в BIOSе SCSI Adapter в другом компьютере и,
>кажется, он пошел.
>было бы еще интересно, где я scsi-target наиду
Из дома могу написать больше. И так :
В серваках стоит по Promise SATA Raid контоллер + Adaptec SCSI, причем в BIOS’е я его отключаю, т.к. иначе он находит 2 диска в Storage’е и делает их /dev/sda и /dev/sdb, а Promise’овские диски /dev/sdc (значит если вставить потом в Storage еще пару дисков, то Promise Raid сдвигается еще дальше, что неудобно по понятным причинам, ведь именно на Promise Raid’е стоит сама OS).Мне хотелось не перегружаясь использовать названую вами утилиту „scsi-target“, но я ее не нашел (на ftp.redhat.com ничего похожего я не нашел, но ведь и название пакета не всегда отражает его содержимое). Проблема осложнена там, что работаю я не с нормальным RH7.3, а с его обрезанным клоном (точнее Linux на базе RH 7.3 без Developer библиотек, компиляторов etc.)
Теперь про проблему со Storage:
Имеем схему:
Adaptec (SCSI ID = 15) -- -- Adaptec (SCSI ID = 7)
I I
----------------------
I Storage I
I I
I /dev/sdb (ID=3) I
I /dev/sdc (ID=4) I
I I
----------------------
делаю softwareRaid /dev/sdc5 + /dev/sdb5 (обе партиции типа Linux raid autuidetect (type=fd))/etc/raid
raiddev /dev/md0
raid-level 1
nr-raid-disks 2
persistent-superblock 1
chunk-size 8
device /dev/sdc5
raid-disk 0
device /dev/sdb5
raid-disk 1на узле N1:
# mkraid /dev/md0
# mkreiserfs /dev/md0
# mount /dev/md0 /db
# cat /db/my_file
# umount /db
# raidstop /dev/md0
# rmmod raid1на втром узле:
# modprobe raid1
# raidstart /dev/md0
# mount /dev/md0 /db
# cat /db/my_file
# umount /db
# raidstop /dev/md0
# rmmod raid1при каждом первом после mount обращении к файлам на Raid + еще время от времени получаю сообщения (разные) об ошибках. В общем RAID работает как то - не стабильно. и дело я думаю не в RAID, а проблеме в Hardware конфигурации (я так думаю!! поэтому и топик тот же)
Вопросы:
1. достаточно ли только изменить SCSI ID или надо предпринять еще другие шаги (например Вы говорили об «инициализации» SCSI Bus’а - нужно ли поставить ее в disable и на обоих ли контролерах, можно ли регулировать инициализацию при загрузке модуля aic7xxx)
2. я нашел на Adaptec SCSI контролере джампер J2 TE и, подозревая его в принудительном теминировании BUS’а надел на него контакт (верно ли мое предположение? Я сам пока еще не разобрался)спасибо за помощь