The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"проблемы при создании raid5 с помощью mdadm"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Файловые системы, диски / Linux)
Изначальное сообщение [ Отслеживать ]

"проблемы при создании raid5 с помощью mdadm"  +/
Сообщение от progserega (ok) on 21-Дек-10, 09:16 
Доброго всем.

1. Есть 6 винтов.
2. создаю по два раздела.
3. проверяю наличие суперблоков:
mdadm --examine /dev/sda
mdadm: No md superblock detected on /dev/sda
то же для /dev/sda1 и /dev/sda2 и других винтов и их разделов.
3. два первых соединяю в raid1:

mdadm --create /dev/md0 --metadata=0.90 --verbose -l 1 -n 2 /dev/sda1 /dev/sdb1

4. Проверяю суперблоки:

mdadm --examine /dev/sda
mdadm: No md superblock detected on /dev/sda
mdadm --examine /dev/sda1
на /dev/sda1 и /dev/sdb1 находит, как и должно быть.

/dev/sda1:
          Magic : a92b4efc
        Version : 0.90.00
           UUID : 2fecff78:fc6a00fd:c44c77eb:7ee19756 (local to host sysresccd)
  Creation Time : Tue Dec 21 15:14:35 2010
     Raid Level : raid1
  Used Dev Size : 8388544 (8.00 GiB 8.59 GB)
     Array Size : 8388544 (8.00 GiB 8.59 GB)
   Raid Devices : 2
  Total Devices : 2
Preferred Minor : 0

    Update Time : Tue Dec 21 15:16:01 2010
          State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
  Spare Devices : 0
       Checksum : b351e848 - correct
         Events : 18


      Number   Major   Minor   RaidDevice State
this     0       8        1        0      active sync   /dev/sda1

   0     0       8        1        0      active sync   /dev/sda1
   1     1       8       17        1      active sync   /dev/sdb1

5. Создаю raid5 на вторых разделах:
mdadm --create /dev/md1 --metadata=0.90 --level=5 --raid-devices=5 /dev/sda2 /dev/sdb2 /dev/sdc2 /dev/sdd2 /dev/sde2 --spare-devices=1 /dev/sdf2

6. Проверяем суперблоки:

mdadm --examine /dev/sda
/dev/sda:
          Magic : a92b4efc
        Version : 0.90.00
           UUID : 4b3f0eb7:4f4b85df:c44c77eb:7ee19756 (local to host sysresccd)
  Creation Time : Tue Dec 21 15:15:55 2010
     Raid Level : raid5
  Used Dev Size : 968372736 (923.51 GiB 991.61 GB)
     Array Size : 3873490944 (3694.05 GiB 3966.45 GB)
   Raid Devices : 5
  Total Devices : 6
Preferred Minor : 1

    Update Time : Tue Dec 21 15:36:45 2010
          State : clean
Active Devices : 4
Working Devices : 6
Failed Devices : 1
  Spare Devices : 2
       Checksum : 5ac5b51e - correct
         Events : 7

         Layout : left-symmetric
     Chunk Size : 512K

      Number   Major   Minor   RaidDevice State
this     0       8        2        0      active sync   /dev/sda2

   0     0       8        2        0      active sync   /dev/sda2
   1     1       8       18        1      active sync   /dev/sdb2
   2     2       8       34        2      active sync   /dev/sdc2
   3     3       8       50        3      active sync
   4     4       0        0        4      faulty removed
   5     5       8       82        5      spare
   6     6       8       66        6      spare


и:
mdadm --examine /dev/sda2
/dev/sda2:
          Magic : a92b4efc
        Version : 0.90.00
           UUID : 4b3f0eb7:4f4b85df:c44c77eb:7ee19756 (local to host sysresccd)
  Creation Time : Tue Dec 21 15:15:55 2010
     Raid Level : raid5
  Used Dev Size : 968372736 (923.51 GiB 991.61 GB)
     Array Size : 3873490944 (3694.05 GiB 3966.45 GB)
   Raid Devices : 5
  Total Devices : 6
Preferred Minor : 1

    Update Time : Tue Dec 21 15:36:45 2010
          State : clean
Active Devices : 4
Working Devices : 6
Failed Devices : 1
  Spare Devices : 2
       Checksum : 5ac5b51e - correct
         Events : 7

         Layout : left-symmetric
     Chunk Size : 512K

      Number   Major   Minor   RaidDevice State
this     0       8        2        0      active sync   /dev/sda2

   0     0       8        2        0      active sync   /dev/sda2
   1     1       8       18        1      active sync   /dev/sdb2
   2     2       8       34        2      active sync   /dev/sdc2
   3     3       8       50        3      active sync
   4     4       0        0        4      faulty removed
   5     5       8       82        5      spare
   6     6       8       66        6      spare

7. В результате, при загрузке ядро говорит примерно то же самое, что говорит:
mdadm --assemble --scan

mdadm: WARNING /dev/sdc2 and /dev/sdc appear to have very similar superblocks.
      If they are really different, please --zero the superblock on one
      If they are the same or overlap, please remove one from the
      DEVICE list in mdadm.conf.

Ругается на разные диски. То на один то на другой.
В результате создаётся некий raid5 /dev/md127, состоящий из дисков за вычетом непонравившегося винта. Этот самый /dev/md127 находится в режиме "только чтение".


Вопрос: Почему при сборке raid5 из разделов (в моём случае вторых) суперблок прописывается и в корневой диск? Однако такого не происходит при сборке raid1.

П.С. Если же очистить суперблок на диске /dev/sda:
mdadm --zero-superblock /dev/sda
то суперблок "пропадёт" и на /dev/sda2, в результате raid5 из вторых разделов не  не будет собираться. А raid1 из первых разделов /dev/sda1 и /dev/sdb1 всё так же будет собираться без нареканий.

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "проблемы при создании raid5 с помощью mdadm"  +/
Сообщение от ze6ra (??) on 21-Дек-10, 13:24 
> Доброго всем.
> 1. Есть 6 винтов.
> 2. создаю по два раздела.
> Вопрос: Почему при сборке raid5 из разделов (в моём случае вторых) суперблок
> прописывается и в корневой диск? Однако такого не происходит при сборке
> raid1.

Во первых если почитать man то там сказано, что суперблок пишется примерно в конец диска. Физически конец вашего /dev/sda совпадает с концом /dev/sda2 и естественно утилита его там находи при обращении как /dev/sda так и /dev/sda2. Тут нечему удивляться.

Во вторых при сборке массива, утилита смотрит файл mdadm.conf на предмет выяснения где же ей искать массивы для сборки и там наверняка присутсвует указание что массивы могут расспологаься на лыбом устройстве /dev/sd*. Вот она и находит их, а поскольку интилекта у утилиты достаточно много, то она даже скромно намекает что вы чегото накосячили с raid и даже говорит что надо сделать: убрать перекрывающиеся суперблоки или точно указать где искать raid массивы в файле mdadm.cnf.

Так что вариантов действий несколько, править mdadm.cnf и не забыть его сохранить в загрузочном образе или сделать конец раздела /dev/sda2 (и остальных дисков) с делать чуть отстоящим от конца диска. Тогда суперблок записаный  в конец раздела не окажется на месте где ожидается суперблок записанный для всего диска.
Если правильно помню то нужно не более 128К в конце диска для суперблока. Уменьшите второй раздел на 128К и обнулите суперблок для всего диска пересоздайте массив и проблемы должны уйти.


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "проблемы при создании raid5 с помощью mdadm"  +/
Сообщение от progserega (ok) on 22-Дек-10, 01:55 
>[оверквотинг удален]
> даже говорит что надо сделать: убрать перекрывающиеся суперблоки или точно указать
> где искать raid массивы в файле mdadm.cnf.
> Так что вариантов действий несколько, править mdadm.cnf и не забыть его сохранить
> в загрузочном образе или сделать конец раздела /dev/sda2 (и остальных дисков)
> с делать чуть отстоящим от конца диска. Тогда суперблок записаный  
> в конец раздела не окажется на месте где ожидается суперблок записанный
> для всего диска.
> Если правильно помню то нужно не более 128К в конце диска для
> суперблока. Уменьшите второй раздел на 128К и обнулите суперблок для всего
> диска пересоздайте массив и проблемы должны уйти.

Спасибо! Уменьшил на 200 Кб последний раздел от конца. Суперблок на sda перестало находить. 0.90 версия нужна для автозагрузки ядром (без initrd).

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "проблемы при создании raid5 с помощью mdadm"  +/
Сообщение от sdog (ok) on 21-Дек-10, 19:27 
Neil Brown, главный автор mdadm, советует использовать суперблоки версий 1.1 или 1.2, всегда когда это возможно.

P.S. советую raid собирать с write-intent bitmap.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру