The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Не грузится с ZFS после извлечения диска из зеркала и ребута"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Файловые системы, диски / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 21-Сен-10, 22:51 
Здравствуйте!

FreeBSD 8.1 STABLE amd64 стоит на пуле ZFS из 4-х зеркал по 2 диска.
При этом первые 2 диска разбиты на GPT  (1-загрузчик, 2-своп, 3-в ZFS mirror).

Один из дисков (5-й) стал выдавать очень много ошибок чтения. Его перевели в offline, вытащили и отдали в гарантию.

Затем, сервер был перезагружен (штатно, для установки доп.памяти).  Но не загрузился :(

Загрузчик пишет:

FreeBSD/i386 ZFS enabled bootstrap loader, Revision 1.1
...
/boot/kernel/kernel text-0x916f2f data=0x12d918+0xc53d8d1cbb]
/boot/kernel/zfs.ko size 0x19e010 ar 0xec0000
loading required module 'opensolaris'
/boot/kernel/opensolaris.ko size 0x3860 at 0x105f000
ZFS: i/o error - all block copies unavailable
....

После чего фря грузится дальше, но, дойдя до монтирования корня, пишет,
что не может смонтировать его из zfs:tank

Не понятно, как такое могло случиться, ведь извлечен был диск из зеркала. А сервер надо срочно запустить.

Странно, что в вышеуказанной ошибке пишется i386, хотя ядро amd64. Ранее не замечал, но ничего не менялось.

Для полноты картины опишу доп.информацию.
Кроме диска 5,ошибки давал диск 1, но гораздо реже, и, поэтому, был оставлен в пуле.
Оба этих диска были зазеркалированы с другими, работоспособными.

Вся последовательность действий такова:

da5 был переведен в offline. Затем также в offline был переведен da1.
Затем, вгорячую был извлечен da4 (зазеркалированный с ad12) и поменян местами в отсеках с da5. После манипуляции имена дисков не поменялись (аппаратный RAID их помнит). Затем все были переведены в online. Resilvering закончился удачно.

Ещё позднее da5 был снова переведен в offline и извлечен. Всё это время на пуле была активность и всё работало нормально.

Затем в /boot/loader.conf увеличен размер kmem и zfs.arcsize,
сервер выключен,  установлена доп. память и дополнительный диск (ad4).

После включения, сервер не хочет грузиться, как было указано выше.

Возврат da4 в прежний слот,  перестановка местами da0 и da1 ничего не меняют.

Очень прошу помощи в починке пула!

С live CD загрузить ZFS не смог, т.к. zfs.ko там найти не удалось (только zfs.ko* в папке dist, который не грузится)

Высказать мнение | Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от Anon Y Mous on 22-Сен-10, 02:05 
Для полноты картины не помешал бы вывод zpool status, если он где-нибудь сохранился, ну или конфигурация пула в такой же нотации.

Как насчет загрузиться с LiveCD с OpenSolaris и посмотреть, что получится?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 22-Сен-10, 08:37 
>Для полноты картины не помешал бы вывод zpool status, если он где-нибудь
>сохранился, ну или конфигурация пула в такой же нотации.

К сожалению, видимо, не сохранял

Конфигурация такая
tank:
mirror
  da0p3
  da1p3
mirror
  da2
  da3
mirror
  da4
  ad12
mirror
  da5
  ad14

Потом было сделано
zpool offline tank da5

после чего все работало прекрасно

>
>Как насчет загрузиться с LiveCD с OpenSolaris и посмотреть, что получится?

Спасибо за совет, попробую. Затрудняет ещё то, что сервер удаленный. А консоль со сторонних дисков не заработает.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 22-Сен-10, 09:00 
>>Для полноты картины не помешал бы вывод zpool status, если он где-нибудь
>>сохранился, ну или конфигурация пула в такой же нотации.
>
>К сожалению, видимо, не сохранял

Получилось посмотреть конфигурацию из загрузчика, нажав F12 во время его старта
и затем дав команду status

/boot.config: -Dh
FreeBSD/i386 boot
Default: tank:/boot/zfsloader
boot: status  pool: tank
config:

                    NAME      STATE
                    tank     ONLINE
                  mirror     ONLINE
                   da0p3     ONLINE
                   da1p3     ONLINE
                  mirror     ONLINE
                     da2     ONLINE
                     da3     ONLINE
                  mirror     ONLINE
                     da4     ONLINE
                    ad12     ONLINE
                                                                                

Получается, что не виден ad14, парой у которого был da5
Тогда понятно, почему не собирается.
Но куда он  делся?
Контроллер его находит вместе с ad12:

Intel(R) Embedded Server RAID Technology II Version A.01.01021804I              [PCI 0/1F] Intel(R) Embedded Server RAID Technology II                                                                                      
Scanning for Port  4... Responding. WDC WD2001FASS-00U      1907217MB
Scanning for Port  5... Responding. WDC WD2001FASS-00W      1907217MB          

Как и da диски:

SLOT ID  LUN VENDOR   PRODUCT          REVISION   CAPACITY
---- --- --- -------- ---------------- ---------- ----------
0    0  0  ATA      WDC WD2001FASS-0 0101       1907729 MB
0    2  0  ATA      WDC WD2001FASS-0 0101       1907729 MB
0    3  0  ATA      WDC WD2001FASS-0 0101       1907729 MB
0    4  0  ATA      WDC WD2001FASS-0 0101       1907729 MB
0    5  0  ATA      WDC WD2001FASS-0 0101       1907729 MB
  0          LSILogic SAS1068-IT       1.11.01.00                                                                              

И  ядро при загрузке тоже находит!

uhub4: <Intel EHCI root HUB, class 9/0, rev 2.00/1.00, addr 1> on usbus4
acd0: CDRW <Slimtype COMBO SSC-2485K/5K04> at ata0-slave UDMA33
ad12: 1907729MB <WDC WD2001FASS-00U0B0 01.00101> at ata6-master UDMA100 SATA 3Gb/s
uhub0: 2 ports with 2 removable, self powered
uhub1: 2 ports with 2 removable, self powered
uhub2: 2 ports with 2 removable, self powered
uhub3: 2 ports with 2 removable, self powered
ad14: 1907729MB <WDC WD2001FASS-00W2B0 01.00101> at ata7-master UDMA100 SATA 3Gb/s
ipmi0: IPMI device rev. 1, firmware rev. 0.2, version 2.0


Как же он смог выпасть из пула?  detach ему точно не говорили (и он бы не сработал, судя по информации от apl).
Или табличка status в загрузчике не выводит всех строк?


P.S. Может  на время попыток восстановления, вынуть диски, зеркальные оставшимся, чтобы случайно на них не попортить конфигурацию?


>[оверквотинг удален]
>Потом было сделано
>zpool offline tank da5
>
>после чего все работало прекрасно
>
>>
>>Как насчет загрузиться с LiveCD с OpenSolaris и посмотреть, что получится?
>
>Спасибо за совет, попробую. Затрудняет ещё то, что сервер удаленный. А консоль
>со сторонних дисков не заработает.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от apl on 22-Сен-10, 03:18 
Поищи крайний frenzy. с него скорее всего получиться посмотреть как выглядит система. но скорее всего там каша.

похорошему диски из миррора надо было извлекать с помощью

zpool detach pool device
           Detaches  device  from  a mirror. The operation is refused if there
           are no other valid replicas of the data.

если все диски в наличии, попробуй собрать все как было вначале или подняться со второй пары.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 22-Сен-10, 08:40 
>Поищи крайний frenzy. с него скорее всего получиться посмотреть как выглядит система.

Спасибо за совет! Попробую.

>но скорее всего там каша.
>
>похорошему диски из миррора надо было извлекать с помощью
>
>zpool detach pool device
>           Detaches
> device  from  a mirror. The operation is refused
>if there
>           are
>no other valid replicas of the data.

Я не использовал detach после того, как использовал его для перестановки диска в другой слот. В результате он стал снова синхронизоваться...
Согласен, что в случае увоза диска куда-то, это стоит сделать.

Но мне непонятно, как ZFS может потерять все от потери диска в зеркале! Какой тогда смысл зеркалирования? А если диск просто таки полностью сдохнет, тогда что?

>
>если все диски в наличии, попробуй собрать все как было вначале или
>подняться со второй пары.

Диск этот теперь добыть, видимо, нереально, или сложно. Возможно в ходе проверки на неработоспособность его отформатировали и т.п.

А что значит со второй пары? Отключить все вторые диски в зеркалах? Или как раз поставить старый, а все парные отключить.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от apl on 22-Сен-10, 09:20 
А смысл выводить диск в офлайн? Какая изначально задача стояла?

Если надо было временно заменить диск, то все равно потом ресинк делать.

при переводе диска в офлайн, его журнал пишется на другой диск, когда потом его выводишь в онлайн журнал сливается на этот диск. Так что выяснить что пул делал с оставшимися дисками -- ХЗ.

Попробуй взять по одному диску из каждого зеркала и завестись с frenzy. потом симпортируй пул. посмотри что получится.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 22-Сен-10, 09:52 
>А смысл выводить диск в офлайн? Какая изначально задача стояла?
>
>Если надо было временно заменить диск, то все равно потом ресинк делать.

Сначала надо было его временно отключить, чтобы посмотреть, будет ли лучше работать система (т.к. этот диск тормозил её ошибками чтения).

Согласен, что перед извлечение можно было его и detach.
Но всё равно система должна подразумевать ситуацию, когда диск внезапно полностью ломается.

>
>
>при переводе диска в офлайн, его журнал пишется на другой диск, когда
>потом его выводишь в онлайн журнал сливается на этот диск. Так
>что выяснить что пул делал с оставшимися дисками -- ХЗ.

Значит нагрузка на другие диски возрастает?  Но не должен же он был испортить их.

>
>Попробуй взять по одному диску из каждого зеркала и завестись с frenzy.
>потом симпортируй пул. посмотри что получится.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 22-Сен-10, 10:18 
И ещё, в инете нашел, что в loader prompt в списке модулей lsmod должен присутствовать
zpool.cache
У меня такого нет (только zfs.ko, opensolaris.ko)

Может ли это быть причиной того, что ad14 не виден ZFSу?

>[оверквотинг удален]
>>потом его выводишь в онлайн журнал сливается на этот диск. Так
>>что выяснить что пул делал с оставшимися дисками -- ХЗ.
>
>Значит нагрузка на другие диски возрастает?  Но не должен же он
>был испортить их.
>
>
>>
>>Попробуй взять по одному диску из каждого зеркала и завестись с frenzy.
>>потом симпортируй пул. посмотри что получится.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

15. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от apl on 22-Сен-10, 18:26 
>Сначала надо было его временно отключить, чтобы посмотреть, будет ли лучше работать
>система (т.к. этот диск тормозил её ошибками чтения).

Если есть ошибки, то лучше менять
и zpool status/zpool scrub.

>Согласен, что перед извлечение можно было его и detach.
>Но всё равно система должна подразумевать ситуацию, когда диск внезапно полностью ломается.

Да, но тогда пул становится degraded, а диск fault. И Dirty Time Log для него не будет создаваться.

>Значит нагрузка на другие диски возрастает?  Но не должен же он
>был испортить их.

Возрастет но не на много.  Как говорят знающие люди.
Не должен был, но выключением машины ты мог прервать его внутреннюю работу на пол дороги. Сами диски меняли в серверах "наживо" не один десяток раз. Все было нормально.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от Anon Y Mous on 22-Сен-10, 11:03 
>при переводе диска в офлайн, его журнал пишется на другой диск, когда
>потом его выводишь в онлайн журнал сливается на этот диск. Так
>что выяснить что пул делал с оставшимися дисками -- ХЗ.

Это неправильное представление. Когда диск оффлайнится, для него создается объект в пуле, называемый Dirty Time Log, в который записываются диапазоны номеров групп транзакций, во время которых этот диск отсутствовал. Этот объект как правило невелик в размерах. Потом, если тот же самый диск появляется обратно, на него в процессе resilvering записываются только блоки, порожденные в то время, пока диск отсутствовал. После завершения процесса объект Dirty Time Log уничтожается.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

14. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от apl on 22-Сен-10, 18:19 
>>при переводе диска в офлайн, его журнал пишется на другой диск, когда
>>потом его выводишь в онлайн журнал сливается на этот диск. Так
>>что выяснить что пул делал с оставшимися дисками -- ХЗ.
>
>Это неправильное представление. Когда диск оффлайнится, для него создается объект в пуле,
>называемый Dirty Time Log, в который записываются диапазоны номеров групп транзакций,
>во время которых этот диск отсутствовал. Этот объект как правило невелик
>в размерах. Потом, если тот же самый диск появляется обратно, на
>него в процессе resilvering записываются только блоки, порожденные в то время,
>пока диск отсутствовал. После завершения процесса объект Dirty Time Log уничтожается.

Согласен. т.е. пишится не сам журнал, а скорее индексы на транзакции.
Я не знаю механизма, как повел себя пул при переводе диска сначала в офлайн (начинает создаваться Dirty time log), а после этого диск вынули.

если бы диск просто вынули, проблем было бы, скорее всего, меньше.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от Anon Y Mous on 22-Сен-10, 10:57 
>Я не использовал detach после того, как использовал его для перестановки диска
>в другой слот. В результате он стал снова синхронизоваться...

Похоже где-то тут собака и порылась... Теперь, когда есть более четкое описание конфигурации, надо посмотреть внимательно на описание твоих действий.

>Но мне непонятно, как ZFS может потерять все от потери диска в зеркале!

Тут дело не в том, что ты потерял диск в зеркале, а в том, что в результате какой-то последовательности событий ты потерял Top-Level VDEV в пуле, а есть совсем нехорошо.

> Какой тогда смысл зеркалирования? А если диск просто таки полностью сдохнет, тогда что?

Все было бы хорошо, если бы не было вопросов ко второму диску в зеркале. Надо разбираться с ним.. У тебя есть возможность запустить zdb -l /dev/ad14 ? Загрузившись из сети, например?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

11. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 22-Сен-10, 13:13 
>>Я не использовал detach после того, как использовал его для перестановки диска
>>в другой слот. В результате он стал снова синхронизоваться...
>
>Похоже где-то тут собака и порылась... Теперь, когда есть более четкое описание
>конфигурации, надо посмотреть внимательно на описание твоих действий.

Полная последовательность действий.

1. Устанавливали новые диски.
До этого конфигурация зеркал была
da0 - da1
da2 - da3
da4 - da5

среди них сбойного ещё не было (кроме того, что da1 изредка давал ошибки).

Для разнесения половинок RAID по разным корпусам (ad стоят в соседнем копрусе), решили
туда перенести старый da5.
Вместо offline, при этом, сделали detach. И поставили его в ad12. Он потом долго синхронизовался (о чем я и писал выше), но работал корректно, и сейчас тоже виден.

А на места da5 и ad14 были поставлен новые диски, и тоже объединены в mirror.
Перестановка дисков производилась при выключенном (корректно) сервере. И он после того загрузился.

Получилось.
da0 - da1
da2 - da3
da4 - ad12
da5* - ad14*

*-новые диски

2. Диск da5 (новый) стал давать всё больше ошибок чтения.
Перевели его в offline, чтобы дать системе нормально работать.

На следующий день решили проверить, не от отсека ли это зависит.
В горячую вынули da4 ("для проверки отработки ZFSом таких ситуаций :) :( )
и поменяли местами с da5.
Затем только дали команду camcontrol rescan all.

Контроллер LSI, при этом, имена им оставил прежними. Но неизвестно, как они виделись ДО rescan.  Однако, ZFS же должен видеть их по метке, а не по имени диска, и вряд ли мог записать что-то не на тот диск до обновления информации со стороны контроллера.

После этой манипуляции диски довольно быстро синхронизовались (resilver), даже долго отключенный da5.

3. Ещё позже, диск da5 был снова переведен в offline (тут ошибка в том, что не detach, ведь знали, что возвращать его не придется), извлечен и сдан по гарантии.

4. В конфиг сервера были прописаны параметры для бОльшего объема памяти, он выключен, увеличена память (с 11 до 19 Гб) и вставлен SSD диск в ad4.

При загрузке - появилась вышеуказанная ошибка.
Отключение SSD (ad4), перестановка в отсеках (в выключенном состоянии сервера) других дисков ни к чему не привели.


>[оверквотинг удален]
>
>Тут дело не в том, что ты потерял диск в зеркале, а
>в том, что в результате какой-то последовательности событий ты потерял Top-Level
>VDEV в пуле, а есть совсем нехорошо.
>
>> Какой тогда смысл зеркалирования? А если диск просто таки полностью сдохнет, тогда что?
>
>Все было бы хорошо, если бы не было вопросов ко второму диску
>в зеркале. Надо разбираться с ним.. У тебя есть возможность запустить
>zdb -l /dev/ad14 ? Загрузившись из сети, например?

Посмотрю, когда смогу попасть на площадку.

А есть ли дистрибутивы, которые через консольный порт работают? Я бы тогда смог загрузить их удаленно.  Видимо, можно самому такой сделать, но сейчас нет времени.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

12. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от Ingoa on 22-Сен-10, 17:15 
Когда делаете в FreeBSD ZFS- массивы, то надо ОБЯЗАТЕЛЬНО делать раздел GPART с МЕТКОЙ и создавать массивы используя метки диска.
[ /usr/ports ] > zpool status                                [shuba@testbestie]
  pool: zroot
state: ONLINE
scrub: none requested
config:

        NAME           STATE     READ WRITE CKSUM
        zroot          ONLINE       0     0     0
          mirror       ONLINE       0     0     0
            gpt/disk1  ONLINE       0     0     0
            gpt/disk0  ONLINE       0     0     0

errors: No known data errors
[ /usr/ports ] >                  

Тогда можно гарантировать, что при перемещении диска массив не развалится.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

13. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 22-Сен-10, 17:44 
>[оверквотинг удален]
>gpt/disk1  ONLINE       0  
>   0     0
>            
>gpt/disk0  ONLINE       0  
>   0     0
>
>errors: No known data errors
>[ /usr/ports ] >                  
>
>Тогда можно гарантировать, что при перемещении диска массив не развалится.

Спасибо, понял.  Метки то были, но в пул добавлял по именам устройств...  ZFS же всё равно должен смотреть на свои метки.

А теперь то что делать?


Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

16. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от apl on 22-Сен-10, 18:52 
>Спасибо, понял.  Метки то были, но в пул добавлял по именам
>устройств...  ZFS же всё равно должен смотреть на свои метки.

Я не уверен, что пул работает с дисками по их именам.

По крайней мере при перемещении диска с пулом на другой порт контроллера, при новом старте системы с пулом никаких проблем небыло.

>А теперь то что делать?

Подниматься с бэкапа..

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

19. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 22-Сен-10, 19:34 
>[оверквотинг удален]
>
>Тут дело не в том, что ты потерял диск в зеркале, а
>в том, что в результате какой-то последовательности событий ты потерял Top-Level
>VDEV в пуле, а есть совсем нехорошо.
>
>> Какой тогда смысл зеркалирования? А если диск просто таки полностью сдохнет, тогда что?
>
>Все было бы хорошо, если бы не было вопросов ко второму диску
>в зеркале. Надо разбираться с ним.. У тебя есть возможность запустить
>zdb -l /dev/ad14 ? Загрузившись из сети, например?

Загрузился в frenzy. zpool import показывает что все ок.


zdb -l /dev/ada1 (так там стал называться ad14):
показывает 4 раза метку, видимо, одну и ту же (резерв?) первый взгляд, корректную

--------------------------------------------
LABEL 0
--------------------------------------------
    version=14
    name='tank'
    state=0
    txg=72605372
    pool_guid=6706252901631390582
    hostid=2309068031
    hostname='*'
    top_guid=13967584634772848356
    guid=13751120050166965739
    vdev_tree
        type='mirror'
        id=3
        guid=13967584634772848356
        metaslab_array=650
        metaslab_shift=34
        ashift=9
        asize=2000394125312
        is_log=0
        children[0]
                type='disk'
                id=0
                guid=7528861477485455434
                path='/dev/da5'
                whole_disk=0
                DTL=649
                offline=1
        children[1]
                type='disk'
                id=1
                guid=13751120050166965739
                path='/dev/ad14'
                whole_disk=0
                DTL=648
--------------------------------------------
LABEL 1
--------------------------------------------
    version=14
    name='tank'
    state=0
    txg=72605372
    pool_guid=6706252901631390582
    hostid=2309068031
    hostname='*'
    top_guid=13967584634772848356
    guid=13751120050166965739
    vdev_tree
        type='mirror'
        id=3
        guid=13967584634772848356
        metaslab_array=650
        metaslab_shift=34
        ashift=9
        asize=2000394125312
        is_log=0
        children[0]
                type='disk'
                id=0
                guid=7528861477485455434
                path='/dev/da5'
                whole_disk=0
                DTL=649
                offline=1
        children[1]
                type='disk'
                id=1
                guid=13751120050166965739
                path='/dev/ad14'
                whole_disk=0
                DTL=648
--------------------------------------------
LABEL 2
--------------------------------------------
    version=14
    name='tank'
    state=0
    txg=72605372
    pool_guid=6706252901631390582
    hostid=2309068031
    hostname='*'
    top_guid=13967584634772848356
    guid=13751120050166965739
    vdev_tree
        type='mirror'
        id=3
        guid=13967584634772848356
        metaslab_array=650
        metaslab_shift=34
        ashift=9
        asize=2000394125312
        is_log=0
        children[0]
                type='disk'
                id=0
                guid=7528861477485455434
                path='/dev/da5'
                whole_disk=0
                DTL=649
                offline=1
        children[1]
                type='disk'
                id=1
                guid=13751120050166965739
                path='/dev/ad14'
                whole_disk=0
                DTL=648
--------------------------------------------
LABEL 3
--------------------------------------------
    version=14
    name='tank'
    state=0
    txg=72605372
    pool_guid=6706252901631390582
    hostid=2309068031
    hostname'*'
    top_guid=13967584634772848356
    guid=13751120050166965739
    vdev_tree
        type='mirror'
        id=3
        guid=13967584634772848356
        metaslab_array=650
        metaslab_shift=34
        ashift=9
        asize=2000394125312
        is_log=0
        children[0]
                type='disk'
                id=0
                guid=7528861477485455434
                path='/dev/da5'
                whole_disk=0
                DTL=649
                offline=1
        children[1]
                type='disk'
                id=1
                guid=13751120050166965739
                path='/dev/ad14'
                whole_disk=0
                DTL=648


Для сравнения -метка от da4:


--------------------------------------------
LABEL 0
--------------------------------------------
    version=14
    name='tank'
    state=0
    txg=72604289
    pool_guid=6706252901631390582
    hostid=2309068031
    hostname='*'
    top_guid=14631550544816015141
    guid=10976838175571496472
    vdev_tree
        type='mirror'
        id=2
        guid=14631550544816015141
        whole_disk=0
        metaslab_array=257
        metaslab_shift=33
        ashift=9
        asize=2000394125312
        is_log=0
        children[0]
                type='disk'
                id=0
                guid=10976838175571496472
                path='/dev/da4'
                whole_disk=0
                DTL=501
        children[1]
                type='disk'
                id=1
                guid=12764619093800710973
                path='/dev/ad12'
                whole_disk=0
                DTL=495
--------------------------------------------
LABEL 1
--------------------------------------------
    version=14
    name='tank'
    state=0
    txg=72604289
    pool_guid=6706252901631390582
    hostid=2309068031
    hostname='*'
    top_guid=14631550544816015141
    guid=10976838175571496472
    vdev_tree
        type='mirror'
        id=2
        guid=14631550544816015141
        whole_disk=0
        metaslab_array=257
        metaslab_shift=33
        ashift=9
        asize=2000394125312
        is_log=0
        children[0]
                type='disk'
                id=0
                guid=10976838175571496472
                path='/dev/da4'
                whole_disk=0
                DTL=501
        children[1]
                type='disk'
                id=1
                guid=12764619093800710973
                path='/dev/ad12'
                whole_disk=0
                DTL=495
--------------------------------------------
LABEL 2
--------------------------------------------
    version=14
    name='tank'
    state=0
    txg=72604289
    pool_guid=6706252901631390582
    hostid=2309068031
    hostname='*'
    top_guid=14631550544816015141
    guid=10976838175571496472
    vdev_tree
        type='mirror'
        id=2
        guid=14631550544816015141
        whole_disk=0
        metaslab_array=257
        metaslab_shift=33
        ashift=9
        asize=2000394125312
        is_log=0
        children[0]
                type='disk'
                id=0
                guid=10976838175571496472
                path='/dev/da4'
                whole_disk=0
                DTL=501
        children[1]
                type='disk'
                id=1
                guid=12764619093800710973
                path='/dev/ad12'
                whole_disk=0
                DTL=495
--------------------------------------------
LABEL 3
--------------------------------------------
    version=14
    name='tank'
    state=0
    txg=72604289
    pool_guid=6706252901631390582
    hostid=2309068031
    hostname='*'
    top_guid=14631550544816015141
    guid=10976838175571496472
    vdev_tree
        type='mirror'
        id=2
        guid=14631550544816015141
        whole_disk=0
        metaslab_array=257
        metaslab_shift=33
        ashift=9
        asize=2000394125312
        is_log=0
        children[0]
                type='disk'
                id=0
                guid=10976838175571496472
                path='/dev/da4'
                whole_disk=0
                DTL=501
        children[1]
                type='disk'
                id=1
                guid=12764619093800710973
                path='/dev/ad12'
                whole_disk=0
                DTL=495


top_guid другой...   но они и у других зеркал различаются (одинаковые в пределах зеркала).
guid различаются у каждого диска
hostid и pool_guid у всех одинаковые,
а вот txg у ada1 (ad4) отличается....  у всех он 72604289 , а у него 72605372  :(

Но, может быть, это из за того, что с пула пытались читать после того, как он уже не видел этот диск?

Что можно теперь сделать?

Мне приходит на ум - импортировать пул и удалить с него zpool.cache

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

17. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 22-Сен-10, 19:11 
>Поищи крайний frenzy. с него скорее всего получиться посмотреть как выглядит система.
>но скорее всего там каша.

Из frenzy по zpool import показывает пул в том виде, в каком он и должен быть.

Вопрос - импортировать ли его там, или это опасно?

После импорта. Думаю, надо стереть zpool.cache, и попробовать загрузиться.

>[оверквотинг удален]
>
>zpool detach pool device
>           Detaches
> device  from  a mirror. The operation is refused
>if there
>           are
>no other valid replicas of the data.
>
>если все диски в наличии, попробуй собрать все как было вначале или
>подняться со второй пары.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

18. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от apl on 22-Сен-10, 19:22 
>>Поищи крайний frenzy. с него скорее всего получиться посмотреть как выглядит система.
>>но скорее всего там каша.
>
>Из frenzy по zpool import показывает пул в том виде, в каком
>он и должен быть.
>
>Вопрос - импортировать ли его там, или это опасно?
>
>После импорта. Думаю, надо стереть zpool.cache, и попробовать загрузиться.

Хуже в любом случае уже не будет.
При импорте пула с самим пулом уже ничего не произойдет.
бэкап данных есть?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

20. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 22-Сен-10, 19:56 
>[оверквотинг удален]
>>Из frenzy по zpool import показывает пул в том виде, в каком
>>он и должен быть.
>>
>>Вопрос - импортировать ли его там, или это опасно?
>>
>>После импорта. Думаю, надо стереть zpool.cache, и попробовать загрузиться.
>
>Хуже в любом случае уже не будет.
>При импорте пула с самим пулом уже ничего не произойдет.
>бэкап данных есть?

Нету, там и так 8Тб зазеркалено, куда уж ещё и бакап держать...  Снапшоты вопрос восстановления версий решают.
  
Но по такому поведению ZFS лучже уж без зеркал а на вторые диски делать бекапы периодически...

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

23. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 22-Сен-10, 20:46 
>[оверквотинг удален]
>>Из frenzy по zpool import показывает пул в том виде, в каком
>>он и должен быть.
>>
>>Вопрос - импортировать ли его там, или это опасно?
>>
>>После импорта. Думаю, надо стереть zpool.cache, и попробовать загрузиться.
>
>Хуже в любом случае уже не будет.
>При импорте пула с самим пулом уже ничего не произойдет.
>бэкап данных есть?

Импортировал.  Несмотря на разные txg, все нормально появилось. Все данные на месте.
Даже сделал detach удаленному ранее диску, не ругнулось.

Не экспортировал и перезагрузил (нормально).

Только система всё равно не грузится с него (та же ошибка). Что теперь с ним делать :) ?

Правда, я не нашел zpool.cache в /etc на загрузочной системе пула. И соотв. не удалял его. А где он может быть?  

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

24. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 22-Сен-10, 21:42 
>[оверквотинг удален]
>месте.
>Даже сделал detach удаленному ранее диску, не ругнулось.
>
>Не экспортировал и перезагрузил (нормально).
>
>Только система всё равно не грузится с него (та же ошибка). Что
>теперь с ним делать :) ?
>
>Правда, я не нашел zpool.cache в /etc на загрузочной системе пула. И
>соотв. не удалял его. А где он может быть?

Ура!!! Все заработало.

Воспользовался этим http://forums.freebsd.org/showthread.php?t=4185 описание замены zpool.cache

Огромное спасибо всем, кто помогал!

Чуть позже опишу подробней действия.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

26. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от apl on 22-Сен-10, 22:07 
>Ура!!! Все заработало.
>Воспользовался этим http://forums.freebsd.org/showthread.php?t=4185 описание замены zpool.cache

Ну и Слава Богу!
А про бэкап подумай. не обязательно на той-же машине.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

25. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от apl on 22-Сен-10, 22:05 
>>[оверквотинг удален]
>Импортировал.  Несмотря на разные txg, все нормально появилось. Все данные на
>месте.
>Даже сделал detach удаленному ранее диску, не ругнулось.

Тут имеет смысл сбекапить с него данные, чтобы не навернуть в последующих плясках.

[apl@store] [/home/apl]: ls -la /boot/zfs/zpool.cache
-rw-r--r--  1 root  wheel  3460 10 июн 09:37 /boot/zfs/zpool.cache


>Только система всё равно не грузится с него (та же ошибка). Что
>теперь с ним делать :) ?

После бэкапа запустить zpool scrub. посмотреть, что он на это скажет.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

21. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от tonys (ok) on 22-Сен-10, 20:06 
>
>Один из дисков (5-й) стал выдавать очень много ошибок чтения. Его перевели
>в offline, вытащили и отдали в гарантию.
>
>Затем, сервер был перезагружен (штатно, для установки доп.памяти).  Но не загрузился
>:(

http://habrahabr.ru/blogs/bsdelniki/77722/
Гляньте. Может найдете что-то полезное для себя.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

22. "Не грузится с ZFS после извлечения диска из зеркала и ребута"  +/
Сообщение от xOr (ok) on 22-Сен-10, 20:44 
>>
>>Один из дисков (5-й) стал выдавать очень много ошибок чтения. Его перевели
>>в offline, вытащили и отдали в гарантию.
>>
>>Затем, сервер был перезагружен (штатно, для установки доп.памяти).  Но не загрузился
>>:(
>
>http://habrahabr.ru/blogs/bsdelniki/77722/
>Гляньте. Может найдете что-то полезное для себя.

Спасибо!

Только Хабр похоже ни у кого не работает....

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру