https://www.opennet.me/openforum/vsluhforumID1/89857.html Здравствуйте!<br><br>FreeBSD 8.1 STABLE amd64 стоит на пуле ZFS из 4-х зеркал по 2 диска.<br>При этом первые 2 диска разбиты на GPT (1-загрузчик, 2-своп, 3-в ZFS mirror).<br><br>Один из дисков (5-й) стал выдавать очень много ошибок чтения. Его перевели в offline, вытащили и отдали в гарантию.<br><br>Затем, сервер был перезагружен (штатно, для установки доп.памяти). Но не загрузился :(<br><br>Загрузчик пишет:<br><br>FreeBSD/i386 ZFS enabled bootstrap loader, Revision 1.1<br>...<br>/boot/kernel/kernel text-0x916f2f data=0x12d918+0xc53d8d1cbb]<br>/boot/kernel/zfs.ko size 0x19e010 ar 0xec0000<br>loading required module 'opensolaris'<br>/boot/kernel/opensolaris.ko size 0x3860 at 0x105f000<br>ZFS: i/o error - all block copies unavailable<br>....<br><br>После чего фря грузится дальше, но, дойдя до монтирования корня, пишет,<br>что не может смонтировать его из zfs:tank<br><br>Не понятно, как такое могло случиться, ведь извлечен был диск из зеркала. А сервер надо срочно запустить.<br><br>Странно, что в вышеуказанной ошибке пишется i386, хотя ядро amd64. Ранее не за https://www.opennet.me/openforum/vsluhforumID1/89857.html#26 Wed, 22 Sep 2010 18:07:57 GMT &gt;Ура!!! Все заработало. <br>&gt;Воспользовался этим http://forums.freebsd.org/showthread.php?t=4185 описание замены zpool.cache <br><br>Ну и Слава Богу! <br>А про бэкап подумай. не обязательно на той-же машине.<br> https://www.opennet.me/openforum/vsluhforumID1/89857.html#25 Wed, 22 Sep 2010 18:05:57 GMT &gt;&gt;[оверквотинг удален]<br>&gt;Импортировал. Несмотря на разные txg, все нормально появилось. Все данные на <br>&gt;месте. <br>&gt;Даже сделал detach удаленному ранее диску, не ругнулось. <br><br>Тут имеет смысл сбекапить с него данные, чтобы не навернуть в последующих плясках.<br><br>[apl@store] [/home/apl]: ls -la /boot/zfs/zpool.cache<br>-rw-r--r-- 1 root wheel 3460 10 июн 09:37 /boot/zfs/zpool.cache<br><br><br>&gt;Только система всё равно не грузится с него (та же ошибка). Что <br>&gt;теперь с ним делать :) ? <br><br>После бэкапа запустить zpool scrub. посмотреть, что он на это скажет.<br><br><br><br> https://www.opennet.me/openforum/vsluhforumID1/89857.html#24 Wed, 22 Sep 2010 17:42:00 GMT &gt;[оверквотинг удален]<br>&gt;месте. <br>&gt;Даже сделал detach удаленному ранее диску, не ругнулось. <br>&gt;<br>&gt;Не экспортировал и перезагрузил (нормально). <br>&gt;<br>&gt;Только система всё равно не грузится с него (та же ошибка). Что <br>&gt;теперь с ним делать :) ? <br>&gt;<br>&gt;Правда, я не нашел zpool.cache в /etc на загрузочной системе пула. И <br>&gt;соотв. не удалял его. А где он может быть? <br><br>Ура!!! Все заработало.<br><br>Воспользовался этим http://forums.freebsd.org/showthread.php?t=4185 описание замены zpool.cache<br><br>Огромное спасибо всем, кто помогал!<br><br>Чуть позже опишу подробней действия.<br><br> https://www.opennet.me/openforum/vsluhforumID1/89857.html#23 Wed, 22 Sep 2010 16:46:31 GMT &gt;[оверквотинг удален]<br>&gt;&gt;Из frenzy по zpool import показывает пул в том виде, в каком <br>&gt;&gt;он и должен быть. <br>&gt;&gt;<br>&gt;&gt;Вопрос - импортировать ли его там, или это опасно? <br>&gt;&gt;<br>&gt;&gt;После импорта. Думаю, надо стереть zpool.cache, и попробовать загрузиться. <br>&gt;<br>&gt;Хуже в любом случае уже не будет. <br>&gt;При импорте пула с самим пулом уже ничего не произойдет. <br>&gt;бэкап данных есть? <br><br>Импортировал. Несмотря на разные txg, все нормально появилось. Все данные на месте.<br>Даже сделал detach удаленному ранее диску, не ругнулось.<br><br>Не экспортировал и перезагрузил (нормально).<br><br>Только система всё равно не грузится с него (та же ошибка). Что теперь с ним делать :) ?<br><br>Правда, я не нашел zpool.cache в /etc на загрузочной системе пула. И соотв. не удалял его. А где он может быть? <br> https://www.opennet.me/openforum/vsluhforumID1/89857.html#22 Wed, 22 Sep 2010 16:44:13 GMT &gt;&gt;<br>&gt;&gt;Один из дисков (5-й) стал выдавать очень много ошибок чтения. Его перевели <br>&gt;&gt;в offline, вытащили и отдали в гарантию. <br>&gt;&gt;<br>&gt;&gt;Затем, сервер был перезагружен (штатно, для установки доп.памяти). Но не загрузился <br>&gt;&gt;:( <br>&gt;<br>&gt;http://habrahabr.ru/blogs/bsdelniki/77722/ <br>&gt;Гляньте. Может найдете что-то полезное для себя. <br><br>Спасибо!<br><br>Только Хабр похоже ни у кого не работает....<br> https://www.opennet.me/openforum/vsluhforumID1/89857.html#21 Wed, 22 Sep 2010 16:06:32 GMT &gt;<br>&gt;Один из дисков (5-й) стал выдавать очень много ошибок чтения. Его перевели <br>&gt;в offline, вытащили и отдали в гарантию. <br>&gt;<br>&gt;Затем, сервер был перезагружен (штатно, для установки доп.памяти). Но не загрузился <br>&gt;:( <br><br>http://habrahabr.ru/blogs/bsdelniki/77722/<br>Гляньте. Может найдете что-то полезное для себя.<br><br> https://www.opennet.me/openforum/vsluhforumID1/89857.html#20 Wed, 22 Sep 2010 15:56:52 GMT &gt;[оверквотинг удален]<br>&gt;&gt;Из frenzy по zpool import показывает пул в том виде, в каком <br>&gt;&gt;он и должен быть. <br>&gt;&gt;<br>&gt;&gt;Вопрос - импортировать ли его там, или это опасно? <br>&gt;&gt;<br>&gt;&gt;После импорта. Думаю, надо стереть zpool.cache, и попробовать загрузиться. <br>&gt;<br>&gt;Хуже в любом случае уже не будет. <br>&gt;При импорте пула с самим пулом уже ничего не произойдет. <br>&gt;бэкап данных есть? <br><br>Нету, там и так 8Тб зазеркалено, куда уж ещё и бакап держать... Снапшоты вопрос восстановления версий решают.<br> <br>Но по такому поведению ZFS лучже уж без зеркал а на вторые диски делать бекапы периодически...<br> https://www.opennet.me/openforum/vsluhforumID1/89857.html#19 Wed, 22 Sep 2010 15:34:52 GMT &gt;[оверквотинг удален]<br>&gt;<br>&gt;Тут дело не в том, что ты потерял диск в зеркале, а <br>&gt;в том, что в результате какой-то последовательности событий ты потерял Top-Level <br>&gt;VDEV в пуле, а есть совсем нехорошо. <br>&gt;<br>&gt;&gt; Какой тогда смысл зеркалирования? А если диск просто таки полностью сдохнет, тогда что? <br>&gt;<br>&gt;Все было бы хорошо, если бы не было вопросов ко второму диску <br>&gt;в зеркале. Надо разбираться с ним.. У тебя есть возможность запустить <br>&gt;zdb -l /dev/ad14 ? Загрузившись из сети, например? <br><br>Загрузился в frenzy. zpool import показывает что все ок.<br><br><br>zdb -l /dev/ada1 (так там стал называться ad14):<br>показывает 4 раза метку, видимо, одну и ту же (резерв?) первый взгляд, корректную<br><br>--------------------------------------------<br>LABEL 0<br>--------------------------------------------<br> version=14<br> name='tank'<br> state=0<br> txg=72605372<br> pool_guid=6706252901631390582<br> hostid=2309068031<br> hostname='*'<br> top_guid=13967584634772848356<br> guid=13751120050166965739<br> vdev_tree<br> https://www.opennet.me/openforum/vsluhforumID1/89857.html#18 Wed, 22 Sep 2010 15:22:02 GMT &gt;&gt;Поищи крайний frenzy. с него скорее всего получиться посмотреть как выглядит система. <br>&gt;&gt;но скорее всего там каша. <br>&gt;<br>&gt;Из frenzy по zpool import показывает пул в том виде, в каком <br>&gt;он и должен быть. <br>&gt;<br>&gt;Вопрос - импортировать ли его там, или это опасно? <br>&gt;<br>&gt;После импорта. Думаю, надо стереть zpool.cache, и попробовать загрузиться. <br><br>Хуже в любом случае уже не будет.<br>При импорте пула с самим пулом уже ничего не произойдет.<br>бэкап данных есть?<br>