URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 14326
[ Назад ]

Исходное сообщение
"OpenNews: Размышления о планировании операции резервного копирования"

Отправлено opennews , 07-Апр-06 13:34 
В статье "О разработке процедур резервного копирования, архивирования и восстановления серверов и баз данных (http://santa-claus-rpm.livejournal.com/2801.html)" представлена квинтэссенция опыта по теме организации и планирования процесса резервного копирования.

URL: http://santa-claus-rpm.livejournal.com/2801.html
Новость: http://www.opennet.me/opennews/art.shtml?num=7284


Содержание

Сообщения в этом обсуждении
"Размышления о планировании операции резервного копирования"
Отправлено Сергей , 07-Апр-06 13:34 
Млин, сам ничо такого не написал, поэтому сразу признаю, что ругачки мои есть только слова, за которыми ничего нет.
Santa Claus, это реферат на тему "резервное копирование"? Плюс работы - очень последовательно. Если перечисленных книжек не читал, то как очень качественная памятка пойдет на ура.
А так... Ничего особенного. План действительно хорошей работы

"Размышления о планировании операции резервного копирования"
Отправлено Santa_Claus , 07-Апр-06 14:54 
>это реферат на тему "резервное копирование"

нет, для работы делал.
Сюда запостил для обретения дельных замечаний и советов.

>Ничего особенного
Конечно. Если учесть, что такого, ну чтобы полно и со всех сторон, повторюсь, я на русском нигде не видел.


"Размышления о планировании операции резервного копирования"
Отправлено citrin , 07-Апр-06 13:36 
Еще полезная ссылка по поводу резервного копирования:
http://citrin.ru/backup.html

"Размышления о планировании операции резервного копирования"
Отправлено Аноним , 07-Апр-06 14:12 
amanda рулитъ

"Размышления о планировании операции резервного копирования"
Отправлено Santa_Claus , 07-Апр-06 14:55 
>amanda рулитъ

Не аманда, а бакула рулит.


"Если бы еще "
Отправлено Квагга , 07-Апр-06 16:56 
бакула давал возможность удаленно снимать копии на ВИНДУ - не было бы ему цены!

"Если бы еще "
Отправлено Santa_Claus , 07-Апр-06 18:07 
>бакула давал возможность удаленно снимать копии на ВИНДУ - не было бы ему цены!

Ну, мне дает ;)

(речь все еще идет о бакуле ? ;)


"Научи меня немедленно!"
Отправлено Квагга , 07-Апр-06 21:29 
Поделись конфигами!

"Научи меня немедленно!"
Отправлено Santa_Claus , 12-Апр-06 16:52 
>Поделись конфигами!

Я ошибся.
"_на_ ВИНДУ" не дает, _С_ винды - да.


"Научи меня немедленно!"
Отправлено Santa_Claus , 11-Май-06 09:07 
>Поделись конфигами!

From: robertn@the-nelsons.org
Subject: [Bacula-users] Storage Daemon ported to Windows
Sender: bacula-users-admin@lists.sourceforge.net

I've ported the Storage Daemon and related tools to Windows.  Tested the
tape with btape and all tests passed.  WooHoo!!

Next I need to get the Daemon running as a service and do some more backup /
restore testing.


"Размышления о планировании операции резервного копирования"
Отправлено Ананим , 07-Апр-06 14:46 
Превед, в большинстве случаев также рулитъ rsync+ssh или даже tar+ssh ;-)

"Размышления о планировании операции резервного копирования"
Отправлено Аноним , 07-Апр-06 15:10 
#!/bin/sh

HOSTNAME=`hostname`

if [ `date +%u` == "1" ] ; then
  # Full backup
  rm -f /var/tmp/dumpinfo
fi

(tar --create --gzip --sparse --file=/home/backup/$HOSTNAME-`date +%u`.tgz \
   --listed-incremental=/var/tmp/dumpinfo \
    --exclude='/home/backup/*' \
    --exclude='/proc/*' \
    --exclude='/var/named/chroot/proc/*' \
    --exclude='/sys/*' \
    --exclude='/var/account/*' \
    --exclude='/var/run/*.pid' \
    --exclude='/var/cache/yum/*/headers/*' \
    --exclude='/var/cache/yum/*/packages/*' \
    --exclude='/var/log/*/*.gz' \
    --exclude='/var/log/*.gz' \
  / ) 2>&1 | \
  grep -v "socket ignored" | grep -v "Removing leading" | \
  grep -v "Cannot stat: No such file or directory" | \
  grep -v "file changed as we read it" | \
  grep -v "Error exit delayed from previous errors"

Запузыриваем такой скриптик в cron.daily, монтируем отдельный винт в /home/backup и наслаждаемся жизнью :)


"Размышления о планировании операции резервного копирования"
Отправлено mezantrop , 07-Апр-06 15:37 
Замечательно, а если надо 10Tb забэкапить? :))

"1E13 b"
Отправлено Andrey Mitrofanov , 07-Апр-06 16:22 
> а если надо 10Tb забэкапить? :))
А те, кому надо 10Тб забэкапить _работают_, а не наслаждаются жизнью. ;)
---Работайте, негры, работайте. Солнце ещё высоко.

"Размышления о планировании операции резервного копирования"
Отправлено smartcgi , 08-Апр-06 12:25 
>Замечательно, а если надо 10Tb забэкапить? :))


Угу
или например у меня 240 серваков :(
винты вставлять?

и парочка SAN-в....

невольно задумаешься о лентах


"Размышления о планировании операции резервного копирования"
Отправлено scamp , 09-Апр-06 11:53 
>Угу
>или например у меня 240 серваков :(
>винты вставлять?
>
>и парочка SAN-в....
>
>невольно задумаешься о лентах

для SAN-в нужно использовать snapshot и потом на
HP Ultium3 с библиотекой под него + HP Data Protector Manager поможет отцу русской демократии ;-) а все что тут пемералывают по бэкапу это не для размеров производства.


"для SAN-в нужно использовать snapshot "
Отправлено Квагга , 09-Апр-06 19:43 
Вы меня простите, но без ваших пояснений "для SAN-в нужно использовать snapshot" - кажется мне страшной дичью.

Не представляю себе snapshot'а устройства, о геометрии котрого у системы нет никаких предположений.

Все же bacula.


"для SAN-в нужно использовать snapshot "
Отправлено scamp , 02-Ноя-06 16:02 
>Вы меня простите, но без ваших пояснений "для SAN-в нужно использовать snapshot"
>- кажется мне страшной дичью.
>
>Не представляю себе snapshot'а устройства, о геометрии котрого у системы нет никаких
>предположений.
>
>Все же bacula.

Вы знакомы с работой LVM? Там есть такое понятие, как snapshot и самой ФС обсолютно монопенисуально на геометрию винтов или других устройств хранения. Ну так вот, в SAN есть такое же понятие - snapshot. Это на примере HP EVA 5000. Возможность создания таких снапшотов появляется после покупке соотвествующей лиценции. Но это все обсолютно реально! А про геметрию устройств... так это не тот уровень, это не аппаратная функция, а программная, соответственно если система на этом работает, то почему нельзя его сделать?!


"Размышления о планировании операции резервного копирования"
Отправлено RedAss , 07-Апр-06 23:09 
> (tar --create --gzip --sparse --file=/home/backup/$HOSTNAME-`date +%u`.tgz \

давно не видел такой глупости.
вы понимаете, что каждый день собираете в кучу одни и те же фалы, дублируя их сотни раз?
ну да, винты теперь большие, не жалко. скрипты мы умеем писать, крутые хацкеры теперя.
главная функция любых систем архивирования (даже у маздая) состоит в выявлении и архивации
файлов, которые ИЗМЕНИЛИСЬ, а не всё подряд до кучи, как сорока стёклышки.
аманда - старая и заслуженная система, она давно и успешно рулит.
но лучше всего придумали в bell labs для plan9: сбрасывать каждый день на диски (в
оригинале использована CD-R библиотека) даже не файлы, а ДИСКОВЫЕ БЛОКИ,КОТОРЫЕ ИЗМЕНИЛИСЬ
система при этом позволяет прозрачно для пользователя монтировать своё состояние на любую нужную юзеру дату.
   "...легкий доступ к файлам резервного копирования без лент, специальных команд или привлечения персонала поддержки. Трудно переоценить улучшение образа жизни, обеспечиваемое этим сервисом..." http://ask.km.ru/plan9/doc/9.html


"давно не видел такой глупости?"
Отправлено Квагга , 09-Апр-06 20:07 
Сколько у вас систем и как часто они модифицируются?

Если системы НЕ находится в разработке, то достаточно половинки тетрадного листка: "мой бокс фром скрэтч" всунутого в корпус.

Главное, чтобы листок не сгорел при землетрясении, после чего эту систему можно просто накатить с нуля по алгоритму: ставим ось, ставим AMP и т.д. ...

После чего заливаем полтора DVD данных. Операция бекапа здесь - принципиально излишня.
Функции поддержания целостности данных сиполняют багор и ящик с песком в конце коридора, поскольку система и требовани к ней есть заключены в "минимал инсталл", а данные - в бекофисах и могут быть вновь залиты на любую систему за часы или минуты.

А вот когда на системе работает полсотни чувствительных к простоям сервисов, находящихся в разработке - скрипты с "в кучу одни и те же фалы, дублируя их сотни раз" - то без чего жить нельзя. Прощелкал пару апострофов - и ищи-свищи. Или откатись из "в кучу одни и те же фалы, дублируя их сотни раз". А вот поверх всего этого - бакула.

Суешь нос в исходники - прежде чем открыть файл для изменений - "в кучу одни и те же фалы, дублируя их сотни раз" для своей директории.

Развертывать полсотни CVS'ов ? Дольше настраивать, чем писать само приложение, исходники которого будут сидеть в CVS'е.

#!/bin/sh
.....
OUTF="XXXXXXXXX_$(date +%Y)-$(date +%h)-$(date +%d)_$(date +%H)-$(date +%M).tgz"
tar -c -Z -f $TGTD$OUTF $SRCD
echo "мама, я живой!"

И утоптать сверху бакулкой. Все эти сотни микроснэпов.

Объемы же резервного копирования по любэ ВСЕГДА будут в СОТНИ и ТЫСЯЧИ раз превышать объемы сохряняемых данных. И до тех пор, пока вы этого не поняли - вы в страшной опасности, если ваши сервисы чувствителны к простоям. Теряйте хотя бы сотку ЛИЧНЫХ баксов в час и вы зацените концепт пяти девяток.


"Размышления о планировании операции резервного копирования"
Отправлено Аноним , 10-Апр-06 09:49 
>> (tar --create --gzip --sparse --file=/home/backup/$HOSTNAME-`date +%u`.tgz \
>
>давно не видел такой глупости.
>вы понимаете, что каждый день собираете в кучу одни и те же
>фалы, дублируя их сотни раз?

  Преклоняюсь перед гуру :) Однако рекомендую почитать сначала мануал tar-а на предмет ключа --listed-incremental :)


" --listed-incremental"
Отправлено Квагга , 10-Апр-06 10:54 
Сядешь писать - заглянешь в мануал тара.

Всем проще открыть в нескольких панелях несколько вариантов текстов из разных полных таров и полистать, что менялось за последние минуты или дни.

Ты еще поучи меня не исходники править, а прямо патчи непосредственно.


" --listed-incremental"
Отправлено Аноним , 10-Апр-06 14:44 
>Сядешь писать - заглянешь в мануал тара.
>
>Всем проще открыть в нескольких панелях несколько вариантов текстов из разных полных
>таров и полистать, что менялось за последние минуты или дни.
>
>Ты еще поучи меня не исходники править, а прямо патчи непосредственно.

  Ты вообще про что? Мой ответ не тебе адресован


"Размышления о планировании операции резервного копирования"
Отправлено Аноним , 08-Апр-06 22:33 
>давно не видел такой глупости.
Да нет. это не глупость. если раз в ... полный бэкап системы снимать (без баз данныхи и прочего - только системы).
А для повседневного сохранения (конфигов) на диск неплохо идет bonmia.

А для резервирования больших массивов есть волшебное слово - snapshot
А для ... .
п.с. в зависимости от задачи и условий решения могут быть разными.


"Что за 'волшебное слово'?"
Отправлено Квагга , 09-Апр-06 19:38 
Нельзя ли подробнее?

А то для финанализа есть волшебное слово "компьютер".

Я раскрыл тему? А вы?