URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 91838
[ Назад ]

Исходное сообщение
"rsync на почтовике"

Отправлено Нубос , 27-Июн-11 16:30 
Подскажите, можно ли на работающем почтовике (POP3) поднят rsync демон для синхронизации с бекапом?
Кто реализовывал такое? Останавливать службу доставки писем крайне нежелательно, а я так понимаю, что изначально нужно хотя бы  на бекап создать дерево. Как быть?

Содержание

Сообщения в этом обсуждении
"rsync на почтовике"
Отправлено PavelR , 27-Июн-11 17:23 
> Подскажите, можно ли на работающем почтовике (POP3) поднят rsync демон для синхронизации
> с бекапом?

Какая любопытная формулировочка.


> Кто реализовывал такое? Останавливать службу доставки писем крайне нежелательно, а я так
> понимаю, что изначально нужно хотя бы  на бекап создать дерево.

Построить дом, создать дерево ...

> Как быть?

Подумать, "как же это работает", и "что будет, если"....



"rsync на почтовике"
Отправлено Нубос , 27-Июн-11 17:31 
>> Подскажите, можно ли на работающем почтовике (POP3) поднят rsync демон для синхронизации
>> с бекапом?

а что нибудь поумнее? или только ерунду писать можешь?)


"rsync на почтовике"
Отправлено PavelR , 27-Июн-11 17:56 
>>> Подскажите, можно ли на работающем почтовике (POP3) поднят rsync демон для синхронизации
>>> с бекапом?
> а что нибудь поумнее? или только ерунду писать можешь?)

Только ерунду, что подтверждается  http://www.opennet.me/~PavelR и еще парой статей :-)))


Попробуйте поставить вопрос поумнее, например написать название софта почтовика, написать, чего хотите добиться...


"rsync на почтовике"
Отправлено Нубос , 28-Июн-11 09:22 
>>>> Подскажите, можно ли на работающем почтовике (POP3) поднят rsync демон для синхронизации
>>>> с бекапом?
>> а что нибудь поумнее? или только ерунду писать можешь?)
> Только ерунду, что подтверждается  http://www.opennet.me/~PavelR и еще парой статей :-)))
> Попробуйте поставить вопрос поумнее, например написать название софта почтовика, написать,
> чего хотите добиться...

Круто... Целую статью написал. Наверное известный писатель. Только не узнаю вас в гриме.


"rsync на почтовике"
Отправлено Нубос , 28-Июн-11 09:28 
>>>> Подскажите, можно ли на работающем почтовике (POP3) поднят rsync демон для синхронизации
>>>> с бекапом?
>> а что нибудь поумнее? или только ерунду писать можешь?)
> Только ерунду, что подтверждается  http://www.opennet.me/~PavelR и еще парой статей :-)))

Статью могу и сам скинуть - у меня их штук 20, поверь.

> Попробуйте поставить вопрос поумнее, например написать название софта почтовика, написать,
> чего хотите добиться...

Не обижайся, но достало когда вместо совета пишут заведомо херню. Зачем тебе софт почтовика? от этого не прибавиться - не убавиться.  Знаю, что для целей синхры можно поднять DRDB, но это повлечет глобальные изменения софта на серваке, а так как он работающий и без горячей замены, то .... Смысл в том, чтобы иметь бекап при интенсивном обновлении файлов. Можно, конечно один раз проходиться rsync в сутки, но тогда бекап будет неточным и неполным.


"rsync на почтовике"
Отправлено PavelR , 28-Июн-11 09:46 
>>>>> Подскажите, можно ли на работающем почтовике (POP3) поднят rsync демон для синхронизации
>>>>> с бекапом?
>>> а что нибудь поумнее? или только ерунду писать можешь?)
>> Только ерунду, что подтверждается  http://www.opennet.me/~PavelR и еще парой статей :-)))
> Статью могу и сам скинуть - у меня их штук 20, поверь.
>> Попробуйте поставить вопрос поумнее, например написать название софта почтовика, написать,
>> чего хотите добиться...
> Не обижайся, но достало когда вместо совета пишут заведомо херню. Зачем тебе
> софт почтовика? от этого не прибавиться - не убавиться.

умный, а чего строем ...

http://www-uxsup.csx.cam.ac.uk/~dpc22/cyrus/replication.html ?

> Знаю,  что для целей синхры можно поднять DRDB, но это повлечет глобальные
> изменения софта на серваке, а так как он работающий и без
> горячей замены, то ....

"Лучше его не трогать" :-)

> Смысл в том, чтобы иметь бекап при
> интенсивном обновлении файлов. Можно, конечно один раз проходиться rsync в сутки,
> но тогда бекап будет неточным и неполным.

Попробуйте поразвивать телепатические возможности ("на передачу"), чтобы читающие ваши топики могли проще "угадывать" ваши реальные потребности.

Злой, на мой взгляд, софт, DBMail + MySQL + злая, на мой взгляд, фича MySQL Replication.
Будет реалтайм. (но это дастся большой кровью).

Rsync можно использовать совместно с snapshot. Реалтайма, естественно, не будет.
Если там сильный Write в IO, то я хз, для надежности надо делать FS freeze...

Также возможно что-то можно сделать с использованием FAM.

Для начала рекомендую определиться, надо реалтайм или "раз в сутки" будет достаточно.


"rsync на почтовике"
Отправлено Нубос , 28-Июн-11 10:35 
>[оверквотинг удален]
> Попробуйте поразвивать телепатические возможности ("на передачу"), чтобы читающие ваши
> топики могли проще "угадывать" ваши реальные потребности.
> Злой, на мой взгляд, софт, DBMail + MySQL + злая, на мой
> взгляд, фича MySQL Replication.
> Будет реалтайм. (но это дастся большой кровью).
> Rsync можно использовать совместно с snapshot. Реалтайма, естественно, не будет.
> Если там сильный Write в IO, то я хз, для надежности надо
> делать FS freeze...
> Также возможно что-то можно сделать с использованием FAM.
> Для начала рекомендую определиться, надо реалтайм или "раз в сутки" будет достаточно.

Про мускул была идея, но она отпала. Скорее перейду на rsync - сейчас для теста оценю время для копирования  по сети и по отслеживанию изменений. Если найду что-нибудь интересное - отпишусь - может кому-нибудь понадобится. А вообще для систем резервирования существует сетевые корзины и HA кластеры. К сожалению, на текущий момент возможностей ни для того ни для другого нет (для хорошего Network storage 13к стоимость только корзины :( )



"rsync на почтовике"
Отправлено Дядя_Федор , 29-Июн-11 08:33 
Ну раз пошел вопрос о конкретной реализации, то попутно с rsync посмотрите в сторону imapsync и duplicity. Сайт первой утилиты -  http://www.linux-france.org/prj/ (там же есть и довольно занятная утилита pop2imap), второй - http://www.nongnu.org/duplicity/ От себя замечу, что при "синхронизации" (реплицировании) почтовых ящиков IMAP иногда возникает вопрос синхронизации индексных файлов давкота (как одного из вариантов реализации).


"rsync на почтовике"
Отправлено Дядя_Федор , 29-Июн-11 08:41 
Ну и тут "нагажу" по мотивам личного опыта. В свое время поднимал кластер из 2-х серверов. Только не для синхронизации почтовых ящиков, а для биллинга под названием UTM. Построил связку DRBD+Hearbeat. Синхронизация делалась через гиговые сетевухи прямого линка сервер-сервер. Работало довольно неплохо (хотя раза 3-4 были неутыки - вовремя решаемые) года, эдак, 3 - до тех пор, пока не перешли на другой биллинг. Конечно, на работающем сервере это поднять довольно проблематично (если не сказать, что невозможно), но решение довольно интересное и вполне себе работоспособное. Возможно, стоит попробовать поднять в стороне. При наличии технической возможности, разумеется. На сайте www.netup.ru была довольно неплохая статья на эту тему - применительно к Gentoo, правда, но это некритично, думаю. ;)

"rsync на почтовике"
Отправлено ford1813 , 27-Июн-11 18:26 
>>> Подскажите, можно ли на работающем почтовике (POP3) поднят rsync демон для синхронизации
>>> с бекапом?
> а что нибудь поумнее? или только ерунду писать можешь?)

Ответ. Можно. Устраивает?


"rsync на почтовике"
Отправлено Дядя_Федор , 27-Июн-11 23:51 
> а что нибудь поумнее? или только ерунду писать можешь?)

"А еще я в нее ем и пью".



"rsync на почтовике"
Отправлено Нубос , 28-Июн-11 09:23 
>> а что нибудь поумнее? или только ерунду писать можешь?)
>  "А еще я в нее ем и пью".

Ага. А у тебя еще чтобы удары держать...


"rsync на почтовике"
Отправлено Дядя_Федор , 28-Июн-11 13:51 
> Ага. А у тебя еще чтобы удары держать...

У меня-то как раз все в порядке с этим. В отличие от...



"rsync на почтовике"
Отправлено Аноним , 29-Июн-11 11:52 
> а что нибудь поумнее? или только ерунду писать можешь?)

"Правильно заданный вопрос содержит в себе половину ответа". Никто не будет вам разжевывать и в ротик класть "администрирование с нуля для чайников".

Ваш вопрос в духе: как мне проехать из Москвы в Питер?! А то я тут сел в авто. Кручу руль. А оно не едет, зараза. Что я делаю не так? Да, если вы спрашиваете как проехать из москвы в питер - никто не будет вас заодно еще и обучать вождению...


"rsync на почтовике"
Отправлено Andrey Mitrofanov , 28-Июн-11 15:35 
> Подскажите, можно ли на работающем почтовике (POP3) поднят rsync демон для синхронизации
> с бекапом?

Скорее всего, нет. Если rsync "унесёт" в бэкап находящийся в процессе изменения ящик, думаю, при восстановлении могут "вылезти" всякие неприятные эфекты. Типа "вот у меня тут rsync бэкап c pop3 сервера месяц работал зашибись как, а тут вдруг-внезапно все письма в п.я. гендира куда-то делись, у главбуха спам не удаляется, а у менежоров аутлюки почему-то падают".


"rsync на почтовике"
Отправлено YuSt , 28-Июн-11 16:06 
>> Подскажите, можно ли на работающем почтовике (POP3) поднят rsync демон для синхронизации
>> с бекапом?
> Скорее всего, нет. Если rsync "унесёт" в бэкап находящийся в процессе изменения
> ящик, думаю, при восстановлении могут "вылезти" всякие неприятные эфекты. Типа "вот
> у меня тут rsync бэкап c pop3 сервера месяц работал зашибись
> как, а тут вдруг-внезапно все письма в п.я. гендира куда-то делись,
> у главбуха спам не удаляется, а у менежоров аутлюки почему-то падают".

Хм... Два года _так_ работает - и "абы что" ;) Правда rsync делается не раз в день, а каждые 15 минут ;)
На самом деле вероятность описанного события конечно есть, только она настолько мала - что я бы сравнивал ее с вероятностью отказа сразу двух серверов - основного и резервного - вот стояли у меня два сервера - и вдруг навернулись - в одну и ту-же минуту - и что мне делать ? :)


"rsync на почтовике"
Отправлено Andrey Mitrofanov , 29-Июн-11 10:26 
>> у главбуха спам не удаляется, а у менежоров аутлюки почему-то падают".
> Хм... Два года _так_ работает - и "абы что" ;) Правда rsync
> делается не раз в день, а каждые 15 минут ;)

Ну, ладно. Страшная сказка про Чёрную Руку Постмастера не удалась. Сам дурак.

И если подумать [ещё чуть-чуть], то копирование maildir-ов (не двоичных кешей/индексов конкретного сервера) должно быть вполне прозрачно.


"rsync на почтовике"
Отправлено Дядя_Федор , 29-Июн-11 12:33 
> И если подумать [ещё чуть-чуть], то копирование maildir-ов (не двоичных кешей/индексов
> конкретного сервера) должно быть вполне прозрачно.

Вот с индексами-то как раз и возникают проблемы. Не особо критичные и устранимые, но возникают. Вроде как ключ --fuzzy (вроде так) rsync помогает



"rsync на почтовике"
Отправлено YuSt , 28-Июн-11 16:00 
> Подскажите, можно ли на работающем почтовике (POP3) поднят rsync демон для синхронизации
> с бекапом?
> Кто реализовывал такое? Останавливать службу доставки писем крайне нежелательно, а я так
> понимаю, что изначально нужно хотя бы  на бекап создать дерево.
> Как быть?

На самом деле не видя цифр нагрузок - тяжело ответить однозначно...
Корпоративный сервер на сотню-вторую ящиков - вполне в состоянии обойтись скриптом в кроне, запускающим синхронизацию через rsync раз в 10-20 минут (при этом ничего останавливать не нужно)...
Решение на базе DBMail и некой БД с репликацией - ИМХО злой вариант, учитывая кривость DBMail...
Если же стоит вопрос в том, что резервная копия должна совпадать с оригиналом "секунда в секунду" - смотрите на вариации построение сетевых зеркал. Игрался в свое время с подобным на FreeBSD - получается достаточно красиво - основное требование - нормальные!, а не по 10-20 у.е. сетевухи на серверах (смотрящие друг в друга - 1Гб "съедается со свистом") и разумный размер подобного зеркала - т.е. можно своротить зеркало и в 10ГБ, вот только о времени его синхронизации лучше не спрашивать ;)


"rsync на почтовике"
Отправлено Нубос , 29-Июн-11 17:05 
>[оверквотинг удален]
> Решение на базе DBMail и некой БД с репликацией - ИМХО злой
> вариант, учитывая кривость DBMail...
> Если же стоит вопрос в том, что резервная копия должна совпадать с
> оригиналом "секунда в секунду" - смотрите на вариации построение сетевых зеркал.
> Игрался в свое время с подобным на FreeBSD - получается достаточно
> красиво - основное требование - нормальные!, а не по 10-20 у.е.
> сетевухи на серверах (смотрящие друг в друга - 1Гб "съедается со
> свистом") и разумный размер подобного зеркала - т.е. можно своротить зеркало
> и в 10ГБ, вот только о времени его синхронизации лучше не
> спрашивать ;)

Попробую. На данный момент примерно 50 Гбайт суммарный размер пя. Не знаю много или нет. Запланировал на выходные тестовое копирование. Копирование rsync файлов общим размером в 7 Гбайт заняло примерно 1 час. При этом скорость была в 50Мбит/с.  Скорее всего такое большое время копирования обсуловлено тех показателями самого сервака - V ОП, степенью загрузки, raid-массивом и прочее прочее.


"rsync на почтовике"
Отправлено Дядя_Федор , 29-Июн-11 23:46 
А Вы логику работы rsync (с соответствующими ключами, разумеется) понимаете? :)


"rsync на почтовике"
Отправлено Нубос , 30-Июн-11 09:29 
> А Вы логику работы rsync (с соответствующими ключами, разумеется) понимаете? :)

:) вкратце пересказать или как))  вот для ознакомления хорошая статья - http://citforum.ru/nets/articles/rsync/


"rsync на почтовике"
Отправлено Дядя_Федор , 02-Июл-11 20:12 
> :) вкратце пересказать или как))  вот для ознакомления хорошая статья -
> http://citforum.ru/nets/articles/rsync/

Вы не поняли (хотя, допускаю, что и я не понял). Rsync ведь много данных льет только в момент начальной синхронизации. При дальнейшей работе он заливает (и удаляет в случае необходимости) только измененные данные. Я к тому, что в дальнейшем объем передаваемых данных будет существенно меньше.


"rsync на почтовике"
Отправлено a2l , 30-Июн-11 09:53 
> Подскажите, можно ли на работающем почтовике (POP3) поднят rsync демон для синхронизации
> с бекапом?
> Кто реализовывал такое? Останавливать службу доставки писем крайне нежелательно, а я так
> понимаю, что изначально нужно хотя бы  на бекап создать дерево.
> Как быть?

А что ты подразумеваешь под бэкапом?
Может быть средствами почтовика лить копию переписки на бэкапный сервер?