The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Репликация файлов online"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [ Отслеживать ]

"Репликация файлов online"  
Сообщение от Heggi on 04-Дек-08, 12:49 
Имеем 2 географически разнесенных файлсервера, у каждого сервера 1.5Тб пространства под данные (RAID5)

Время работы серверов заранее не спрогнозировать (но большую часть времени работают одновременно)

На серверах поднята самба. Юзеры одновременно работают с двумя серваками (читают,пишут,изменяют файлы). Требуется online репликация файлов по дате изменения (т.е. в случае конфликтов оставляем однозначно более поздний файл) При этом нет гарантии доступности двух серверов одновременно. Например, сегодня первым вырубили сервер №1, а на втором серваке юзеры еще час файлы ковыряли, а на завтра первым врубили сервак №1 со старой инфой и юзеры опять ковыряют файлы. Главное, чтобы после старта 2-го сервера репликация прошла в обе стороны так, чтобы остались более поздние файлы. Ну и соответственно, если юзер файлик изменил, то он должен тут же скопироваться на второй сервер.

Собстно нужна система, которая выполняла бы все вышеперечисленные функции

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Репликация файлов online"  
Сообщение от unknown (??) on 04-Дек-08, 13:53 
Может быть стоит использовать решения для терминального доступа к файлам?
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Репликация файлов online"  
Сообщение от Heggi on 04-Дек-08, 22:46 
>Может быть стоит использовать решения для терминального доступа к файлам?

Подробнее? что ты имеешь ввиду?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Репликация файлов online"  
Сообщение от PavelR (??) on 04-Дек-08, 17:11 
>[оверквотинг удален]
>Требуется online репликация файлов по дате изменения (т.е. в случае конфликтов
>оставляем однозначно более поздний файл) При этом нет гарантии доступности двух
>серверов одновременно. Например, сегодня первым вырубили сервер №1, а на втором
>серваке юзеры еще час файлы ковыряли, а на завтра первым врубили
>сервак №1 со старой инфой и юзеры опять ковыряют файлы. Главное,
>чтобы после старта 2-го сервера репликация прошла в обе стороны так,
>чтобы остались более поздние файлы. Ну и соответственно, если юзер файлик
>изменил, то он должен тут же скопироваться на второй сервер.
>
>Собстно нужна система, которая выполняла бы все вышеперечисленные функции

А более подробно - что за файлы, в которых вы так готовы терять изменения ?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Репликация файлов online"  
Сообщение от Heggi on 04-Дек-08, 22:49 
>[оверквотинг удален]
>>серваке юзеры еще час файлы ковыряли, а на завтра первым врубили
>>сервак №1 со старой инфой и юзеры опять ковыряют файлы. Главное,
>>чтобы после старта 2-го сервера репликация прошла в обе стороны так,
>>чтобы остались более поздние файлы. Ну и соответственно, если юзер файлик
>>изменил, то он должен тут же скопироваться на второй сервер.
>>
>>Собстно нужна система, которая выполняла бы все вышеперечисленные функции
>
>А более подробно - что за файлы, в которых вы так готовы
>терять изменения ?

В основном документы, которые постоянно правят, перевыпускают и прочая, прочая... Конечно было бы неплохо держать и старые версии документов (на всякий пожарный, благо место позволяет), но это не обязательное условие.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Репликация файлов online"  
Сообщение от Grey (ok) on 04-Дек-08, 17:34 
Странно, вообще-то на серваках как раз по ночам (когда юзеры спят) вся основная работа и начинается ... :) раб.станции выключать можно а сервак выключать на ночь - однако :)
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Репликация файлов online"  
Сообщение от Heggi on 04-Дек-08, 22:46 
>Странно, вообще-то на серваках как раз по ночам (когда юзеры спят) вся
>основная работа и начинается ... :) раб.станции выключать можно а сервак
>выключать на ночь - однако :)

Учитывая, что предприятие режимное и на ночь все обесточивается... Сервера круглосуточно не могут работать по определению. Так что последний уходящий тушит сервер.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Репликация файлов online"  
Сообщение от GAD on 05-Дек-08, 17:30 
Может конечно не совсем репликация.
Может посмотреть в сторону Subversion (SVN)
Заодно получите версионный контроль файлов.

Если пользователи не со всеми документами одновременно работают то думаю не плохое решение при хороших каналах.
При плохом как вариант:
на обоих серваках Subversion(SVN) и система репликации между ними SVK

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Репликация файлов online"  
Сообщение от s_dog (??) on 05-Дек-08, 22:14 
csync?
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "Репликация файлов online"  
Сообщение от Heggi on 06-Дек-08, 00:41 
>csync?

Пробовал. не понравилось тем, что отсутствует мониторинг изменения файлов, т.е. измененный файл не перекидывается тут же на другой сервер, а если csync дергать по cron'у постоянно, то при большом количестве файлов это будут тормоза

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

13. "Репликация файлов online"  
Сообщение от User294 (??) on 06-Дек-08, 05:19 
>по cron'у постоянно, то при большом количестве файлов это будут тормоза

В линуксах можно попытаться вывернуться гоняя хоть тот же rsync сугубо на основе мониторинга изменений ФС по inotify. В принципе - наверное работоспособно, хотя я сам так не делал - просто то что в голову пришло.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

20. "Репликация файлов online"  
Сообщение от Heggi on 08-Дек-08, 07:35 
>>по cron'у постоянно, то при большом количестве файлов это будут тормоза
>
>В линуксах можно попытаться вывернуться гоняя хоть тот же rsync сугубо на
>основе мониторинга изменений ФС по inotify. В принципе - наверное работоспособно,
>хотя я сам так не делал - просто то что в
>голову пришло.

Была такая мысль, но inotify мониторит только одну директорию не рекурсивно :(
inotify-tools решает эту проблему (обходит все дерево каталогов и создает inotify-watch на каждую дирректорию), но лишь частично: если создать новую директорию - она не мониторится :(

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

16. "Репликация файлов online"  
Сообщение от s_dog (??) on 06-Дек-08, 16:12 
>>csync?
>
>Пробовал. не понравилось тем, что отсутствует мониторинг изменения файлов, т.е. измененный файл
>не перекидывается тут же на другой сервер, а если csync дергать
>по cron'у постоянно, то при большом количестве файлов это будут тормоза
>

пробовал csync или csync2 http://oss.linbit.com/csync2/ ?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

17. "Репликация файлов online"  
Сообщение от Heggi on 06-Дек-08, 18:47 
>>>csync?
>>
>>Пробовал. не понравилось тем, что отсутствует мониторинг изменения файлов, т.е. измененный файл
>>не перекидывается тут же на другой сервер, а если csync дергать
>>по cron'у постоянно, то при большом количестве файлов это будут тормоза
>>
>
>пробовал csync или csync2 http://oss.linbit.com/csync2/ ?

csync2

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

18. "Репликация файлов online"  
Сообщение от s_dog (??) on 06-Дек-08, 20:18 
>>>>csync?
>>>
>>>Пробовал. не понравилось тем, что отсутствует мониторинг изменения файлов, т.е. измененный файл
>>>не перекидывается тут же на другой сервер, а если csync дергать
>>>по cron'у постоянно, то при большом количестве файлов это будут тормоза
>>>
>>
>>пробовал csync или csync2 http://oss.linbit.com/csync2/ ?
>
>csync2

сдаётся, мне что на какую-нить distributed fs надо смотреть.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

19. "Репликация файлов online"  
Сообщение от s_dog (??) on 07-Дек-08, 10:30 
http://www.opennet.me/opennews/art.shtml?num=19263

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

21. "Репликация файлов online"  
Сообщение от Heggi on 08-Дек-08, 07:38 
>http://www.opennet.me/opennews/art.shtml?num=19263

Это все гуишные приложения... и хоть Unison и может работать в консоли, это все-таки End-user приложение, а никак не серверное, не требующее постоянного контроля со стороны администратора...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

22. "Репликация файлов online"  
Сообщение от s_dog (??) on 08-Дек-08, 11:54 
>>http://www.opennet.me/opennews/art.shtml?num=19263
>
>Это все гуишные приложения... и хоть Unison и может работать в консоли,
>это все-таки End-user приложение, а никак не серверное, не требующее постоянного
>контроля со стороны администратора...

http://www.linuxawy.org/node/13
http://inotify-tools.sourceforge.net/

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

24. "Репликация файлов online"  
Сообщение от Heggi on 09-Дек-08, 00:22 
>>>http://www.opennet.me/opennews/art.shtml?num=19263
>>
>>Это все гуишные приложения... и хоть Unison и может работать в консоли,
>>это все-таки End-user приложение, а никак не серверное, не требующее постоянного
>>контроля со стороны администратора...
>
>http://www.linuxawy.org/node/13
>http://inotify-tools.sourceforge.net/

Inotify-tools - хорошая штука, особенно после доработки напильником -))
Похоже проще будет свое написать -)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

25. "Репликация файлов online"  
Сообщение от s_dog (??) on 09-Дек-08, 00:32 
>Похоже проще будет свое написать -)

как это, специфические требования

отпишитесь, может как и что получилось - интересно

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "Репликация файлов online"  
Сообщение от Square (ok) on 06-Дек-08, 01:01 
>Требуется online репликация файлов по дате изменения (т.е. в случае конфликтов
>оставляем однозначно более поздний файл) При этом нет гарантии доступности двух
>серверов одновременно. Например, сегодня первым вырубили сервер №1, а на втором
>серваке юзеры еще час файлы ковыряли, а на завтра первым врубили
>сервак №1 со старой инфой и юзеры опять ковыряют файлы. Главное,
>чтобы после старта 2-го сервера репликация прошла в обе стороны так,
>чтобы остались более поздние файлы. Ну и соответственно, если юзер файлик
>изменил, то он должен тут же скопироваться на второй сервер.
>
>Собстно нужна система, которая выполняла бы все вышеперечисленные функции

однострочник на перле рекурсивно обходящий каталоги?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "Репликация файлов online"  
Сообщение от User294 (??) on 06-Дек-08, 05:14 
>однострочник на перле рекурсивно обходящий каталоги?

А дальше?Если юзер отредактировал 20Мб файл - пропихивать 20Мб?Как бы rsync в этом случае бойко покажет большую фигу однострочнику, да и рекурсивно проходить по каталогам он умеет :)

На самом деле я вижу тут только 1 стоящую внимания проблему: что делать если 1 и тот же файл с обоих сторон отредактируют до синхронизации.Это "коллизия редактирования" и однострочником на перле опять же не отделаетесь(а что он будет делать при этом?).

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

14. "Репликация файлов online"  
Сообщение от Square (ok) on 06-Дек-08, 08:57 
>>однострочник на перле рекурсивно обходящий каталоги?
>
>А дальше?Если юзер отредактировал 20Мб файл - пропихивать 20Мб?Как бы rsync в
>этом случае бойко покажет большую фигу однострочнику, да и рекурсивно проходить
>по каталогам он умеет :)
>
>На самом деле я вижу тут только 1 стоящую внимания проблему: что
>делать если 1 и тот же файл с обоих сторон отредактируют
>до синхронизации.Это "коллизия редактирования" и однострочником на перле опять же не
>отделаетесь(а что он будет делать при этом?).

вообще это наверное следует решать административными способами -  построить работу с файлами таким образом, чтобы изменения в документ вносились только локальными для этого сервера юзерами...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "Репликация файлов online"  
Сообщение от User294 (??) on 06-Дек-08, 05:11 
> так, чтобы остались более поздние файлы.

А что делать если юзеры на одном сервере поколупали файл пока второй сервер не работал а потом 1-й сервер затушили, так что репликация не произошла зато на 2-м сервака юзеры поколупали тот же файл но с иными изменениями.Что делать при включении 1-го сервака?Чьи изменения прибить - юзеров сервака 1 или юзеров сервака 2?

А так можно нечто типа периодически пинаемого кроном раз в несколько минут rsync поюзать (быстрая синхронизация содержимого каталога с посылкой по сети только отличий) но что делать с "коллизиями редактирования" - лично я не знаю.Для совсем уж крутых и только в линуксе - можно попытаться к inotify прикрутить чтобы rsync дергался только по факту изменения файлов в каталоге.

P.S. это всего лишь идеи а не готовое решение и вообще оно может быть далеко не лучшим.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

15. "Репликация файлов online"  
Сообщение от Heggi on 06-Дек-08, 12:23 
>> так, чтобы остались более поздние файлы.
>Чьи изменения прибить
>- юзеров сервака 1 или юзеров сервака 2?
>

Можно одну версию файла (более старую по дате) переименовать, так, чтобы работа человека не пропала, но приоритет однозначно на стороне более позднего файла (по дате)

>А так можно нечто типа периодически пинаемого кроном раз в несколько минут
>rsync поюзать (быстрая синхронизация содержимого каталога с посылкой по сети только
>отличий) но что делать с "коллизиями редактирования" - лично я не
>знаю.

Как быстро rsync пройдет по куче вложенных директорий с миллионом файлов?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

23. "Репликация файлов online"  
Сообщение от McLeod095 (??) on 08-Дек-08, 12:31 
>[оверквотинг удален]
>Требуется online репликация файлов по дате изменения (т.е. в случае конфликтов
>оставляем однозначно более поздний файл) При этом нет гарантии доступности двух
>серверов одновременно. Например, сегодня первым вырубили сервер №1, а на втором
>серваке юзеры еще час файлы ковыряли, а на завтра первым врубили
>сервак №1 со старой инфой и юзеры опять ковыряют файлы. Главное,
>чтобы после старта 2-го сервера репликация прошла в обе стороны так,
>чтобы остались более поздние файлы. Ну и соответственно, если юзер файлик
>изменил, то он должен тут же скопироваться на второй сервер.
>
>Собстно нужна система, которая выполняла бы все вышеперечисленные функции

Может конечно не в тему, но все же. попробовать использовать пакет drbd вместе с heartbeat. Тем более как новая версия вообще поддерживает актив- актив. Тогда и вопрос резервирования и доступности решится сам собой. Только вот трафик, хотя раньше когда поднимал довольно быстро все реплицировалось.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру