привет!Хотелось узнать мнение по решению следующей задачи.
На данный момент есть 3 сервера, воткнутых в 24-х портовый гигабитный коммутатор.
Сервер1 - источник данных (на нём создаются файлы размером до 1 Гб)
Сервер2 и 3 - зеркала для сервера1.
Есть ПО, которое лезет на сервера 2 и 3 и скачивает эти файлы.
Сейчас синхронизация файлов выполняется просто запуском rsync на сервере1, которое обновляет каталоги на серверах 2 и 3.
В дальнейшем планируется увеличить количество серверов-зеркал до 20 (производительность коммутатора можно не учитывать. Если её не будет хватать, то будет замена на более производительный).
Какие есть подходящие замены для rsync? Есть ли что-то более удобное для синхронизации больших объёмов на множество серверов?
для разливания на много серверов одновременно можно подумать о мультикасте.
> для разливания на много серверов одновременно можно подумать о мультикасте.не понял вашу мысль.
сейчас rsync и так одновременно разливает на все сервера. просто запускается столько rsync - сколько серверов.
rsync запускает столько потоков, сколько серверов, трафик тоже умножаем на количество серверов.
мультикаст будет вещать в один поток независимо от количества получателей. И трафик будет соответствующий.Вот только непонятно, зачем вам больше 2-3 копий инфы.
> Вот только непонятно, зачем вам больше 2-3 копий инфы.Вероятно для распределния нагрузки.
> Какие есть подходящие замены для rsync? Есть ли что-то более удобное для
> синхронизации больших объёмов на множество серверов?Можно попробовать что-нибудь вроде clsync+uftp. Буду рад помочь с отладкой.
>> Какие есть подходящие замены для rsync? Есть ли что-то более удобное для
>> синхронизации больших объёмов на множество серверов?
> Можно попробовать что-нибудь вроде clsync+uftp. Буду рад помочь с отладкой.
> Вероятно для распределния нагрузки.Да, совершенно верно - всё это для распределения нагрузки.
Я правильно понял, что совет про :
> для разливания на много серверов одновременно можно подумать о мультикасте.это и есть использование что-то вроде clsync, uftp ?
я почитал про эти утилиты (спасибо за наводку, раньше про них не слышал).
Сразу вопрос - почему вы написали их как связку clsync+uftp, хотя (как я понял) они обе выполняют одну и ту же функцию передачи данных через мультикаст. Я не прав?
>[оверквотинг удален]
>> Вероятно для распределния нагрузки.
> Да, совершенно верно - всё это для распределения нагрузки.
> Я правильно понял, что совет про :
>> для разливания на много серверов одновременно можно подумать о мультикасте.
> это и есть использование что-то вроде clsync, uftp ?
> я почитал про эти утилиты (спасибо за наводку, раньше про них не
> слышал).
> Сразу вопрос - почему вы написали их как связку clsync+uftp, хотя (как
> я понял) они обе выполняют одну и ту же функцию передачи
> данных через мультикаст. Я не прав?А может идеологически пересмотреть проблему???
http://habrahabr.ru/company/performix/blog/218065/
Чем не вариант??
>[оверквотинг удален]
>>> для разливания на много серверов одновременно можно подумать о мультикасте.
>> это и есть использование что-то вроде clsync, uftp ?
>> я почитал про эти утилиты (спасибо за наводку, раньше про них не
>> слышал).
>> Сразу вопрос - почему вы написали их как связку clsync+uftp, хотя (как
>> я понял) они обе выполняют одну и ту же функцию передачи
>> данных через мультикаст. Я не прав?
> А может идеологически пересмотреть проблему???
> http://habrahabr.ru/company/performix/blog/218065/
> Чем не вариант??не вариант, потому что это надо изучать, тестировать и готовить к внедрению. Ceph - это несколько сложнее обычного rsync и всяко-разных uftp
>[оверквотинг удален]
>>> я почитал про эти утилиты (спасибо за наводку, раньше про них не
>>> слышал).
>>> Сразу вопрос - почему вы написали их как связку clsync+uftp, хотя (как
>>> я понял) они обе выполняют одну и ту же функцию передачи
>>> данных через мультикаст. Я не прав?
>> А можът идеологически пересмотреть проблему???
>> http://habrahabr.ru/company/performix/blog/218065/
>> Чем не вариант??
> не вариант, потому что это надо изучать, тестировать и готовить к внедрению.
> Ceph - это несколько сложнее обычного rsync и всяко-разных uftpУправлять автомобилем всяко сложнее, чем ходить пешком, но почему-то на улицах машин довольно много...
Но это так, лирика ;)При "разливке" в мультикаст у вас встает горка проблем следующего характера:
1. Вам неведомо количество узлов, которые на данный момент слушают мультикаст.
2. Вам неизвестно, все ли узлы корректно приняли ВЕСЬ поток, (tcp если мне память не изменяет по мультикасту не работает).
3. Как следствие первых 2-х - вам необходимо изучать, тестировать и готовить к внедрению механизмы контроля целостности данных и актуальности копий на разных серверах....
Очень может быть что весь этот набор вопросов частично или полностью решен в упомянутых утилитах,но всетаки попробуйте рассмотреть проблему под разными углами. Как еще один вариант
https://www.opennet.me/opennews/art.shtml?num=42093