Имеется сервер 1, на нем поднят дисковый программный райд на 8Тб, на этот сервер несколько служб ссыпают файлы отчетов по NFS протоколу. Постоянно. И хранить их нужно тоже постоянно (по крайней мере в обозримом будущем).Структура для системы хранения такая: в каталоге 256 подкаталогов, в кажом еще по 256 подкаталогов, в них лежат файлы. Таких структур у меня 5. Общее количество файлов в каждой структуре в районе миллиона и прибавляется по 150000 каждый месяц.
Теперь момент номер два. Эти файлы только создаются, потом читаются. Т.е. они не могут быть изменены. Файл создается, потом иногда требуется.
Я решил организовать такую схему: поднимается второй сервер с таким же объемом места. На него периодами (я думал делать раз в час) делается rsync всего хозяйства с первого сервера. В случает отказа или обслуживания первого сервера, все переключается на второй сервер и работает с ним. Сервера соединены между собой гигабитным линком. Потеря данных в течении часа не критична.
Первоначальная синхронизация заняла трое суток.
И дальнейшая синхронизация длится около суток. МНе надо как - то ускорит это процесс. А вот как - я не знаю. Т.е. реально у меня файлы только добавляются. Но, ПО котороый работает с хранилищами не может писать сразу в 2 места.
Сразу скажу, пробовал связку drbd+OCFS2, но, по неизвестной мне причине происходили постоянные рассинхронизации.
Ищу решение, как можно не в реальном (не обязательно а реальном) времение, но достаточно быстро иметь максимально синхронные копии большого количестсва мелких файлов с системой каталогов которую я описал выше с одного сервера на другой.
Как вообще специалисты решают такие задачи?