 Поиск возможных решений по хранению данных,  Проходил мимо, 11-Фев-19, 09:49 [смотреть все]Здравствуйте.Подскажите пожалуйста, существуют ли какие-либо решения для организации вытесняющего хранения больших объемов данных, т.е. хранения, при котором старые и/или мало используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно дешевые средства хранения данных (в частности на ленточный накопитель)? В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то времени не использования файл с быстрого хранилища автоматически перемещается на ленточку или в иное медленное но дешевое хранилище, при этом где-то должна оставаться информация о том, что этот файл переместился и где его теперь искать. При попытке же обратится к перемещенному файлу он должен прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя каким-то иным способом. Заранее спасибо.
|
- Поиск возможных решений по хранению данных, anonymous, 04:08 , 12-Фев-19 (1)
>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.cron, find, mv, ln. Ключи по вкусу.
- Поиск возможных решений по хранению данных, ыы, 12:52 , 12-Фев-19 (2) +1
>[оверквотинг удален]
>> дешевые средства хранения данных (в частности на ленточный накопитель)?
>> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
>> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
>> или в иное медленное но дешевое хранилище, при этом где-то должна
>> оставаться информация о том, что этот файл переместился и где его
>> теперь искать. При попытке же обратится к перемещенному файлу он должен
>> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
>> каким-то иным способом.
>> Заранее спасибо.
> cron, find, mv, ln. Ключи по вкусу.очень интеесно. а как вы делаете линки на содержимое гдето внутри ленточки?
- Поиск возможных решений по хранению данных, DeerFriend, 13:53 , 12-Фев-19 (3) +1
Вы цены на ленточные библиотеки когда последний раз видели? Кто вам сказал, что они дешевые?Возможно поможет, у ceph/gluster есть tiering. Можно настроить для часто используемых файлов ssd, для остальных hdd. Можно даже разбить hdd на быстрые 10/15к, и медленные 7200/5400 оборотов.
- Поиск возможных решений по хранению данных, fantom, 10:57 , 15-Фев-19 (4)
>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.В LVM cache можно сделать и к разделу "прицепить"
- Поиск возможных решений по хранению данных, Брат Анон, 09:32 , 19-Ноя-20 (5)
> Здравствуйте.
> Подскажите пожалуйста, существуют ли какие-либо решения для организации вытесняющего
> хранения больших объемов данных, т.е. хранения, при котором старые и/или мало
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> ....
> Заранее спасибо.https://blog.sedicomm.com/2018/07/22/14-utilit-rezervnogo-ko.../
Укажите сетевой раздел с количеством хранимых бекапов. не благодарите. (с) Гугель.
- Поиск возможных решений по хранению данных, Мимо проходил, 02:09 , 11-Дек-20 (6)
>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.Легко - GPFS+LTFS EE (оно же, по современному, Spectrum Scale + Spectrum Archive)
- Поиск возможных решений по хранению данных, Аноним, 15:31 , 11-Дек-20 (7)
По идее любая СХД умеет что-то подобное. Вот с перемещением на ленту и прозрачным возвратом с нее - не знаю. Изучите коммерческие варианты. На коленке такое быстро не сделать.У вас тут много вещей пропущено. Сколько данных, какие данные (файлы? наборы файлов? какого размера и тп), какая допустима латентность при возврате файла из "медленного" хранилища. Все это в основном про экономику и должно быть определено до выбора решения.
|
Версия для распечатки
