forum.opennet.ru - "Резервное копирование пользовательских данных" (6)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Резервное копирование пользовательских данных"

Форум Открытые системы на сервере (Резервное копирование / Linux)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Резервное копирование пользовательских данных"	+/–
Сообщение от ptr (??) on 15-Май-11, 14:01
Вступление: Есть сервер на Samba. Резервное копирование выполняется на нем перекрестно между дисками. Система и общие ресурсы бэкапятся star и это всех устраивает. А вот пользовательские директории сейчас бэкапятся скриптом на Perl + Zip. Пользователи имеют доступ на чтение к своим бэкапам и, в случае надобности, не дергая админа, сами вытаскивают оттуда невинно удаленные или ошибочно изменненые файлы. Каждый день делается инкрементальный бэкап, а раз в месяц - полный. Все хранится 40 дней, так что, как минимум, один полный бэкап всегда доступен. Проблема: К сожалению, Zip поддерживает архивы размером не более 2Gb. Сейчас уже есть архивы приближающиеся к этой отметке. Использовать tar/star+BZip2 не хочется, так как в режиме вытаскивания одиночных файлов он очень не эффективен. RAR - коммерческий, оставляю его на самый крайний случай. p7zip - не имеет интерфейса к perl, так что только через shell, что тоже смущает. Вопрос: Как сделать резервное копирование пользовательских данных так, чтобы пользователи могли их сами по файлам восстанавливать и чтобы данные хранились на сервере в сжатом виде?
Ответить \| Правка \| Cообщить модератору

Оглавление

Резервное копирование пользовательских данных, PavelR, 15:32 , 15-Май-11, (1)
Резервное копирование пользовательских данных, LSTemp, 04:22 , 17-Май-11, (2)

Резервное копирование пользовательских данных, ptr, 06:53 , 17-Май-11, (3)

Резервное копирование пользовательских данных, LSTemp, 23:38 , 18-Май-11, (4)

Резервное копирование пользовательских данных, ptr, 10:57 , 19-Май-11, (5)

Резервное копирование пользовательских данных, LSTemp, 17:08 , 26-Май-11, (6)

Сообщения по теме [Сортировка по времени | RSS]

1. "Резервное копирование пользовательских данных" +/–

Сообщение от PavelR (??) on 15-Май-11, 15:32

> Вопрос:
> Как сделать резервное копирование пользовательских данных так, чтобы пользователи могли
> их сами по файлам восстанавливать и чтобы данные хранились на сервере
> в сжатом виде?
Если хранить данные в несжатом виде, то можно вписаться в размер бэкапа, равный размеру данных + суммарный размер изменявшихся файлов в срезах.
http://folk.uio.no/johnen/bontmia/ (я использую модифицированный вариант, локальное резервное копирование поддерживается в том числе)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Резервное копирование пользовательских данных" +/–

Сообщение от LSTemp (ok) on 17-Май-11, 04:22

>[оверквотинг удален]
> Есть сервер на Samba. Резервное копирование выполняется на нем перекрестно между дисками.
> Система и общие ресурсы бэкапятся star и это всех устраивает. А
> вот пользовательские директории сейчас бэкапятся скриптом на Perl + Zip. Пользователи
> имеют доступ на чтение к своим бэкапам и, в случае надобности,
> не дергая админа, сами вытаскивают оттуда невинно удаленные или ошибочно изменненые
> файлы. Каждый день делается инкрементальный бэкап, а раз в месяц -
> полный. Все хранится 40 дней, так что, как минимум, один полный
> бэкап всегда доступен.
> Проблема:
> К сожалению, Zip поддерживает архивы размером не более 2Gb.
- Кто Вам такую ахинею напел?
- М/б Вы упираетесь в ограничение файловой системы FAT?

Сейчас уже есть
> архивы приближающиеся к этой отметке. Использовать tar/star+BZip2 не хочется, так как
> в режиме вытаскивания одиночных файлов он очень не эффективен. RAR -
> коммерческий, оставляю его на самый крайний случай. p7zip - не имеет
> интерфейса к perl, так что только через shell, что тоже смущает.
> Вопрос:
> Как сделать резервное копирование пользовательских данных так, чтобы пользователи могли
> их сами по файлам восстанавливать и чтобы данные хранились на сервере
> в сжатом виде?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Резервное копирование пользовательских данных" +/–

Сообщение от ptr (??) on 17-Май-11, 06:53

>> Проблема:
>> К сожалению, Zip поддерживает архивы размером не более 2Gb.
> - Кто Вам такую ахинею напел?
> - М/б Вы упираетесь в ограничение файловой системы FAT?
Вообще-то у меня ext3. А в данное ограничение сам уперся лбом. При использовании в Perl Archive::Zip, если результирующий архив получается больше 2Gb, в конце архива оглавление не формируется и разархивировать такой архив уже не удается.
Через шелл не пробовал, так смысла нет - тогда уж сразу можно на p7zip переходить - все равно список файлов в /tmp формировать.
> Сейчас уже есть
Что есть?

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Резервное копирование пользовательских данных" +/–

Сообщение от LSTemp (ok) on 18-Май-11, 23:38

>>> Проблема:
>>> К сожалению, Zip поддерживает архивы размером не более 2Gb.
>> - Кто Вам такую ахинею напел?
>> - М/б Вы упираетесь в ограничение файловой системы FAT?
> Вообще-то у меня ext3. А в данное ограничение сам уперся лбом. При
> использовании в Perl Archive::Zip, если результирующий архив получается больше 2Gb, в
> конце архива оглавление не формируется и разархивировать такой архив уже не
> удается.
> Через шелл не пробовал, так смысла нет - тогда уж сразу можно
ИМХО шелл-то как раз предпочтительней...
> на p7zip переходить - все равно список файлов в /tmp формировать.
ну корни проблемы-то ясны - 2ГБ ограничение = перплнение счтчика. Вопрос где. думаю Вам стоит обновить библиотеки работы с архивами. либо ключики посмотреть типа "создавать файл >2Gb" на Перле Вашем (Вы же ч/з него зипуете?) и ниже по логике..
как конкретно процесс архивирования происходит? локально Вы можете >2GB архив создать (ФС это явно позволяет)?

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Резервное копирование пользовательских данных" +/–

Сообщение от ptr (??) on 19-Май-11, 10:57

>> Через шелл не пробовал, так смысла нет - тогда уж сразу можно
> ИМХО шелл-то как раз предпочтительней...
А чем?
>> на p7zip переходить - все равно список файлов в /tmp формировать.
> ну корни проблемы-то ясны - 2ГБ ограничение = перплнение счтчика. Вопрос где.
> думаю Вам стоит обновить библиотеки работы с архивами. либо ключики посмотреть
> типа "создавать файл >2Gb" на Перле Вашем (Вы же ч/з него
> зипуете?) и ниже по логике..
Оно и так все регулярно обновляется: Gentoo, emerge --sync, emerge --update --deep world
> как конкретно процесс архивирования происходит? локально Вы можете >2GB архив создать (ФС
> это явно позволяет)?
Я же писал, что через Archive::Zip
Он, в свою очередь, зависим от zlib.
Архив больше 2GB создается, но оглавления в конце у него уже нет.
P.S. Подарили мне ключик RAR-овский от Windows версии, он его воспринял. В базе лицензий на меня лицензию зарезервировали. Так что вопрос, лично для меня, уже решен. Спасибо.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Резервное копирование пользовательских данных" +/–

Сообщение от LSTemp (ok) on 26-Май-11, 17:08

>>> Через шелл не пробовал, так смысла нет - тогда уж сразу можно
>> ИМХО шелл-то как раз предпочтительней...
> А чем?
хотя бы отсутствием лишних интерпритаторов (типа Перл) в цепочке выполнения простейших действий.
>>> на p7zip переходить - все равно список файлов в /tmp формировать.
>> ну корни проблемы-то ясны - 2ГБ ограничение = перплнение счтчика. Вопрос где.
>> думаю Вам стоит обновить библиотеки работы с архивами. либо ключики посмотреть
>> типа "создавать файл >2Gb" на Перле Вашем (Вы же ч/з него
>> зипуете?) и ниже по логике..
> Оно и так все регулярно обновляется: Gentoo, emerge --sync, emerge --update --deep
> world
это значит, что Вы получили последнюю сборку для Вашего дистрибутива, а она (по неизвестным причинам от разрабов дистра) вполне может быть довольно бородатого года
>> как конкретно процесс архивирования происходит? локально Вы можете >2GB архив создать (ФС
>> это явно позволяет)?
> Я же писал, что через Archive::Zip
> Он, в свою очередь, зависим от zlib.
> Архив больше 2GB создается, но оглавления в конце у него уже нет.
> P.S. Подарили мне ключик RAR-овский от Windows версии, он его воспринял. В
> базе лицензий на меня лицензию зарезервировали. Так что вопрос, лично для
> меня, уже решен. Спасибо.
не за что. ждите окончания лицензии..

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Резервное копирование пользовательских данных"	+/–
Сообщение от PavelR (??) on 15-Май-11, 15:32
> Вопрос: > Как сделать резервное копирование пользовательских данных так, чтобы пользователи могли > их сами по файлам восстанавливать и чтобы данные хранились на сервере > в сжатом виде? Если хранить данные в несжатом виде, то можно вписаться в размер бэкапа, равный размеру данных + суммарный размер изменявшихся файлов в срезах. http://folk.uio.no/johnen/bontmia/ (я использую модифицированный вариант, локальное резервное копирование поддерживается в том числе)
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору

2. "Резервное копирование пользовательских данных"	+/–
Сообщение от LSTemp (ok) on 17-Май-11, 04:22
>[оверквотинг удален] > Есть сервер на Samba. Резервное копирование выполняется на нем перекрестно между дисками. > Система и общие ресурсы бэкапятся star и это всех устраивает. А > вот пользовательские директории сейчас бэкапятся скриптом на Perl + Zip. Пользователи > имеют доступ на чтение к своим бэкапам и, в случае надобности, > не дергая админа, сами вытаскивают оттуда невинно удаленные или ошибочно изменненые > файлы. Каждый день делается инкрементальный бэкап, а раз в месяц - > полный. Все хранится 40 дней, так что, как минимум, один полный > бэкап всегда доступен. > Проблема: > К сожалению, Zip поддерживает архивы размером не более 2Gb. - Кто Вам такую ахинею напел? - М/б Вы упираетесь в ограничение файловой системы FAT? Сейчас уже есть > архивы приближающиеся к этой отметке. Использовать tar/star+BZip2 не хочется, так как > в режиме вытаскивания одиночных файлов он очень не эффективен. RAR - > коммерческий, оставляю его на самый крайний случай. p7zip - не имеет > интерфейса к perl, так что только через shell, что тоже смущает. > Вопрос: > Как сделать резервное копирование пользовательских данных так, чтобы пользователи могли > их сами по файлам восстанавливать и чтобы данные хранились на сервере > в сжатом виде?
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	3. "Резервное копирование пользовательских данных"	+/–
	Сообщение от ptr (??) on 17-Май-11, 06:53
	>> Проблема: >> К сожалению, Zip поддерживает архивы размером не более 2Gb. > - Кто Вам такую ахинею напел? > - М/б Вы упираетесь в ограничение файловой системы FAT? Вообще-то у меня ext3. А в данное ограничение сам уперся лбом. При использовании в Perl Archive::Zip, если результирующий архив получается больше 2Gb, в конце архива оглавление не формируется и разархивировать такой архив уже не удается. Через шелл не пробовал, так смысла нет - тогда уж сразу можно на p7zip переходить - все равно список файлов в /tmp формировать. > Сейчас уже есть Что есть?
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	4. "Резервное копирование пользовательских данных"	+/–
	Сообщение от LSTemp (ok) on 18-Май-11, 23:38
	>>> Проблема: >>> К сожалению, Zip поддерживает архивы размером не более 2Gb. >> - Кто Вам такую ахинею напел? >> - М/б Вы упираетесь в ограничение файловой системы FAT? > Вообще-то у меня ext3. А в данное ограничение сам уперся лбом. При > использовании в Perl Archive::Zip, если результирующий архив получается больше 2Gb, в > конце архива оглавление не формируется и разархивировать такой архив уже не > удается. > Через шелл не пробовал, так смысла нет - тогда уж сразу можно ИМХО шелл-то как раз предпочтительней... > на p7zip переходить - все равно список файлов в /tmp формировать. ну корни проблемы-то ясны - 2ГБ ограничение = перплнение счтчика. Вопрос где. думаю Вам стоит обновить библиотеки работы с архивами. либо ключики посмотреть типа "создавать файл >2Gb" на Перле Вашем (Вы же ч/з него зипуете?) и ниже по логике.. как конкретно процесс архивирования происходит? локально Вы можете >2GB архив создать (ФС это явно позволяет)?
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	5. "Резервное копирование пользовательских данных"	+/–
	Сообщение от ptr (??) on 19-Май-11, 10:57
	>> Через шелл не пробовал, так смысла нет - тогда уж сразу можно > ИМХО шелл-то как раз предпочтительней... А чем? >> на p7zip переходить - все равно список файлов в /tmp формировать. > ну корни проблемы-то ясны - 2ГБ ограничение = перплнение счтчика. Вопрос где. > думаю Вам стоит обновить библиотеки работы с архивами. либо ключики посмотреть > типа "создавать файл >2Gb" на Перле Вашем (Вы же ч/з него > зипуете?) и ниже по логике.. Оно и так все регулярно обновляется: Gentoo, emerge --sync, emerge --update --deep world > как конкретно процесс архивирования происходит? локально Вы можете >2GB архив создать (ФС > это явно позволяет)? Я же писал, что через Archive::Zip Он, в свою очередь, зависим от zlib. Архив больше 2GB создается, но оглавления в конце у него уже нет. P.S. Подарили мне ключик RAR-овский от Windows версии, он его воспринял. В базе лицензий на меня лицензию зарезервировали. Так что вопрос, лично для меня, уже решен. Спасибо.
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	6. "Резервное копирование пользовательских данных"	+/–
	Сообщение от LSTemp (ok) on 26-Май-11, 17:08
	>>> Через шелл не пробовал, так смысла нет - тогда уж сразу можно >> ИМХО шелл-то как раз предпочтительней... > А чем? хотя бы отсутствием лишних интерпритаторов (типа Перл) в цепочке выполнения простейших действий. >>> на p7zip переходить - все равно список файлов в /tmp формировать. >> ну корни проблемы-то ясны - 2ГБ ограничение = перплнение счтчика. Вопрос где. >> думаю Вам стоит обновить библиотеки работы с архивами. либо ключики посмотреть >> типа "создавать файл >2Gb" на Перле Вашем (Вы же ч/з него >> зипуете?) и ниже по логике.. > Оно и так все регулярно обновляется: Gentoo, emerge --sync, emerge --update --deep > world это значит, что Вы получили последнюю сборку для Вашего дистрибутива, а она (по неизвестным причинам от разрабов дистра) вполне может быть довольно бородатого года >> как конкретно процесс архивирования происходит? локально Вы можете >2GB архив создать (ФС >> это явно позволяет)? > Я же писал, что через Archive::Zip > Он, в свою очередь, зависим от zlib. > Архив больше 2GB создается, но оглавления в конце у него уже нет. > P.S. Подарили мне ключик RAR-овский от Windows версии, он его воспринял. В > базе лицензий на меня лицензию зарезервировали. Так что вопрос, лично для > меня, уже решен. Спасибо. не за что. ждите окончания лицензии..
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору