URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID9
Нить номер: 9900
[ Назад ]

Исходное сообщение
"Вычесление метаданных, сохранение и восстановление"

Отправлено Weldpua2008 , 04-Сен-14 16:02 
Добрый день

Папки с копией ОС. Нужно очень быстро находить дельту между "базовым образом" и "текущим". Оперативно сохранять эту разность в виде архива и востанвливать.
Желательно иметь возможность итеративного архива.


Содержание

Сообщения в этом обсуждении
"Вычесление метаданных, сохранение и восстановление"
Отправлено WWW , 04-Сен-14 16:54 
1 rsync + bash (perl ...)
2 LVM + tar(zip...)

> Добрый день
> Папки с копией ОС. Нужно очень быстро находить дельту между "базовым образом"
> и "текущим". Оперативно сохранять эту разность в виде архива и востанвливать.
> Желательно иметь возможность итеративного архива.

"Вычесление метаданных, сохранение и восстановление"
Отправлено weldpua2008 , 07-Сен-14 12:18 
> 1 rsync + bash (perl ...)
> 2 LVM + tar(zip...)
>> Добрый день
>> Папки с копией ОС. Нужно очень быстро находить дельту между "базовым образом"
>> и "текущим". Оперативно сохранять эту разность в виде архива и востанвливать.
>> Желательно иметь возможность итеративного архива.

Нужна такая логика:
Если возможно все обновлённые файлы и папки сохраняются в определённой, которую можно сразу заархивировать. Список файлов для удаления выводится/сохраняется в файл.

Если нельзя:
После запуска rsync я вижу какие файлы обновлены/удалееы во второй папке.
А вот всякие skipping non-regular file "dev/ptya7" мне не нужны.

Вроде бы "это работает" для второго варианта, но как сделать первый вариант?:

root@RDE-1.3:~# mkdir DST SRC
root@RDE-1.3:~# mkdir DST/1 DST/2 SRC/3 SRC4
root@RDE-1.3:~# echo "test" >DST/test
root@RDE-1.3:~# echo "test" >SRC/test2
root@RDE-1.3:~# touch DST/1/dddddd
root@RDE-1.3:~# rsync --dry-run --recursive --del -v -l -c  SRC/ DST
sending incremental file list
deleting 2/
deleting 1/dddddd
deleting 1/
deleting test
test2
3/


Но по прежнему это медленно если делать первый запуск:
time rsync --dry-run --recursive --del -v -l -c  20/ 130

sent 1172310 bytes  received 5382 bytes  22867.81 bytes/sec
total size is 838851722  speedup is 712.28 (DRY RUN)

real    0m50.912s
user    0m2.688s
sys     0m7.784s


Второй запуск бодрее:
sent 1172347 bytes  received 5385 bytes  261718.22 bytes/sec
total size is 838851722  speedup is 712.26 (DRY RUN)

real    0m4.384s
user    0m3.268s
sys     0m1.732s


"Вычесление метаданных, сохранение и восстановление"
Отправлено WWW , 08-Сен-14 14:38 
man почитай к rsync

EXCLUDE_LIST="/exclude.txt"
--compress-level=9 --exclude-from $EXCLUDE_LIST

>[оверквотинг удален]
> total size is 838851722  speedup is 712.28 (DRY RUN)
> real    0m50.912s
> user    0m2.688s
> sys     0m7.784s
> Второй запуск бодрее:
> sent 1172347 bytes  received 5385 bytes  261718.22 bytes/sec
> total size is 838851722  speedup is 712.26 (DRY RUN)
> real    0m4.384s
> user    0m3.268s
> sys     0m1.732s


"Вычесление метаданных, сохранение и восстановление"
Отправлено WWW , 04-Сен-14 16:57 
1 rsync + bash (perl ...)+ tar(zip...)
2 LVM + bash (perl ...)+tar(zip...)

> Добрый день
> Папки с копией ОС. Нужно очень быстро находить дельту между "базовым образом"
> и "текущим". Оперативно сохранять эту разность в виде архива и востанвливать.
> Желательно иметь возможность итеративного архива.

"Вычесление метаданных, сохранение и восстановление"
Отправлено pavlinux , 06-Сен-14 01:50 
> Нужно очень быстро

Курсы Администрирование дисковых массивов: 300$ - 1 час, 500$ - 2 часа, 1000$ - ночь, выезд + 100$


"Вычесление метаданных, сохранение и восстановление"
Отправлено weldpua2008 , 07-Сен-14 12:19 
>> Нужно очень быстро
> Курсы Администрирование дисковых массивов: 300$ - 1 час, 500$ - 2 часа,
> 1000$ - ночь, выезд + 100$

Что бы быстро работало =)


"Вычесление метаданных, сохранение и восстановление"
Отправлено universite , 09-Сен-14 04:00 
> Добрый день
> Папки с копией ОС. Нужно очень быстро находить дельту между "базовым образом"
> и "текущим". Оперативно сохранять эту разность в виде архива и востанвливать.
> Желательно иметь возможность итеративного архива.

У FreeBSD есть ZFS, снапшоты и mtree.