URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 94480
[ Назад ]

Исходное сообщение
"Ускорить процесс бэкапа"

Отправлено worsvch , 17-Мрт-13 06:03 
Есть файлы, общий объем порядка 400гб, сжимаю их gzip до 200гб  и закачиваю на filezilla ftp server, который находится на windows 2k3 server. На это все уходит приблизительно 10 часов, что очень долго. Подскажите, пожалуйста, как можно ускорить данный процесс, чтобы он не занимал так много времени?


Содержание

Сообщения в этом обсуждении
"Ускорить процесс бэкапа"
Отправлено PavelR , 17-Мрт-13 09:04 
> Есть файлы, общий объем порядка 400гб, сжимаю их gzip до 200гб  
> и закачиваю на filezilla ftp server, который находится на windows 2k3
> server. На это все уходит приблизительно 10 часов, что очень долго.
> Подскажите, пожалуйста, как можно ускорить данный процесс, чтобы он не занимал
> так много времени?

Использовать для бэкапа юникс-сервер, с бэкапируемым общаться по rsync.

две команды:

1)  Актуализируем копию

rsync -e "ssh -i /data/srv_key" -a --delete --force --quiet root@my.srv.tld:/path/to/data /data/srv/last_backup

Это быстрая операция, если файлы не менялись. Между серверами можно гонять как чистый rsync так и rsync over ssh. Rsync бывает и под виндовс, но на сервере бэкапа его использовать нельзя, т.к. нужно делать копии директории last_backup резервных копий через хардлинки (cp -l).

2) Сохраняем копию в каталоге вида 2013-03-17-00:15

#!/bin/bash
this_backup=$(date +%Y-%m-%d-%H:%M)
mkdir -p "/data/srv/$this_backup"
cp -lR /data/srv/last_backup/* "/data/srv/$this_backup"

Это не занимает дополнительного места, т.к. создаются хардлинки.
Зато если вдруг на исходном сервере, и, соответственно, в директории last_backup, что-то пропадет, вы это сможете найти в соответствущей копии.

---

3) при необходимости старые копии удаляются
find 2012-10-06-09:15 -delete


---
Есть скрипты, которые делают вышеописанное в автоматическом режиме, например Bontmia (которую я почти переписал).

http://www.backupcentral.com/wiki/index.php/Rsync_snapshots
и еще есть backupninja вроде тоже умеет кучу всего.


"Ускорить процесс бэкапа"
Отправлено Dno , 17-Мрт-13 22:21 
Канал расширь



"Ускорить процесс бэкапа"
Отправлено LSTemp , 21-Мрт-13 01:25 
> Канал расширь

Умно. Диски от этого шевелиться быстрее будут?


"Ускорить процесс бэкапа"
Отправлено LSTemp , 21-Мрт-13 01:29 
> Есть файлы, общий объем порядка 400гб, сжимаю их gzip до 200гб  
> и закачиваю на filezilla ftp server, который находится на windows 2k3
> server. На это все уходит приблизительно 10 часов, что очень долго.
> Подскажите, пожалуйста, как можно ускорить данный процесс, чтобы он не занимал
> так много времени?

1) инкрементальный бакап
2) снапшоты