Есть файлы, общий объем порядка 400гб, сжимаю их gzip до 200гб и закачиваю на filezilla ftp server, который находится на windows 2k3 server. На это все уходит приблизительно 10 часов, что очень долго. Подскажите, пожалуйста, как можно ускорить данный процесс, чтобы он не занимал так много времени?
> Есть файлы, общий объем порядка 400гб, сжимаю их gzip до 200гб
> и закачиваю на filezilla ftp server, который находится на windows 2k3
> server. На это все уходит приблизительно 10 часов, что очень долго.
> Подскажите, пожалуйста, как можно ускорить данный процесс, чтобы он не занимал
> так много времени?Использовать для бэкапа юникс-сервер, с бэкапируемым общаться по rsync.
две команды:
1) Актуализируем копию
rsync -e "ssh -i /data/srv_key" -a --delete --force --quiet root@my.srv.tld:/path/to/data /data/srv/last_backup
Это быстрая операция, если файлы не менялись. Между серверами можно гонять как чистый rsync так и rsync over ssh. Rsync бывает и под виндовс, но на сервере бэкапа его использовать нельзя, т.к. нужно делать копии директории last_backup резервных копий через хардлинки (cp -l).
2) Сохраняем копию в каталоге вида 2013-03-17-00:15
#!/bin/bash
this_backup=$(date +%Y-%m-%d-%H:%M)
mkdir -p "/data/srv/$this_backup"
cp -lR /data/srv/last_backup/* "/data/srv/$this_backup"Это не занимает дополнительного места, т.к. создаются хардлинки.
Зато если вдруг на исходном сервере, и, соответственно, в директории last_backup, что-то пропадет, вы это сможете найти в соответствущей копии.---
3) при необходимости старые копии удаляются
find 2012-10-06-09:15 -delete
---
Есть скрипты, которые делают вышеописанное в автоматическом режиме, например Bontmia (которую я почти переписал).http://www.backupcentral.com/wiki/index.php/Rsync_snapshots
и еще есть backupninja вроде тоже умеет кучу всего.
Канал расширь
> Канал расширьУмно. Диски от этого шевелиться быстрее будут?
> Есть файлы, общий объем порядка 400гб, сжимаю их gzip до 200гб
> и закачиваю на filezilla ftp server, который находится на windows 2k3
> server. На это все уходит приблизительно 10 часов, что очень долго.
> Подскажите, пожалуйста, как можно ускорить данный процесс, чтобы он не занимал
> так много времени?1) инкрементальный бакап
2) снапшоты