URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID15
Нить номер: 2640
[ Назад ]

Исходное сообщение
"Не получается скопировать большой файл по сети"

Отправлено Lupin , 21-Июн-09 08:12 
Здравствуйте.
Нужно это все мне для холодного backup базы oracle.
Копирую через mc. С удаленной машиной соединяюсь через shell.
Файл до 1Гб копируются без проблем. При попытке копировать файл 2,2Гб копируется до 1,9Гб затем выдается ошибка (Невозможно закрыть целевой файл Broken pipe (32)). C файлом 7Гб аналогичная ситуация, но копируется до 3ГБ.

Формат файла dbf
Oracle остановлен
Локальная сеть 100Мб
Операционная система Linux Red Hat

PS. Еще подозрительная скорость копирования 1Гб копируется за час.

Заранее всем спасибо за ответы


Содержание

Сообщения в этом обсуждении
"Не получается скопировать большой файл по сети"
Отправлено QuAzI , 21-Июн-09 10:39 
scp ? rsync ? nfs ?

"Не получается скопировать большой файл по сети"
Отправлено Lupin , 21-Июн-09 11:57 
>scp ? rsync ? nfs ?

К сожалению в протоколах не силен. Могу сказать что копирую через Midnight Commander
Там выбираю F9/Правая панель/Shell соединение... далее пишу ip. Все я на удаленной машине. Затем как обычно F5 и вперед. Ну остальное в теме


"Не получается скопировать большой файл по сети"
Отправлено lukLos , 21-Июн-09 12:22 
Был аналогичный случай. Делали дамп базы Oracle с raw устройств а целевая файловая система для дампа не поодерживала фалй размером больше 2Gb. Выверлулись путём использования конвеера. Т.е. дамп сразу сжимали gzipom.

По вашему случаю
- уточните максимальный размер файла
- используйте стандартные средства системы для копирования cp, scp, tar, rsync.
документации по ним вс сети полно.



"Не получается скопировать большой файл по сети"
Отправлено Lupin , 21-Июн-09 12:32 
>Был аналогичный случай. Делали дамп базы Oracle с raw устройств а целевая
>файловая система для дампа не поодерживала фалй размером больше 2Gb. Выверлулись
>путём использования конвеера. Т.е. дамп сразу сжимали gzipom.
>
>По вашему случаю
>- уточните максимальный размер файла
>- используйте стандартные средства системы для копирования cp, scp, tar, rsync.
>документации по ним вс сети полно.

lukLos, спасибо за варианты, попробую. Хотя хочу сказать, что проблема скорее всего не с максимальным размером файла. Поскольку исходя из этого
>При попытке копировать файл 2,2Гб копируется до 1,9Гб затем выдается ошибка (Невозможно >закрыть целевой файл Broken pipe (32)). C файлом 7Гб аналогичная ситуация, но копируется >до 3ГБ.

нет закономерности. Обрывается именно соединение. О чем свидетельствует и ошибка Broken pipe

Еще хочу добавить. Пробовал копировать через протокол scp программой Winscp. Соединение в этом случае обрывалось намного быстрее и скорость была еще ниже, но компьютеры были в разной сети. Сейчас ввел их в одну сеть.


"Не получается скопировать большой файл по сети"
Отправлено ллл , 21-Июн-09 20:36 
>[оверквотинг удален]
>(32)). C файлом 7Гб аналогичная ситуация, но копируется до 3ГБ.
>
>Формат файла dbf
>Oracle остановлен
>Локальная сеть 100Мб
>Операционная система Linux Red Hat
>
>PS. Еще подозрительная скорость копирования 1Гб копируется за час.
>
>Заранее всем спасибо за ответы

Буквально пару недель назад столкнулся с аналогичной проблемой на древнем Linux RH 7.2. Проблемы две:
  - во-первых, как я понял из гугла, mc не умеет работать с файлами размером более 2Gb
  - во-вторых, старые версии ядра 2.4 не имеют (или имеют ограниченную поддержку LFS)

В моем случае, модуль smbfs из дефолтного ядра, которое идет с RH 7.2 не поддерживает LFS и передает по smb файлы только >=2Gb. Поскольку на локальной файловой системе бэкап-архив размером более 2Gb успешно создается, для передачи по сети мы режем его split'ом. И на бэкап-сервер файл заливаем двумя кусками.



"Не получается скопировать большой файл по сети"
Отправлено помощник , 21-Фев-10 16:00 
>[оверквотинг удален]
>(32)). C файлом 7Гб аналогичная ситуация, но копируется до 3ГБ.
>
>Формат файла dbf
>Oracle остановлен
>Локальная сеть 100Мб
>Операционная система Linux Red Hat
>
>PS. Еще подозрительная скорость копирования 1Гб копируется за час.
>
>Заранее всем спасибо за ответы

В общем слушай была у меня такая проблема
решил таким способом береш программу торрент на одном компе создаеш торрент любого размера, хоть 100 гб, а на другом соответственно добавляешь торрент и все скорость передачи 4-5 мегабит в секунду
куришь и ждешь отправка осуществляется хоть одним файлом, хоть папкой
при этом размер файла не имеет значения


"Не получается скопировать большой файл по сети"
Отправлено Sifon , 11-Май-10 17:04 
>[оверквотинг удален]
>>PS. Еще подозрительная скорость копирования 1Гб копируется за час.
>>
>>Заранее всем спасибо за ответы
>
>В общем слушай была у меня такая проблема
>решил таким способом береш программу торрент на одном компе создаеш торрент любого
>размера, хоть 100 гб, а на другом соответственно добавляешь торрент и
>все скорость передачи 4-5 мегабит в секунду
>куришь и ждешь отправка осуществляется хоть одним файлом, хоть папкой
>при этом размер файла не имеет значения

Ну с торентом по локалке это реальный изврат.
Нет бы использовать FTP, Samba и т.д.


"Не получается скопировать большой файл по сети"
Отправлено сабакка , 12-Май-10 14:12 
ндаааа ....
ничего проще придумать нельзя было?

"Не получается скопировать большой файл по сети"
Отправлено Lupin , 13-Май-10 14:33 
>ндаааа ....
>ничего проще придумать нельзя было?

На момент составления топика знания о unix были минимальные, и в конечном итоги с помощью утилиты scp все решилось. А баг mc имеет место быть. Так подскажи мне уважаемый, саббака (и себе вопрос задай), какой толк от твоего сообщения здесь, чем ты помог? Люди отвечают, помогают... а кто то только гадит....!!!!



"Не получается скопировать большой файл по сети"
Отправлено sdog , 13-Май-10 21:58 
>>ндаааа ....
>>ничего проще придумать нельзя было?
>
>На момент составления топика знания о unix были минимальные, и в конечном
>итоги с помощью утилиты scp все решилось. А баг mc имеет
>место быть. Так подскажи мне уважаемый, саббака (и себе вопрос задай),
>какой толк от твоего сообщения здесь, чем ты помог? Люди отвечают,
>помогают... а кто то только гадит....!!!!

я поинтересовался из-за чего было выбрано такое экзотическое, на мой взгляд, решение, первая часть послания всё объяснила, не понимаю, с чего ты так завёлся?


"Не получается скопировать большой файл по сети"
Отправлено Lupin , 15-Май-10 08:33 
>[оверквотинг удален]
>>
>>На момент составления топика знания о unix были минимальные, и в конечном
>>итоги с помощью утилиты scp все решилось. А баг mc имеет
>>место быть. Так подскажи мне уважаемый, саббака (и себе вопрос задай),
>>какой толк от твоего сообщения здесь, чем ты помог? Люди отвечают,
>>помогают... а кто то только гадит....!!!!
>
>я поинтересовался из-за чего было выбрано такое экзотическое, на мой взгляд, решение,
>первая часть послания всё объяснила, не понимаю, с чего ты так
>завёлся?

Извини если обидел, день вчера трудный был, магнитные бури :)