URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 72515
[ Назад ]

Исходное сообщение
"ProFTPD и большие файлы"

Отправлено xmolex , 27-Фев-07 13:01 
Здравствуйте. Имеется проблема. Запущен на FreeBSD6.1 сервер ProFTPD 1.3. Все замечательно работает. Беспокоит только одна вещь. Когда пытаюсь слить/залить большой файл (больше 4.1 Гб) сервер разрывает закачку. Пытался найти в интернете ответ, но все темы которые я нашел были без ответа, поэтому решил запостить сюда.
Скажу сразу, что скачать пытался файл весящий 11Гб, пытался слить как с другой машины, так и с самого сервака (через ftp клиент разумеется). Одно и тоже - рвет закачку. С заливкой иногда рвет, иногда пропустит. Вот что выдал дебаг (сразу после разрыва):
lanexpress.ru (213.142.214.12[213.142.214.12]) - FS: using system close()
lanexpress.ru (213.142.214.12[213.142.214.12]) - Transfer aborted after 4294967295 bytes in 98.82 seconds
lanexpress.ru (213.142.214.12[213.142.214.12]) - notice: user temp: aborting transfer: Data connection closed.
lanexpress.ru (213.142.214.12[213.142.214.12]) - dispatching LOG_CMD_ERR command 'RETR 213.142.214.4-ipcad.tar.gz' to mod_log
lanexpress.ru (213.142.214.12[213.142.214.12]) - dispatching LOG_CMD_ERR command 'RETR 213.142.214.4-ipcad.tar.gz' to mod_xfer
lanexpress.ru (213.142.214.12[213.142.214.12]) - dispatching PRE_CMD command 'MDTM 213.142.214.4-ipcad.tar.gz' to mod_core
lanexpress.ru (213.142.214.12[213.142.214.12]) - dispatching PRE_CMD command 'MDTM 213.142.214.4-ipcad.tar.gz' to mod_core
lanexpress.ru (213.142.214.12[213.142.214.12]) - dispatching CMD command 'MDTM 213.142.214.4-ipcad.tar.gz' to mod_core
lanexpress.ru (213.142.214.12[213.142.214.12]) - in dir_check_full(): path = '/backup-traffic/213.142.214.4-ipcad.tar.gz', fullpath = '/usr/home/lan/files.lanexpress.ru/temp/backup-traffic/213.142.214.4-ipcad.tar.gz'.
lanexpress.ru (213.142.214.12[213.142.214.12]) - FS: using system stat()
lanexpress.ru (213.142.214.12[213.142.214.12]) - FS: using system stat()
lanexpress.ru (213.142.214.12[213.142.214.12]) - FS: using system stat()
lanexpress.ru (213.142.214.12[213.142.214.12]) - FS: using system stat()
lanexpress.ru (213.142.214.12[213.142.214.12]) - dispatching LOG_CMD command 'MDTM 213.142.214.4-ipcad.tar.gz' to mod_log

Кто-нибудь подскажите, где собака зарыта.


Содержание

Сообщения в этом обсуждении
"ProFTPD и большие файлы"
Отправлено lavr , 27-Фев-07 18:37 
>Здравствуйте. Имеется проблема. Запущен на FreeBSD6.1 сервер ProFTPD 1.3. Все замечательно работает.
>Беспокоит только одна вещь. Когда пытаюсь слить/залить большой файл (больше 4.1
>Гб) сервер разрывает закачку. Пытался найти в интернете ответ, но все
>темы которые я нашел были без ответа, поэтому решил запостить сюда.
>
>Скажу сразу, что скачать пытался файл весящий 11Гб, пытался слить как с
>другой машины, так и с самого сервака (через ftp клиент разумеется).
>Одно и тоже - рвет закачку. С заливкой иногда рвет, иногда
>пропустит. Вот что выдал дебаг (сразу после разрыва):
>lanexpress.ru (213.142.214.12[213.142.214.12]) - FS: using system close()
>lanexpress.ru (213.142.214.12[213.142.214.12]) - Transfer aborted after 4294967295 bytes in 98.82 seconds
>lanexpress.ru (213.142.214.12[213.142.214.12]) - notice: user temp: aborting transfer: Data connection closed.
>lanexpress.ru (213.142.214.12[213.142.214.12]) - dispatching LOG_CMD_ERR command 'RETR 213.142.214.4-ipcad.tar.gz' to mod_log
>lanexpress.ru (213.142.214.12[213.142.214.12]) - dispatching LOG_CMD_ERR command 'RETR 213.142.214.4-ipcad.tar.gz' to mod_xfer
>lanexpress.ru (213.142.214.12[213.142.214.12]) - dispatching PRE_CMD command 'MDTM 213.142.214.4-ipcad.tar.gz' to mod_core
>lanexpress.ru (213.142.214.12[213.142.214.12]) - dispatching PRE_CMD command 'MDTM 213.142.214.4-ipcad.tar.gz' to mod_core
>lanexpress.ru (213.142.214.12[213.142.214.12]) - dispatching CMD command 'MDTM 213.142.214.4-ipcad.tar.gz' to mod_core
>lanexpress.ru (213.142.214.12[213.142.214.12]) - in dir_check_full(): path = '/backup-traffic/213.142.214.4-ipcad.tar.gz', fullpath = '/usr/home/lan/files.lanexpress.ru/temp/backup-traffic/213.142.214.4-ipcad.tar.gz'.
>lanexpress.ru (213.142.214.12[213.142.214.12]) - FS: using system stat()
>lanexpress.ru (213.142.214.12[213.142.214.12]) - FS: using system stat()
>lanexpress.ru (213.142.214.12[213.142.214.12]) - FS: using system stat()
>lanexpress.ru (213.142.214.12[213.142.214.12]) - FS: using system stat()
>lanexpress.ru (213.142.214.12[213.142.214.12]) - dispatching LOG_CMD command 'MDTM 213.142.214.4-ipcad.tar.gz' to mod_log
>
>Кто-нибудь подскажите, где собака зарыта.

на bsdportal.ru или sysadmins.ru ищите, я объяснял КАК найти причину:

"разделяй и властвуй"

Ни FreeBSD, ни ProFTPD тут не при делах:

машинка с proftpd (назовем сервер):

[unix1]/pub/BSD/local > uname -rsim
FreeBSD 5.4-RELEASE-p10 i386 LAVR
[unix1]/pub/BSD/local > ls -lA /var/db/pkg/ | grep proftpd
drwxr-xr-x  2 root  wheel  512 31 июл  2005 proftpd-1.2.10_3
[unix1]/pub/BSD/local > ls -la
total 9044460
drwxr-xr-x   5 lavr  wheel         512 27 фев 15:46 .
drwxr-xr-x  16 root  wheel         512 29 ноя 17:04 ..
drwxr-xr-x   4 lavr  wheel         512  2 дек 14:34 CentOS
drwxr-xr-x   3 lavr  wheel         512  2 дек 15:32 Gentoo
drwxr-xr-x   3 lavr  wheel         512  2 дек 21:33 SuSE
-rw-r--r--   1 lavr  wheel  2314237952  4 дек 01:39 cen.iso
-rw-r--r--   1 lavr  wheel  6942713856 27 фев 15:58 laa.iso
-rw-r--r--   1 lavr  wheel        1009  1 дек 22:00 mylin
[unix1]/pub/BSD/local >

исходный файл: laa.iso == cat cen.iso cen.iso cen.iso (CentOS_DVD.iso)

[unix1]/pub/BSD/local >
[unix1]~ > bc
bc 1.06
Copyright 1991-1994, 1997, 1998, 2000 Free Software Foundation, Inc.
This is free software with ABSOLUTELY NO WARRANTY.
For details type `warranty'.
2314237952*3
6942713856

[unix1]/pub/BSD/local > md5 laa.iso
MD5 (laa.iso) = f24d17fc3fe05925acb83fc8410bce49
[unix1]/pub/BSD/local >

машинка клиент:

[test-1!ttyp0]/home > uname -irsm
FreeBSD 6.2-RELEASE i386 HOME62
[test-1!ttyp0]/home >

вариант 1. перекачка в /dev/null

[test-1!ttyp0]~ > ftp ftp://bsd.jinr.ru/local/
Connected to bsd.jinr.ru.
220 BSD Mirror Server
331 Anonymous login ok, send your complete email address as your password.
230 Anonymous access granted, restrictions apply.
Remote system type is UNIX.
Using binary mode to transfer files.
200 Type set to I
250 CWD command successful
ftp> pass off
Passive mode: off; fallback to active mode: off.
ftp> bin
200 Type set to I
ftp> promp
Interactive mode off.
ftp> dir
200 EPRT command successful
150 Opening ASCII mode data connection for file list
drwxr-xr-x   4 lavr     wheel         512 Dec  2 11:34 CentOS
drwxr-xr-x   3 lavr     wheel         512 Dec  2 12:32 Gentoo
drwxr-xr-x   3 lavr     wheel         512 Dec  2 18:33 SuSE
-rw-r--r--   1 lavr     wheel    2314237952 Dec  3 22:39 cen.iso
-rw-r--r--   1 lavr     wheel    6942713856 Feb 27 12:58 laa.iso
-rw-r--r--   1 lavr     wheel        1009 Dec  1 19:00 mylin
226 Transfer complete.
ftp> get laa.iso /dev/null
local: /dev/null remote: laa.iso
200 EPRT command successful
150 Opening BINARY mode data connection for laa.iso (6942713856 bytes)
226 Transfer complete.
6942713856 bytes received in 16:51 (6.54 MB/s)
ftp> bye
[test-1!ttyp0]~ >

вариант 2. на FS:

[test-1!ttyp0]/home > ftp ftp://bsd.jinr.ru/local/
Connected to bsd.jinr.ru.
220 BSD Mirror Server
331 Anonymous login ok, send your complete email address as your password.
230 Anonymous access granted, restrictions apply.
Remote system type is UNIX.
Using binary mode to transfer files.
200 Type set to I
250 CWD command successful
ftp> pass off
Passive mode: off; fallback to active mode: off.
ftp> bin
200 Type set to I
ftp> get laa.iso
local: laa.iso remote: laa.iso
200 EPRT command successful
150 Opening BINARY mode data connection for laa.iso (6942713856 bytes)
100% |*************************************|  6621 MB    5.65 MB/s    00:00 ETA
226 Transfer complete.
6942713856 bytes received in 19:31 (5.65 MB/s)
ftp> bye
221 Goodbye.
[test-1!ttyp0]/home >
[test-1!ttyp0]/home > ls -la
total 6783338
drwxr-xr-x   5 root    wheel            512 Feb 27 17:39 .
drwxr-xr-x  22 root    wheel            512 Feb 21 14:33 ..
drwxrwxr-x   2 root    operator         512 Feb 19 20:26 .snap
-rw-r--r--   1 root    wheel     6942713856 Feb 27 15:58 laa.iso
drwxr-xr-x   2 lavr    operator         512 Feb 27 12:36 lavr
drwxr-xr-x   2 oracle  oracle           512 Feb 27 15:34 oracle
[test-1!ttyp0]/home > md5 laa.iso
MD5 (laa.iso) = f24d17fc3fe05925acb83fc8410bce49
[test-1!ttyp0]/home >

суммы MD5 совпадают, после того как разрезал laa.iso на три части - получил обратно
исходный образ CentOS_DVD


"ProFTPD и большие файлы"
Отправлено xmolex , 01-Мрт-07 10:54 
Если честно не понял зачем вы все это выложили.
Статью на bsdportal я читал и пробовал найти причину.
Опишу подробнее:
Имеется файл. Весит он 5Гб (с копейками). На сервере стоит FreeBSD 6.1-RELEASE i386.
ProFTPD Version 1.3.0rc3

Коннекчусь с этой же машины (сервера)
# ftp
ftp> open 213.142.214.12:2001
ftp: hostname nor servname provided, or not known
ftp> open 213.142.214.12 2001
Connected to 213.142.214.12.
220 Serv-U 1.3.0rc3 Server (Ftp Server) [213.142.214.12]
Name (213.142.214.12:oper): lan
331 Password required for lan.
Password:
230 User lan logged in.
Remote system type is UNIX.
Using binary mode to transfer files.
ftp> cd /files.lanexpress.ru/game/rpg/wow/
250 CWD command successful
ftp> get wow.iso
local: wow.iso remote: wow.iso
229 Entering Extended Passive Mode (|||51819|)
150 Opening BINARY mode data connection for wow.iso (5383585792 bytes)
79% |*****************************************************************                  |  4095 MB   44.41 MB/s    00:23 ETA
426 Transfer aborted. Data connection closed.
4294967295 bytes received in 01:32 (44.40 MB/s)

Если качать в /dev/null будет тоже самое.
Поставил стандартный ftp. Файл слился на ура. Я сделал вывод, что виновата не система, т.к. на стандартном ftp сервере все работало, а виноват proftpd. К тому же что-то просто его ограничивает, т.к. этот файл залил я на сервер через него. ФТП клиент тоже считаю не виноватым, т.к. пробовал несколькими. В системе ограничений не стоит. ProFTPd собран со стандартными модулями (./configure --prefix=/usr/local/soft/proftpd). В конфиге proftpd ничего не ограничивал. В чем проблема я понял - в настройке сервера ProFTPd, а вот как ее решить?


"ProFTPD и большие файлы"
Отправлено lavr , 01-Мрт-07 12:09 
>Если честно не понял зачем вы все это выложили.
>Статью на bsdportal я читал и пробовал найти причину.
>Опишу подробнее:
>Имеется файл. Весит он 5Гб (с копейками). На сервере стоит FreeBSD 6.1-RELEASE
>i386.
>ProFTPD Version 1.3.0rc3
>
>Коннекчусь с этой же машины (сервера)
># ftp
>ftp> open 213.142.214.12:2001
>ftp: hostname nor servname provided, or not known
>ftp> open 213.142.214.12 2001
>Connected to 213.142.214.12.
>220 Serv-U 1.3.0rc3 Server (Ftp Server) [213.142.214.12]
>Name (213.142.214.12:oper): lan
>331 Password required for lan.
>Password:
>230 User lan logged in.
>Remote system type is UNIX.
>Using binary mode to transfer files.
>ftp> cd /files.lanexpress.ru/game/rpg/wow/
>250 CWD command successful
>ftp> get wow.iso
>local: wow.iso remote: wow.iso
>229 Entering Extended Passive Mode (|||51819|)
>150 Opening BINARY mode data connection for wow.iso (5383585792 bytes)
> 79% |*****************************************************************          
>        |  4095
>MB   44.41 MB/s    00:23 ETA
>426 Transfer aborted. Data connection closed.
>4294967295 bytes received in 01:32 (44.40 MB/s)
>
>Если качать в /dev/null будет тоже самое.
>Поставил стандартный ftp. Файл слился на ура. Я сделал вывод, что виновата
>не система, т.к. на стандартном ftp сервере все работало, а виноват
>proftpd. К тому же что-то просто его ограничивает, т.к. этот файл
>залил я на сервер через него. ФТП клиент тоже считаю не
>виноватым, т.к. пробовал несколькими. В системе ограничений не стоит. ProFTPd собран
>со стандартными модулями (./configure --prefix=/usr/local/soft/proftpd). В конфиге proftpd ничего не ограничивал.
>В чем проблема я понял - в настройке сервера ProFTPd, а
>вот как ее решить?

судя по всему, вам примеры не нужны, рекоммендации на bsdportal вы получили ПОЛНЫЕ,
что, как, зачем и для чего, так чта-а-а - ищите.

Удачи


"ProFTPD и большие файлы"
Отправлено xmolex , 01-Мрт-07 18:48 
Вообщем, спасибо всем за проявленную активность. Нашел!
В конфиге пишем:
UseSendfile off

"ProFTPD и большие файлы"
Отправлено тян , 04-Апр-11 12:59 
> Вообщем, спасибо всем за проявленную активность. Нашел!
> В конфиге пишем:
> UseSendfile off

Я даже специально зарегистрировалась, чтобы сказать xmolex спасибище(!), не смотря на дату поста.