URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 86376
[ Назад ]

Исходное сообщение
"Падает Linux при аплоаде большого файла"

Отправлено Kartuz , 24-Авг-09 11:08 
Приветствую, вот возникла проблема, может кто уже сталкивался ...
На сервер с установленной Fedora 11 пытаюсь залить большой файл - 55Gb.
И через некоторое время система падает, успевает залиться от 5 до 10Gb.
Пробовал заливать и по ftp и по sftp - эффект один и тот же.
На сервере 48Gb оперативки и 4Gb swap.

Содержание

Сообщения в этом обсуждении
"Падает Linux при аплоаде большого файла"
Отправлено nadirx2 , 24-Авг-09 13:56 
>Приветствую, вот возникла проблема, может кто уже сталкивался ...
>На сервер с установленной Fedora 11 пытаюсь залить большой файл - 55Gb.
>
>И через некоторое время система падает, успевает залиться от 5 до 10Gb.
>
>Пробовал заливать и по ftp и по sftp - эффект один и
>тот же.
>На сервере 48Gb оперативки и 4Gb swap.

логи эсть?


"Падает Linux при аплоаде большого файла"
Отправлено Kartuz , 24-Авг-09 13:59 
>логи эсть?

messages -> Aug 24 10:18:18 srv-07 kernel: sshd invoked oom-killer: gfp_mask=0xd0, order=0, oomkilladj=0



"Падает Linux при аплоаде большого файла"
Отправлено ilia kuliev , 24-Авг-09 14:06 
>>логи эсть?
>
>messages -> Aug 24 10:18:18 srv-07 kernel: sshd invoked oom-killer: gfp_mask=0xd0, order=0, oomkilladj=0

OOM - это Out of memory.
Почему оно появляется - это вопрос.


"Падает Linux при аплоаде большого файла"
Отправлено Kartuz , 24-Авг-09 14:11 
>OOM - это Out of memory.
>Почему оно появляется - это вопрос.

Это я догадался.
Может быть потому что swap по отношению к ram такой маленький ?
Пробовал отключать swap вообще, через:
sysctl -w vm.swappiness=0
Эффект тот же.


"Падает Linux при аплоаде большого файла"
Отправлено Kartuz , 24-Авг-09 14:15 
>OOM - это Out of memory.
>Почему оно появляется - это вопрос.

Начал создавать файл для swap, дабы потестировать, сервер опять упал при размере файла в районе 9Gb.
Файл создавал так:
dd if=/dev/zero of=/swapfile1 bs=1024 count=52428800



"Падает Linux при аплоаде большого файла"
Отправлено ilia kuliev , 24-Авг-09 15:39 
>>OOM - это Out of memory.
>>Почему оно появляется - это вопрос.
>
>Начал создавать файл для swap, дабы потестировать, сервер опять упал при размере
>файла в районе 9Gb.
>Файл создавал так:
>dd if=/dev/zero of=/swapfile1 bs=1024 count=52428800

Поищите по рассылкам, не проблема ли это вашей версии ядра. Довольно-таки похоже на то.


"Падает Linux при аплоаде большого файла"
Отправлено Kartuz , 24-Авг-09 15:53 
По всей видимости выходит, что 32-битная система не корректно работает с таким количеством оперативки со стандартным ядром.
Буду ставить 64-битную, для информации интересно почитать здесь: http://www.redhat.com/archives/taroon-list/2007-August/msg00...
Это я на будущее, вдруг кто-то тоже искать решение будет.

>Поищите по рассылкам, не проблема ли это вашей версии ядра. Довольно-таки похоже
>на то.


"Падает Linux при аплоаде большого файла"
Отправлено ilia kuliev , 24-Авг-09 16:39 
>По всей видимости выходит, что 32-битная система не корректно работает с таким
>количеством оперативки со стандартным ядром.
>Буду ставить 64-битную, для информации интересно почитать здесь: http://www.redhat.com/archives/taroon-list/2007-August/msg00...
>Это я на будущее, вдруг кто-то тоже искать решение будет.
>
>>Поищите по рассылкам, не проблема ли это вашей версии ядра. Довольно-таки похоже
>>на то.

А-а! Вот оно как. Ну, естественно, кто же ставит 32-битную систему на такой объем оперативки.


"Падает Linux при аплоаде большого файла"
Отправлено XoRe , 24-Сен-09 21:55 
>По всей видимости выходит, что 32-битная система не корректно работает с таким
>количеством оперативки со стандартным ядром.
>Буду ставить 64-битную, для информации интересно почитать здесь: http://www.redhat.com/archives/taroon-list/2007-August/msg00...
>Это я на будущее, вдруг кто-то тоже искать решение будет.
>
>>Поищите по рассылкам, не проблема ли это вашей версии ядра. Довольно-таки похоже
>>на то.

2^32 = 4294967296 (~4 миллиарда).
Как оно могло 32 битами 48 миллиардов адресовать?)

С другой стороны, ещё со времен Pentium Pro процессор может использовать 36 бит для адреса.
Что позволяет 32битной системе работать с 64 Гб оперативки.
Но только если в ОС включено PAE ( http://ru.wikipedia.org/wiki/PAE ).
PAE есть и в linux, и в bsd, и даже в серверных Windows.
Но его использование негативно сказывается на производительности и стабильности.
Что, собственно понятно: PAE - костыль.
А ещё могут быть проблемы с гибкостью ОС.
К примеру, во FreeBSD ядро с PAE должно быть монолитным - подгружать модули будет уже нельзя.

Поэтому...
Памяти 4GГб и более?
Тогда х64 - ваш выбор)


"Падает Linux при аплоаде большого файла"
Отправлено ALex_hha , 24-Сен-09 23:11 
>Но его использование негативно сказывается на производительности и стабильности.
>Что, собственно понятно: PAE - костыль.

Спорное утверждение, уже как год работает PAE (CentOS5) ни одной проблемы, перевести продакшен сервер на x64 довольно таки тяжело, хотя уже в ближайших планах


"Падает Linux при аплоаде большого файла"
Отправлено XoRe , 26-Сен-09 15:33 
>>Но его использование негативно сказывается на производительности и стабильности.
>>Что, собственно понятно: PAE - костыль.
>
>Спорное утверждение, уже как год работает PAE (CentOS5) ни одной проблемы, перевести
>продакшен сервер на x64 довольно таки тяжело, хотя уже в ближайших
>планах

Спорное, согласен.
Можно сказать так - там есть много нюансов)
И если есть возможность использовать x64, то лучше сразу использовать x64.


"Падает Linux при аплоаде большого файла"
Отправлено ANSI , 27-Сен-09 02:05 
>Приветствую, вот возникла проблема, может кто уже сталкивался ...
>На сервер с установленной Fedora 11 пытаюсь залить большой файл - 55Gb.
>
>И через некоторое время система падает, успевает залиться от 5 до 10Gb.
>
>Пробовал заливать и по ftp и по sftp - эффект один и
>тот же.
>На сервере 48Gb оперативки и 4Gb swap.

Было подобное. При прокачке фильмов через шлюз. По графикам занятости памяти на нем было видно,как она вся забирается постепенно, а затем отваливается связь. Радикально помогала только перезагрузка. Смена пары версий ядра (в районе  2.6.24-2.6.25) не помогала. Сменил сетевые платы 3сом 1гб PCI-X(не помню модель) на старенькие 3сом 100мб PCI - все работает как часы. Сделал вывод -  кривые дрова.