forum.opennet.ru - "Падает Linux при аплоаде большого файла" (12)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Падает Linux при аплоаде большого файла"

Форумы OpenNET: Виртуальная конференция (Public)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Падает Linux при аплоаде большого файла"		+/–
Сообщение от Kartuz (ok) on 24-Авг-09, 11:08
Приветствую, вот возникла проблема, может кто уже сталкивался ... На сервер с установленной Fedora 11 пытаюсь залить большой файл - 55Gb. И через некоторое время система падает, успевает залиться от 5 до 10Gb. Пробовал заливать и по ftp и по sftp - эффект один и тот же. На сервере 48Gb оперативки и 4Gb swap.
Высказать мнение \| Ответить \| Правка \| Cообщить модератору

Оглавление

Падает Linux при аплоаде большого файла, nadirx2, 13:56 , 24-Авг-09, (1)

Падает Linux при аплоаде большого файла, Kartuz, 13:59 , 24-Авг-09, (2)

Падает Linux при аплоаде большого файла, ilia kuliev, 14:06 , 24-Авг-09, (3)

Падает Linux при аплоаде большого файла, Kartuz, 14:11 , 24-Авг-09, (4)
Падает Linux при аплоаде большого файла, Kartuz, 14:15 , 24-Авг-09, (5)

Падает Linux при аплоаде большого файла, ilia kuliev, 15:39 , 24-Авг-09, (6)

Падает Linux при аплоаде большого файла, Kartuz, 15:53 , 24-Авг-09, (7)

Падает Linux при аплоаде большого файла, ilia kuliev, 16:39 , 24-Авг-09, (8)
Падает Linux при аплоаде большого файла, XoRe, 21:55 , 24-Сен-09, (9)

Падает Linux при аплоаде большого файла, ALex_hha, 23:11 , 24-Сен-09, (10)

Падает Linux при аплоаде большого файла, XoRe, 15:33 , 26-Сен-09, (11)

Падает Linux при аплоаде большого файла, ANSI, 02:05 , 27-Сен-09, (12)

Сообщения по теме [Сортировка по времени | RSS]

1. "Падает Linux при аплоаде большого файла" +/–

Сообщение от nadirx2 (ok) on 24-Авг-09, 13:56

>Приветствую, вот возникла проблема, может кто уже сталкивался ...
>На сервер с установленной Fedora 11 пытаюсь залить большой файл - 55Gb.
>
>И через некоторое время система падает, успевает залиться от 5 до 10Gb.
>
>Пробовал заливать и по ftp и по sftp - эффект один и
>тот же.
>На сервере 48Gb оперативки и 4Gb swap.
логи эсть?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Падает Linux при аплоаде большого файла" +/–

Сообщение от Kartuz (ok) on 24-Авг-09, 13:59

>логи эсть?
messages -> Aug 24 10:18:18 srv-07 kernel: sshd invoked oom-killer: gfp_mask=0xd0, order=0, oomkilladj=0

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Падает Linux при аплоаде большого файла" +/–

Сообщение от ilia kuliev (??) on 24-Авг-09, 14:06

>>логи эсть?
>
>messages -> Aug 24 10:18:18 srv-07 kernel: sshd invoked oom-killer: gfp_mask=0xd0, order=0, oomkilladj=0
OOM - это Out of memory.
Почему оно появляется - это вопрос.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Падает Linux при аплоаде большого файла" +/–

Сообщение от Kartuz (ok) on 24-Авг-09, 14:11

>OOM - это Out of memory.
>Почему оно появляется - это вопрос.
Это я догадался.
Может быть потому что swap по отношению к ram такой маленький ?
Пробовал отключать swap вообще, через:
sysctl -w vm.swappiness=0
Эффект тот же.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Падает Linux при аплоаде большого файла" +/–

Сообщение от Kartuz (ok) on 24-Авг-09, 14:15

>OOM - это Out of memory.
>Почему оно появляется - это вопрос.
Начал создавать файл для swap, дабы потестировать, сервер опять упал при размере файла в районе 9Gb.
Файл создавал так:
dd if=/dev/zero of=/swapfile1 bs=1024 count=52428800

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Падает Linux при аплоаде большого файла" +/–

Сообщение от ilia kuliev (??) on 24-Авг-09, 15:39

>>OOM - это Out of memory.
>>Почему оно появляется - это вопрос.
>
>Начал создавать файл для swap, дабы потестировать, сервер опять упал при размере
>файла в районе 9Gb.
>Файл создавал так:
>dd if=/dev/zero of=/swapfile1 bs=1024 count=52428800
Поищите по рассылкам, не проблема ли это вашей версии ядра. Довольно-таки похоже на то.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Падает Linux при аплоаде большого файла" +/–

Сообщение от Kartuz (ok) on 24-Авг-09, 15:53

По всей видимости выходит, что 32-битная система не корректно работает с таким количеством оперативки со стандартным ядром.
Буду ставить 64-битную, для информации интересно почитать здесь: http://www.redhat.com/archives/taroon-list/2007-August/msg00...
Это я на будущее, вдруг кто-то тоже искать решение будет.
>Поищите по рассылкам, не проблема ли это вашей версии ядра. Довольно-таки похоже
>на то.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Падает Linux при аплоаде большого файла" +/–

Сообщение от ilia kuliev (??) on 24-Авг-09, 16:39

>По всей видимости выходит, что 32-битная система не корректно работает с таким
>количеством оперативки со стандартным ядром.
>Буду ставить 64-битную, для информации интересно почитать здесь: http://www.redhat.com/archives/taroon-list/2007-August/msg00...
>Это я на будущее, вдруг кто-то тоже искать решение будет.
>
>>Поищите по рассылкам, не проблема ли это вашей версии ядра. Довольно-таки похоже
>>на то.
А-а! Вот оно как. Ну, естественно, кто же ставит 32-битную систему на такой объем оперативки.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "Падает Linux при аплоаде большого файла" +/–

Сообщение от XoRe (ok) on 24-Сен-09, 21:55

>По всей видимости выходит, что 32-битная система не корректно работает с таким
>количеством оперативки со стандартным ядром.
>Буду ставить 64-битную, для информации интересно почитать здесь: http://www.redhat.com/archives/taroon-list/2007-August/msg00...
>Это я на будущее, вдруг кто-то тоже искать решение будет.
>
>>Поищите по рассылкам, не проблема ли это вашей версии ядра. Довольно-таки похоже
>>на то.
2^32 = 4294967296 (~4 миллиарда).
Как оно могло 32 битами 48 миллиардов адресовать?)
С другой стороны, ещё со времен Pentium Pro процессор может использовать 36 бит для адреса.
Что позволяет 32битной системе работать с 64 Гб оперативки.
Но только если в ОС включено PAE ( http://ru.wikipedia.org/wiki/PAE ).
PAE есть и в linux, и в bsd, и даже в серверных Windows.
Но его использование негативно сказывается на производительности и стабильности.
Что, собственно понятно: PAE - костыль.
А ещё могут быть проблемы с гибкостью ОС.
К примеру, во FreeBSD ядро с PAE должно быть монолитным - подгружать модули будет уже нельзя.
Поэтому...
Памяти 4GГб и более?
Тогда х64 - ваш выбор)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "Падает Linux при аплоаде большого файла" +/–

Сообщение от ALex_hha (ok) on 24-Сен-09, 23:11

>Но его использование негативно сказывается на производительности и стабильности.
>Что, собственно понятно: PAE - костыль.
Спорное утверждение, уже как год работает PAE (CentOS5) ни одной проблемы, перевести продакшен сервер на x64 довольно таки тяжело, хотя уже в ближайших планах

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "Падает Linux при аплоаде большого файла" +/–

Сообщение от XoRe (ok) on 26-Сен-09, 15:33

>>Но его использование негативно сказывается на производительности и стабильности.
>>Что, собственно понятно: PAE - костыль.
>
>Спорное утверждение, уже как год работает PAE (CentOS5) ни одной проблемы, перевести
>продакшен сервер на x64 довольно таки тяжело, хотя уже в ближайших
>планах
Спорное, согласен.
Можно сказать так - там есть много нюансов)
И если есть возможность использовать x64, то лучше сразу использовать x64.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "Падает Linux при аплоаде большого файла" +/–

Сообщение от ANSI on 27-Сен-09, 02:05

>Приветствую, вот возникла проблема, может кто уже сталкивался ...
>На сервер с установленной Fedora 11 пытаюсь залить большой файл - 55Gb.
>
>И через некоторое время система падает, успевает залиться от 5 до 10Gb.
>
>Пробовал заливать и по ftp и по sftp - эффект один и
>тот же.
>На сервере 48Gb оперативки и 4Gb swap.
Было подобное. При прокачке фильмов через шлюз. По графикам занятости памяти на нем было видно,как она вся забирается постепенно, а затем отваливается связь. Радикально помогала только перезагрузка. Смена пары версий ядра (в районе 2.6.24-2.6.25) не помогала. Сменил сетевые платы 3сом 1гб PCI-X(не помню модель) на старенькие 3сом 100мб PCI - все работает как часы. Сделал вывод - кривые дрова.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Падает Linux при аплоаде большого файла"		+/–
Сообщение от nadirx2 (ok) on 24-Авг-09, 13:56
>Приветствую, вот возникла проблема, может кто уже сталкивался ... >На сервер с установленной Fedora 11 пытаюсь залить большой файл - 55Gb. > >И через некоторое время система падает, успевает залиться от 5 до 10Gb. > >Пробовал заливать и по ftp и по sftp - эффект один и >тот же. >На сервере 48Gb оперативки и 4Gb swap. логи эсть?
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	2. "Падает Linux при аплоаде большого файла"		+/–
	Сообщение от Kartuz (ok) on 24-Авг-09, 13:59
	>логи эсть? messages -> Aug 24 10:18:18 srv-07 kernel: sshd invoked oom-killer: gfp_mask=0xd0, order=0, oomkilladj=0
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	3. "Падает Linux при аплоаде большого файла"		+/–
	Сообщение от ilia kuliev (??) on 24-Авг-09, 14:06
	>>логи эсть? > >messages -> Aug 24 10:18:18 srv-07 kernel: sshd invoked oom-killer: gfp_mask=0xd0, order=0, oomkilladj=0 OOM - это Out of memory. Почему оно появляется - это вопрос.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	4. "Падает Linux при аплоаде большого файла"		+/–
	Сообщение от Kartuz (ok) on 24-Авг-09, 14:11
	>OOM - это Out of memory. >Почему оно появляется - это вопрос. Это я догадался. Может быть потому что swap по отношению к ram такой маленький ? Пробовал отключать swap вообще, через: sysctl -w vm.swappiness=0 Эффект тот же.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	5. "Падает Linux при аплоаде большого файла"		+/–
	Сообщение от Kartuz (ok) on 24-Авг-09, 14:15
	>OOM - это Out of memory. >Почему оно появляется - это вопрос. Начал создавать файл для swap, дабы потестировать, сервер опять упал при размере файла в районе 9Gb. Файл создавал так: dd if=/dev/zero of=/swapfile1 bs=1024 count=52428800
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	6. "Падает Linux при аплоаде большого файла"		+/–
	Сообщение от ilia kuliev (??) on 24-Авг-09, 15:39
	>>OOM - это Out of memory. >>Почему оно появляется - это вопрос. > >Начал создавать файл для swap, дабы потестировать, сервер опять упал при размере >файла в районе 9Gb. >Файл создавал так: >dd if=/dev/zero of=/swapfile1 bs=1024 count=52428800 Поищите по рассылкам, не проблема ли это вашей версии ядра. Довольно-таки похоже на то.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	7. "Падает Linux при аплоаде большого файла"		+/–
	Сообщение от Kartuz (ok) on 24-Авг-09, 15:53
	По всей видимости выходит, что 32-битная система не корректно работает с таким количеством оперативки со стандартным ядром. Буду ставить 64-битную, для информации интересно почитать здесь: http://www.redhat.com/archives/taroon-list/2007-August/msg00... Это я на будущее, вдруг кто-то тоже искать решение будет. >Поищите по рассылкам, не проблема ли это вашей версии ядра. Довольно-таки похоже >на то.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "Падает Linux при аплоаде большого файла"		+/–
	Сообщение от ilia kuliev (??) on 24-Авг-09, 16:39
	>По всей видимости выходит, что 32-битная система не корректно работает с таким >количеством оперативки со стандартным ядром. >Буду ставить 64-битную, для информации интересно почитать здесь: http://www.redhat.com/archives/taroon-list/2007-August/msg00... >Это я на будущее, вдруг кто-то тоже искать решение будет. > >>Поищите по рассылкам, не проблема ли это вашей версии ядра. Довольно-таки похоже >>на то. А-а! Вот оно как. Ну, естественно, кто же ставит 32-битную систему на такой объем оперативки.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	9. "Падает Linux при аплоаде большого файла"		+/–
	Сообщение от XoRe (ok) on 24-Сен-09, 21:55
	>По всей видимости выходит, что 32-битная система не корректно работает с таким >количеством оперативки со стандартным ядром. >Буду ставить 64-битную, для информации интересно почитать здесь: http://www.redhat.com/archives/taroon-list/2007-August/msg00... >Это я на будущее, вдруг кто-то тоже искать решение будет. > >>Поищите по рассылкам, не проблема ли это вашей версии ядра. Довольно-таки похоже >>на то. 2^32 = 4294967296 (~4 миллиарда). Как оно могло 32 битами 48 миллиардов адресовать?) С другой стороны, ещё со времен Pentium Pro процессор может использовать 36 бит для адреса. Что позволяет 32битной системе работать с 64 Гб оперативки. Но только если в ОС включено PAE ( http://ru.wikipedia.org/wiki/PAE ). PAE есть и в linux, и в bsd, и даже в серверных Windows. Но его использование негативно сказывается на производительности и стабильности. Что, собственно понятно: PAE - костыль. А ещё могут быть проблемы с гибкостью ОС. К примеру, во FreeBSD ядро с PAE должно быть монолитным - подгружать модули будет уже нельзя. Поэтому... Памяти 4GГб и более? Тогда х64 - ваш выбор)
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	10. "Падает Linux при аплоаде большого файла"		+/–
	Сообщение от ALex_hha (ok) on 24-Сен-09, 23:11
	>Но его использование негативно сказывается на производительности и стабильности. >Что, собственно понятно: PAE - костыль. Спорное утверждение, уже как год работает PAE (CentOS5) ни одной проблемы, перевести продакшен сервер на x64 довольно таки тяжело, хотя уже в ближайших планах
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	11. "Падает Linux при аплоаде большого файла"		+/–
	Сообщение от XoRe (ok) on 26-Сен-09, 15:33
	>>Но его использование негативно сказывается на производительности и стабильности. >>Что, собственно понятно: PAE - костыль. > >Спорное утверждение, уже как год работает PAE (CentOS5) ни одной проблемы, перевести >продакшен сервер на x64 довольно таки тяжело, хотя уже в ближайших >планах Спорное, согласен. Можно сказать так - там есть много нюансов) И если есть возможность использовать x64, то лучше сразу использовать x64.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

12. "Падает Linux при аплоаде большого файла"		+/–
Сообщение от ANSI on 27-Сен-09, 02:05
>Приветствую, вот возникла проблема, может кто уже сталкивался ... >На сервер с установленной Fedora 11 пытаюсь залить большой файл - 55Gb. > >И через некоторое время система падает, успевает залиться от 5 до 10Gb. > >Пробовал заливать и по ftp и по sftp - эффект один и >тот же. >На сервере 48Gb оперативки и 4Gb swap. Было подобное. При прокачке фильмов через шлюз. По графикам занятости памяти на нем было видно,как она вся забирается постепенно, а затем отваливается связь. Радикально помогала только перезагрузка. Смена пары версий ядра (в районе 2.6.24-2.6.25) не помогала. Сменил сетевые платы 3сом 1гб PCI-X(не помню модель) на старенькие 3сом 100мб PCI - все работает как часы. Сделал вывод - кривые дрова.
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору