forum.opennet.ru - "Система вешается при работе с файлами по сети" (12)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Система вешается при работе с файлами по сети"

Форум Открытые системы на сервере (Сеть. проблемы, диагностика / Linux)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Система вешается при работе с файлами по сети"	+/–
Сообщение от Евгений (??) on 01-Фев-12, 12:11
Приветствую всех. Проблема такая: стоит древняя система Linux version 2.6.20-1.2312.1.112asp на которой с каких то пор стала происходить следующее - например, при копировании файлов по локалке (скорость 120 Кб/c Samba), так же при отправке почты, возникает загрузка проца почти на 100%, т.е. при работе по сети с хардом как я понял. Ибо как шлюз работает нормально, т.е. пакеты мимо харда ходят без проблем. Харды стоят еще IDE. При копировании через юсб, локально с харда на хард, загрузка нормальная, т.е. позволяет системе работать в нормальном режиме. Может что подскажете для лечения проблемы. Необходимую информацию предоставлю :)
Ответить \| Правка \| Cообщить модератору

Оглавление

Система вешается при работе с файлами по сети, старый сантехник, 14:51 , 01-Фев-12, (1)

Система вешается при работе с файлами по сети, Евгений, 15:22 , 01-Фев-12, (2)

Система вешается при работе с файлами по сети, старый сантехник, 15:48 , 01-Фев-12, (3)

Система вешается при работе с файлами по сети, Евгений, 16:02 , 01-Фев-12, (4)
Система вешается при работе с файлами по сети, Евгений, 16:12 , 01-Фев-12, (5)

Система вешается при работе с файлами по сети, старый сантехник, 18:41 , 01-Фев-12, (6)

Система вешается при работе с файлами по сети, Евгений, 09:47 , 02-Фев-12, (7)

Система вешается при работе с файлами по сети, старый сантехник, 12:39 , 02-Фев-12, (11)

Система вешается при работе с файлами по сети, Евгений, 09:48 , 02-Фев-12, (8)
Система вешается при работе с файлами по сети, Евгений, 10:02 , 02-Фев-12, (9)
Система вешается при работе с файлами по сети, Евгений, 10:37 , 02-Фев-12, (10)

Система вешается при работе с файлами по сети , Евгений, 14:48 , 10-Фев-12, (12)

Сообщения по теме [Сортировка по времени | RSS]

1. "Система вешается при работе с файлами по сети" +/–

Сообщение от старый сантехник on 01-Фев-12, 14:51

А как точно стало известно, что это именно загрузка процессора на 100%? Некие результаты мониторинга, top, iotop, iostat и т.д. в момент такого затыка есть? В теории это может быть в том числе именно диск, кот. за счет "медленных" I/O операций ставит просто раком всю систему. Надо бы короче побольше информации...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Система вешается при работе с файлами по сети" +/–

Сообщение от Евгений (??) on 01-Фев-12, 15:22

> А как точно стало известно, что это именно загрузка процессора на 100%?
Запускал iostat и ставил на копирование файл по сети на сервер.
%sys в iostat был от 98 до 100%
%iowait в iostat был 0,5%
В том то и дело, что про баг с IO я читал.
Из подозрительного в dmesg
BUG: soft lockup detected on CPU#0!
[<c04410a5>] softlockup_tick+0x95/0xa6
[<c04239a4>] update_process_times+0x33/0x55
[<c04067b1>] timer_interrupt+0x63/0x95
[<c0441129>] handle_IRQ_event+0x1a/0x3f
[<c04424a3>] handle_edge_irq+0xba/0xfa
[<c04423e9>] handle_edge_irq+0x0/0xfa
[<c0405d2a>] do_IRQ+0xb4/0xde
[<c040463f>] common_interrupt+0x23/0x28
[<f8e765ae>] ipt_do_table+0xa2/0x2d7 [ip_tables]
[<c05c6cfc>] ip_route_input+0x36/0xc20
[<c05c3b08>] nf_iterate+0x38/0x6a
[<c05c3b87>] nf_hook_slow+0x4d/0xb5
[<c05c8926>] ip_local_deliver_finish+0x0/0x18b
[<c05c8b23>] ip_local_deliver+0x72/0x20a
[<c05c8926>] ip_local_deliver_finish+0x0/0x18b
[<c05c906b>] ip_rcv+0x3b0/0x3dd
[<c05c8727>] ip_rcv_finish+0x0/0x1ff
[<c05af5a7>] netif_receive_skb+0x31e/0x33c
[<f8c369dc>] rtl8139_poll+0x2ae/0x3e1 [8139too]
[<c060aa25>] _spin_unlock_irq+0x5/0x7
[<c05adc1d>] net_rx_action+0x78/0x14c
[<c04209fc>] __do_softirq+0x35/0x73
[<c0405c1d>] do_softirq+0x3d/0x96
[<c0442347>] handle_fasteoi_irq+0x0/0xa2
[<c0405d3d>] do_IRQ+0xc7/0xde
[<c040463f>] common_interrupt+0x23/0x28
[<c05a61f3>] lock_sock_nested+0x18/0xa3
[<c05a664c>] release_sock+0x71/0xa1
[<c05e4a6b>] udp_destroy_sock+0xa/0x1c
[<c05a6eeb>] sk_common_release+0x12/0x8d
[<c05ea6b1>] inet_release+0x40/0x45
[<c05a4eb4>] sock_release+0x12/0x54
[<c05a4f1e>] sock_close+0x28/0x2d
[<c0460479>] __fput+0xba/0x16b
[<c045e09b>] filp_close+0x4f/0x56
[<c045e82b>] sys_close+0x67/0x96
[<c0403ca4>] syscall_call+0x7/0xb
   =======================
В других логах ничего подозрительного обнаружено не было, кроме того, что iostat показывает загрузку 98-100 % при указанных мной условиях

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Система вешается при работе с файлами по сети" +/–

Сообщение от старый сантехник on 01-Фев-12, 15:48

Да, мутный какой-то баг. У многих вылечивается только апгрейдом ядра. Вот еще в случае vmware есть специфические вещи - http://communities.vmware.com/message/728662, может тоже поможет. В остальном больше не знаю, что сказать, т.к. видимо экспериментировать надо с ядрами, если есть возможность апгрейда, и параметрами ядра...

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Система вешается при работе с файлами по сети" +/–

Сообщение от Евгений (??) on 01-Фев-12, 16:02

> Да, мутный какой-то баг. У многих вылечивается только апгрейдом ядра. Вот еще
> в случае vmware есть специфические вещи - http://communities.vmware.com/message/728662,
> может тоже поможет. В остальном больше не знаю, что сказать, т.к.
> видимо экспериментировать надо с ядрами, если есть возможность апгрейда, и параметрами
> ядра...
С ядром, к сожалению, ваще никакой возможности поработать((
Еще бы знать точно ли в нём дело хотя бы.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Система вешается при работе с файлами по сети" +/–

Сообщение от Евгений (??) on 01-Фев-12, 16:12

мда, vmstat показывает загрузку 100 по CPU sy: Time spent running kernel code.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

6. "Система вешается при работе с файлами по сети" +/–

Сообщение от старый сантехник on 01-Фев-12, 18:41

а вот еще идейка возникла - как там насчет версии BIOS, последняя ли? Это к тому, что dmesg много про irq говорит. И кстати - что за аппаратная то конфигурация, есть лм смысл копать в сторону правильного распределения irq по ядрам или одно ядро? Т.к. то, что возникает это при копировании по сети может говорить о том, что прерывания от сетевой карточки идут интенсивно. И кстати вот еще - посмотреть есть ли какой-то тюнинг у реалтековского драйвера, может этим еще можно поиграться.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "Система вешается при работе с файлами по сети" +/–

Сообщение от Евгений (??) on 02-Фев-12, 09:47

> а вот еще идейка возникла - как там насчет версии BIOS, последняя
> ли? Это к тому, что dmesg много про irq говорит. И
> кстати - что за аппаратная то конфигурация, есть лм смысл копать
> в сторону правильного распределения irq по ядрам или одно ядро? Т.к.
> то, что возникает это при копировании по сети может говорить о
> том, что прерывания от сетевой карточки идут интенсивно. И кстати вот
> еще - посмотреть есть ли какой-то тюнинг у реалтековского драйвера, может
> этим еще можно поиграться.
Ядро 1. Старый Celeron 2МГц.
Так, проанализировал top. Он показывает полную загрузку как раз на si (software irq).
Так что видимо стоит копать как раз в прерываниях сетевой.
>посмотреть есть ли какой-то тюнинг у реалтековского драйвера
каким образом это сделать?

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

11. "Система вешается при работе с файлами по сети" +/–

Сообщение от старый сантехник on 02-Фев-12, 12:39

>>посмотреть есть ли какой-то тюнинг у реалтековского драйвера
> каким образом это сделать?
Сначала надо понять какой именно драйвер используется видимо. К примеру вот тут - http://www.hackchina.com/en/r/88669/rtl8139.c__html есть интересный параметр max_interrupt_work:
/* Maximum events (Rx packets, etc.) to handle at each interrupt. */
static int max_interrupt_work = 20;
Но у rtl8039 есть вариации, как я понял, и к примеру вариант 8039too не имеет параметров для тюнинга. Так что посмотрите, какой именно драйвер и можно ли в нем поиграться этим параметром к примеру.
Можно еще попробовать вот что - др. сетевую карту вставить, не риалтек, если есть такая возможность. После тестов будет возможно яснее, кто виноват, - ядро или сетевуха.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

8. "Система вешается при работе с файлами по сети" +/–

Сообщение от Евгений (??) on 02-Фев-12, 09:48

> а вот еще идейка возникла - как там насчет версии BIOS, последняя
> ли?
Смысла нет я думаю, т.к. когда то всё работало нормально, да и материнка древняя.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

9. "Система вешается при работе с файлами по сети" +/–

Сообщение от Евгений (??) on 02-Фев-12, 10:02

Еще уточнение, в момент загрузки тем не менее отрабатывает свою функцию как шлюз без особых усилий.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

10. "Система вешается при работе с файлами по сети" +/–

Сообщение от Евгений (??) on 02-Фев-12, 10:37

ethtool -c eth1
ethtool -c eth2
Cannot get device coalesce settings: Operation not supported
cat /proc/interrupts
           CPU0
  0: 3775606729   IO-APIC-edge      timer
  1:         10   IO-APIC-edge      i8042
  7:          0   IO-APIC-edge      parport0
  8:          2   IO-APIC-edge      rtc
  9:          1   IO-APIC-fasteoi   acpi
10:          0   IO-APIC-edge      MPU401 UART
12:          4   IO-APIC-edge      i8042
14:  218394012   IO-APIC-edge      ide0
15:    2613832   IO-APIC-edge      ide1
16:          0   IO-APIC-fasteoi   uhci_hcd:usb4
17: 2052497578   IO-APIC-fasteoi   eth2
18: 2347711953   IO-APIC-fasteoi   ehci_hcd:usb1, eth1
19:          0   IO-APIC-fasteoi   Intel 82801DB-ICH4
===================================================
eth1: RealTek RTL8139 at 0xf887a000, ....., IRQ 18
eth2: RealTek RTL8139 at 0xf887c000, ....., IRQ 19
вот что странно
17: 2052497578   IO-APIC-fasteoi   eth2
18: 2347711953   IO-APIC-fasteoi   ehci_hcd:usb1, eth1
19:          0   IO-APIC-fasteoi   Intel 82801DB-ICH4

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

12. "Система вешается при работе с файлами по сети " +/–

Сообщение от Евгений (??) on 10-Фев-12, 14:48

В общем оказалось всё банально просто, что аж стыдно)))
Система банов основана на правилах Iptables и каким то макаром там разрослось количество банов до аж 95000 штук (масса повторов). После удаления повторов айпишников из правил всё заработало :)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Система вешается при работе с файлами по сети"	+/–
Сообщение от старый сантехник on 01-Фев-12, 14:51
А как точно стало известно, что это именно загрузка процессора на 100%? Некие результаты мониторинга, top, iotop, iostat и т.д. в момент такого затыка есть? В теории это может быть в том числе именно диск, кот. за счет "медленных" I/O операций ставит просто раком всю систему. Надо бы короче побольше информации...
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	2. "Система вешается при работе с файлами по сети"	+/–
	Сообщение от Евгений (??) on 01-Фев-12, 15:22
	> А как точно стало известно, что это именно загрузка процессора на 100%? Запускал iostat и ставил на копирование файл по сети на сервер. %sys в iostat был от 98 до 100% %iowait в iostat был 0,5% В том то и дело, что про баг с IO я читал. Из подозрительного в dmesg BUG: soft lockup detected on CPU#0! [<c04410a5>] softlockup_tick+0x95/0xa6 [<c04239a4>] update_process_times+0x33/0x55 [<c04067b1>] timer_interrupt+0x63/0x95 [<c0441129>] handle_IRQ_event+0x1a/0x3f [<c04424a3>] handle_edge_irq+0xba/0xfa [<c04423e9>] handle_edge_irq+0x0/0xfa [<c0405d2a>] do_IRQ+0xb4/0xde [<c040463f>] common_interrupt+0x23/0x28 [<f8e765ae>] ipt_do_table+0xa2/0x2d7 [ip_tables] [<c05c6cfc>] ip_route_input+0x36/0xc20 [<c05c3b08>] nf_iterate+0x38/0x6a [<c05c3b87>] nf_hook_slow+0x4d/0xb5 [<c05c8926>] ip_local_deliver_finish+0x0/0x18b [<c05c8b23>] ip_local_deliver+0x72/0x20a [<c05c8926>] ip_local_deliver_finish+0x0/0x18b [<c05c906b>] ip_rcv+0x3b0/0x3dd [<c05c8727>] ip_rcv_finish+0x0/0x1ff [<c05af5a7>] netif_receive_skb+0x31e/0x33c [<f8c369dc>] rtl8139_poll+0x2ae/0x3e1 [8139too] [<c060aa25>] _spin_unlock_irq+0x5/0x7 [<c05adc1d>] net_rx_action+0x78/0x14c [<c04209fc>] __do_softirq+0x35/0x73 [<c0405c1d>] do_softirq+0x3d/0x96 [<c0442347>] handle_fasteoi_irq+0x0/0xa2 [<c0405d3d>] do_IRQ+0xc7/0xde [<c040463f>] common_interrupt+0x23/0x28 [<c05a61f3>] lock_sock_nested+0x18/0xa3 [<c05a664c>] release_sock+0x71/0xa1 [<c05e4a6b>] udp_destroy_sock+0xa/0x1c [<c05a6eeb>] sk_common_release+0x12/0x8d [<c05ea6b1>] inet_release+0x40/0x45 [<c05a4eb4>] sock_release+0x12/0x54 [<c05a4f1e>] sock_close+0x28/0x2d [<c0460479>] __fput+0xba/0x16b [<c045e09b>] filp_close+0x4f/0x56 [<c045e82b>] sys_close+0x67/0x96 [<c0403ca4>] syscall_call+0x7/0xb ======================= В других логах ничего подозрительного обнаружено не было, кроме того, что iostat показывает загрузку 98-100 % при указанных мной условиях
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	3. "Система вешается при работе с файлами по сети"	+/–
	Сообщение от старый сантехник on 01-Фев-12, 15:48
	Да, мутный какой-то баг. У многих вылечивается только апгрейдом ядра. Вот еще в случае vmware есть специфические вещи - http://communities.vmware.com/message/728662, может тоже поможет. В остальном больше не знаю, что сказать, т.к. видимо экспериментировать надо с ядрами, если есть возможность апгрейда, и параметрами ядра...
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	4. "Система вешается при работе с файлами по сети"	+/–
	Сообщение от Евгений (??) on 01-Фев-12, 16:02
	> Да, мутный какой-то баг. У многих вылечивается только апгрейдом ядра. Вот еще > в случае vmware есть специфические вещи - http://communities.vmware.com/message/728662, > может тоже поможет. В остальном больше не знаю, что сказать, т.к. > видимо экспериментировать надо с ядрами, если есть возможность апгрейда, и параметрами > ядра... С ядром, к сожалению, ваще никакой возможности поработать(( Еще бы знать точно ли в нём дело хотя бы.
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	5. "Система вешается при работе с файлами по сети"	+/–
	Сообщение от Евгений (??) on 01-Фев-12, 16:12
	мда, vmstat показывает загрузку 100 по CPU sy: Time spent running kernel code.
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	6. "Система вешается при работе с файлами по сети"	+/–
	Сообщение от старый сантехник on 01-Фев-12, 18:41
	а вот еще идейка возникла - как там насчет версии BIOS, последняя ли? Это к тому, что dmesg много про irq говорит. И кстати - что за аппаратная то конфигурация, есть лм смысл копать в сторону правильного распределения irq по ядрам или одно ядро? Т.к. то, что возникает это при копировании по сети может говорить о том, что прерывания от сетевой карточки идут интенсивно. И кстати вот еще - посмотреть есть ли какой-то тюнинг у реалтековского драйвера, может этим еще можно поиграться.
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору


	7. "Система вешается при работе с файлами по сети"	+/–
	Сообщение от Евгений (??) on 02-Фев-12, 09:47
	> а вот еще идейка возникла - как там насчет версии BIOS, последняя > ли? Это к тому, что dmesg много про irq говорит. И > кстати - что за аппаратная то конфигурация, есть лм смысл копать > в сторону правильного распределения irq по ядрам или одно ядро? Т.к. > то, что возникает это при копировании по сети может говорить о > том, что прерывания от сетевой карточки идут интенсивно. И кстати вот > еще - посмотреть есть ли какой-то тюнинг у реалтековского драйвера, может > этим еще можно поиграться. Ядро 1. Старый Celeron 2МГц. Так, проанализировал top. Он показывает полную загрузку как раз на si (software irq). Так что видимо стоит копать как раз в прерываниях сетевой. >посмотреть есть ли какой-то тюнинг у реалтековского драйвера каким образом это сделать?
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору


	11. "Система вешается при работе с файлами по сети"	+/–
	Сообщение от старый сантехник on 02-Фев-12, 12:39
	>>посмотреть есть ли какой-то тюнинг у реалтековского драйвера > каким образом это сделать? Сначала надо понять какой именно драйвер используется видимо. К примеру вот тут - http://www.hackchina.com/en/r/88669/rtl8139.c__html есть интересный параметр max_interrupt_work: /* Maximum events (Rx packets, etc.) to handle at each interrupt. */ static int max_interrupt_work = 20; Но у rtl8039 есть вариации, как я понял, и к примеру вариант 8039too не имеет параметров для тюнинга. Так что посмотрите, какой именно драйвер и можно ли в нем поиграться этим параметром к примеру. Можно еще попробовать вот что - др. сетевую карту вставить, не риалтек, если есть такая возможность. После тестов будет возможно яснее, кто виноват, - ядро или сетевуха.
	Ответить \| Правка \| ^ к родителю #7 \| Наверх \| Cообщить модератору


	8. "Система вешается при работе с файлами по сети"	+/–
	Сообщение от Евгений (??) on 02-Фев-12, 09:48
	> а вот еще идейка возникла - как там насчет версии BIOS, последняя > ли? Смысла нет я думаю, т.к. когда то всё работало нормально, да и материнка древняя.
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору


	9. "Система вешается при работе с файлами по сети"	+/–
	Сообщение от Евгений (??) on 02-Фев-12, 10:02
	Еще уточнение, в момент загрузки тем не менее отрабатывает свою функцию как шлюз без особых усилий.
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору


	10. "Система вешается при работе с файлами по сети"	+/–
	Сообщение от Евгений (??) on 02-Фев-12, 10:37
	ethtool -c eth1 ethtool -c eth2 Cannot get device coalesce settings: Operation not supported cat /proc/interrupts CPU0 0: 3775606729 IO-APIC-edge timer 1: 10 IO-APIC-edge i8042 7: 0 IO-APIC-edge parport0 8: 2 IO-APIC-edge rtc 9: 1 IO-APIC-fasteoi acpi 10: 0 IO-APIC-edge MPU401 UART 12: 4 IO-APIC-edge i8042 14: 218394012 IO-APIC-edge ide0 15: 2613832 IO-APIC-edge ide1 16: 0 IO-APIC-fasteoi uhci_hcd:usb4 17: 2052497578 IO-APIC-fasteoi eth2 18: 2347711953 IO-APIC-fasteoi ehci_hcd:usb1, eth1 19: 0 IO-APIC-fasteoi Intel 82801DB-ICH4 =================================================== eth1: RealTek RTL8139 at 0xf887a000, ....., IRQ 18 eth2: RealTek RTL8139 at 0xf887c000, ....., IRQ 19 вот что странно 17: 2052497578 IO-APIC-fasteoi eth2 18: 2347711953 IO-APIC-fasteoi ehci_hcd:usb1, eth1 19: 0 IO-APIC-fasteoi Intel 82801DB-ICH4
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору

12. "Система вешается при работе с файлами по сети "	+/–
Сообщение от Евгений (??) on 10-Фев-12, 14:48
В общем оказалось всё банально просто, что аж стыдно))) Система банов основана на правилах Iptables и каким то макаром там разрослось количество банов до аж 95000 штук (масса повторов). После удаления повторов айпишников из правил всё заработало :)
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору