URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 88224
[ Назад ]

Исходное сообщение
"freebsd8 stable, падение сервера"

Отправлено morfey , 23-Фев-10 10:08 
Здравствуйте!

Стоит машина :
billing-host# uname -a
FreeBSD billing-host 8.0-STABLE FreeBSD 8.0-STABLE #0 r203765: Thu Aug  5 02:34:52 UTC 2010     morfey@billing-host:/usr/obj/usr/src/sys/kernel_11_02.2010  i386

AMD Athlon(tm) 64 X2 Dual Core Processor 4600+ (2410.98-MHz 686-class CPU)
2GB ОЗУ

Падения несколько раз в сутки. Проблема с железом исключается, так как это 3я машина.

На столе работал 2 недели , только подключаю к сети в качестве роутера, не держится и суток, падает в ребут.

На серваке стоят:

stargazer 2.406 + bind9 + ipfw + ipnat (еще mrtg+snmp), rrdtool

Бектрейс корки:

Reading symbols from /boot/kernel/linprocfs.ko...Reading symbols from /boot/kernel/linprocfs.ko.symbols...done.
done.
Loaded symbols for /boot/kernel/linprocfs.ko
Reading symbols from /boot/kernel/linux.ko...Reading symbols from /boot/kernel/linux.ko.symbols...done.
done.
Loaded symbols for /boot/kernel/linux.ko
Reading symbols from /boot/kernel/ipl.ko...Reading symbols from /boot/kernel/ipl.ko.symbols...done.
done.
Loaded symbols for /boot/kernel/ipl.ko
#0  doadump () at pcpu.h:246
<------>in pcpu.h
(kgdb) bt
#0  doadump () at pcpu.h:246
#1  0xc0889187 in boot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:416
#2  0xc0889479 in panic (fmt=) at /usr/src/sys/kern/kern_shutdown.c:579
#3  0xc0bcb91c in trap_fatal (frame=0xe56db904, eva=4) at /usr/src/sys/i386/i386/trap.c:938
#4  0xc0bcbba0 in trap_pfault (frame=0xe56db904, usermode=0, eva=4) at /usr/src/sys/i386/i386/trap.c:851
#5  0xc0bcc4e5 in trap (frame=0xe56db904) at /usr/src/sys/i386/i386/trap.c:533
#6  0xc0baeb4b in calltrap () at /usr/src/sys/i386/i386/exception.s:165
#7  0xc57a306a in nat_new (fin=0xe56dba44, np=0xc5575800, natsave=0x0, flags=) at /usr/src/sys/modules/ipfilter/../../contrib/ipfilter/netinet/ip_nat.c:2610
#8  0xc57a6a17 in fr_checknatin (fin=0xe56dba44, passp=0xe56dba40) at /usr/src/sys/modules/ipfilter/../../contrib/ipfilter/netinet/ip_nat.c:4155
#9  0xc57c0b86 in fr_check (ip=0xc5cd5810, hlen=20, ifp=0xc52e3c00, out=0, mp=0xe56dbb4c) at /usr/src/sys/modules/ipfilter/../../contrib/ipfilter/netinet/fil.c:2572
#10 0xc57b89be in fr_check_wrapper (arg=0x0, mp=0xe56dbb4c, ifp=0xc52e3c00, dir=1) at /usr/src/sys/modules/ipfilter/../../contrib/ipfilter/netinet/ip_fil_freebsd.c:186
#11 0xc093e0e8 in pfil_run_hooks (ph=0xc0dd6060, mp=0xe56dbb9c, ifp=0xc52e3c00, dir=1, inp=0x0) at /usr/src/sys/net/pfil.c:82
#12 0xc099f845 in ip_input (m=0xc5a68000) at /usr/src/sys/netinet/ip_input.c:517
#13 0xc093d509 in netisr_dispatch_src (proto=1, source=0, m=0xc5a68000) at /usr/src/sys/net/netisr.c:917
#14 0xc093d7a0 in netisr_dispatch (proto=1, m=0xc5a68000) at /usr/src/sys/net/netisr.c:1004
#15 0xc0933971 in ether_demux (ifp=0xc52e3c00, m=0xc5a68000) at /usr/src/sys/net/if_ethersubr.c:895
#16 0xc0933ec3 in ether_input (ifp=0xc52e3c00, m=0xc5a68000) at /usr/src/sys/net/if_ethersubr.c:754
#17 0xc061a88a in em_rxeof (adapter=0xc5329000, count=93) at /usr/src/sys/dev/e1000/if_em.c:4610
#18 0xc061cba7 in em_handle_rxtx (context=0xc5329000, pending=1) at /usr/src/sys/dev/e1000/if_em.c:1763
#19 0xc08c1a72 in taskqueue_run (queue=0xc5317880) at /usr/src/sys/kern/subr_taskqueue.c:239
#20 0xc08c1c7d in taskqueue_thread_loop (arg=0xc532d564) at /usr/src/sys/kern/subr_taskqueue.c:360
#21 0xc085ea21 in fork_exit (callout=0xc08c1bc0 <taskqueue_thread_loop>, arg=0xc532d564, frame=0xe56dbd38) at /usr/src/sys/kern/kern_fork.c:843
#22 0xc0baebc0 in fork_trampoline () at /usr/src/sys/i386/i386/exception.s:270
(kgdb) bt full
#0  doadump () at pcpu.h:246
No locals.
#1  0xc0889187 in boot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:416
<------>_giantcnt = (kgdb) quit


Содержание

Сообщения в этом обсуждении
"freebsd8 stable, падение сервера"
Отправлено hate , 23-Фев-10 10:31 

  Покажи dmesg


"freebsd8 stable, падение сервера"
Отправлено morfey , 23-Фев-10 10:46 
>
>  Покажи dmesg

Copyright (c) 1992-2010 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 8.0-STABLE #0 r203765: Thu Aug  5 02:34:52 UTC 2010
    morfey@billing-host:/usr/obj/usr/src/sys/kernel_11_02.2010 i386
Timecounter "i8254" frequency 1193182 Hz quality 0
CPU: AMD Athlon(tm) 64 X2 Dual Core Processor 4600+ (2410.98-MHz 686-class CPU)
  Origin = "AuthenticAMD"  Id = 0x40f33  Stepping = 3
  Features=0x178bfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,MMX,FXSR,SSE,SSE2,HTT>
  Features2=0x2001<SSE3,CX16>
  AMD Features=0xea500800<SYSCALL,NX,MMX+,FFXSR,RDTSCP,LM,3DNow!+,3DNow!>
  AMD Features2=0x1f<LAHF,CMP,SVM,ExtAPIC,CR8>
real memory  = 2147483648 (2048 MB)
avail memory = 1958952960 (1868 MB)
ACPI APIC Table: <A_M_I_ OEMAPIC >
FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs
FreeBSD/SMP: 1 package(s) x 2 core(s)
cpu0 (BSP): APIC ID:  0
cpu1 (AP): APIC ID:  1
ioapic0 <Version 1.1> irqs 0-23 on motherboard
kbd1 at kbdmux0
acpi0: <A_M_I_ OEMRSDT> on motherboard
acpi0: [ITHREAD]
acpi0: Power Button (fixed)
unknown: I/O range not supported
acpi0: reservation of 0, a0000 (3) failed
acpi0: reservation of 100000, 77f00000 (3) failed
Timecounter "ACPI-fast" frequency 3579545 Hz quality 1000
acpi_timer0: <24-bit timer at 3.579545MHz> port 0x508-0x50b on acpi0
acpi_hpet0: <High Precision Event Timer> iomem 0xfed00000-0xfed003ff on acpi0
Timecounter "HPET" frequency 25000000 Hz quality 900
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pci0: <ACPI PCI bus> on pcib0
pci0: <memory, RAM> at device 0.0 (no driver attached)
isab0: <PCI-ISA bridge> port 0x900-0x9ff at device 1.0 on pci0
isa0: <ISA bus> on isab0
pci0: <serial bus, SMBus> at device 1.1 (no driver attached)
pci0: <memory, RAM> at device 1.2 (no driver attached)
ohci0: <nVidia nForce MCP61 USB Controller> mem 0xdfeff000-0xdfefffff irq 21 at device 2.0 on pci0
ohci0: [ITHREAD]
usbus0: <nVidia nForce MCP61 USB Controller> on ohci0
ehci0: <NVIDIA nForce MCP61 USB 2.0 controller> mem 0xdfefec00-0xdfefecff irq 22 at device 2.1 on pci0
ehci0: [ITHREAD]
usbus1: EHCI version 1.0
usbus1: <NVIDIA nForce MCP61 USB 2.0 controller> on ehci0
pcib1: <ACPI PCI-PCI bridge> at device 4.0 on pci0
pci1: <ACPI PCI bus> on pcib1
em0: <Intel(R) PRO/1000 Network Connection 6.9.14> port 0xec00-0xec3f mem 0xdffe0000-0xdfffffff,0xdffc0000-0xdffdffff irq 16 at device 6.0 on pci1
em0: [FILTER]
em0: Ethernet address: 00:07:e9:0c:57:fa
em1: <Intel(R) PRO/1000 Network Connection 6.9.14> port 0xe880-0xe8bf mem 0xdff80000-0xdff9ffff,0xdff60000-0xdff7ffff irq 17 at device 7.0 on pci1
em1: [FILTER]
em1: Ethernet address: 00:07:e9:0c:60:97
pci0: <multimedia, HDA> at device 5.0 (no driver attached)
atapci0: <nVidia nForce MCP61 UDMA133 controller> port 0x1f0-0x1f7,0x3f6,0x170-0x177,0x376,0xffa0-0xffaf at device 6.0 on pci0
ata0: <ATA channel 0> on atapci0
ata0: [ITHREAD]
ata1: <ATA channel 1> on atapci0
ata1: [ITHREAD]
nfe0: <NVIDIA nForce MCP61 Networking Adapter> port 0xd480-0xd487 mem 0xdfefd000-0xdfefdfff irq 20 at device 7.0 on pci0
miibus0: <MII bus> on nfe0
atphy0: <Atheros F2 10/100 PHY> PHY 1 on miibus0
atphy0:  10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, auto
nfe0: Ethernet address: 00:1e:8c:66:47:08
nfe0: [FILTER]
nfe0: [FILTER]
nfe0: [FILTER]
nfe0: [FILTER]
nfe0: [FILTER]
nfe0: [FILTER]
nfe0: [FILTER]
nfe0: [FILTER]
atapci1: <nVidia nForce MCP61 SATA300 controller> port 0xd400-0xd407,0xd080-0xd083,0xd000-0xd007,0xcc00-0xcc03,0xc880-0xc88f mem 0xdfefc000-0xdfefcfff irq 21 at device 8.0 on pci0
atapci1: [ITHREAD]
ata2: <ATA channel 0> on atapci1
ata2: [ITHREAD]
ata3: <ATA channel 1> on atapci1
ata3: [ITHREAD]
pcib2: <ACPI PCI-PCI bridge> at device 9.0 on pci0
pci2: <ACPI PCI bus> on pcib2
pcib3: <ACPI PCI-PCI bridge> at device 11.0 on pci0
pci3: <ACPI PCI bus> on pcib3
pcib4: <ACPI PCI-PCI bridge> at device 12.0 on pci0
pci4: <ACPI PCI bus> on pcib4
vgapci0: <VGA-compatible display> mem 0xde000000-0xdeffffff,0xc0000000-0xcfffffff,0xdd000000-0xddffffff irq 22 at device 13.0 on pci0
acpi_button0: <Power Button> on acpi0
atrtc0: <AT realtime clock> port 0x70-0x71 irq 8 on acpi0
ppc0: <Parallel port> port 0x378-0x37f irq 7 on acpi0
ppc0: Generic chipset (NIBBLE-only) in COMPATIBLE mode
ppc0: [ITHREAD]
ppbus0: <Parallel port bus> on ppc0
plip0: <PLIP network interface> on ppbus0
plip0: [ITHREAD]
lpt0: <Printer> on ppbus0
lpt0: [ITHREAD]
lpt0: Interrupt-driven port
ppi0: <Parallel I/O> on ppbus0
atkbdc0: <Keyboard controller (i8042)> port 0x60,0x64 irq 1 on acpi0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
atkbd0: [ITHREAD]
uart0: <16550 or compatible> port 0x3f8-0x3ff irq 4 flags 0x10 on acpi0
uart0: [FILTER]
cpu0: <ACPI CPU> on acpi0
powernow0: <PowerNow! K8> on cpu0
cpu1: <ACPI CPU> on acpi0
powernow1: <PowerNow! K8> on cpu1
pmtimer0 on isa0
orm0: <ISA Option ROMs> at iomem 0xc0000-0xcefff,0xcf000-0xcffff,0xd0000-0xd0fff pnpid ORM0000 on isa0
sc0: <System console> at flags 0x100 on isa0
sc0: VGA <16 virtual consoles, flags=0x300>
vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
Timecounters tick every 1.000 msec
ipfw2 (+ipv6) initialized, divert enabled, nat loadable, rule-based forwarding enabled, default to accept, logging disabled
usbus0: 12Mbps Full Speed USB v1.0
usbus1: 480Mbps High Speed USB v2.0
ad4: 114473MB <WDC WD1200AAJS-00VTA0 01.01B01> at ata2-master UDMA100 SATA 3Gb/s
ugen0.1: <nVidia> at usbus0
uhub0: <nVidia OHCI root HUB, class 9/0, rev 1.00/1.00, addr 1> on usbus0
ugen1.1: <nVidia> at usbus1
uhub1: <nVidia EHCI root HUB, class 9/0, rev 2.00/1.00, addr 1> on usbus1
ad6: 114473MB <WDC WD1200AAJS-00VTA0 01.01B01> at ata3-master UDMA100 SATA 3Gb/s
SMP: AP CPU #1 Launched!
Root mount waiting for: usbus1 usbus0
uhub0: 8 ports with 8 removable, self powered
Root mount waiting for: usbus1
Root mount waiting for: usbus1
Root mount waiting for: usbus1
uhub1: 8 ports with 8 removable, self powered
Trying to mount root from ufs:/dev/ad4s1a
IP Filter: v4.1.28 initialized.  Default = pass all, Logging = enabled
em1: link state changed to UP
em0: link state changed to UP


"freebsd8 stable, падение сервера"
Отправлено morfey , 23-Фев-10 11:03 
вот кусочек из core.txt.0

Fatal trap 12: page fault while in kernel mode
cpuid = 0; apic id = 00
fault virtual address<->= 0x4
fault code<----><------>= supervisor read, page not present
instruction pointer<--->= 0x20:0xc57a306a
stack pointer<->        = 0x28:0xe56db944
frame pointer<->        = 0x28:0xe56db9c8
code segment<--><------>= base 0x0, limit 0xfffff, type 0x1b
<------><------><------>= DPL 0, pres 1, def32 1, gran 1
processor eflags<------>= interrupt enabled, resume, IOPL = 0
current process><------>= 0 (em1 taskq)
trap number<---><------>= 12
panic: page fault
cpuid = 0
Uptime: 1h28m57s
Physical memory: 1907 MB
Dumping 133 MB: 118 102 86 70 54 38 22 6


панику вызвал интерфейс em1 ? он смотрит на провайдера


"freebsd8 stable, падение сервера"
Отправлено hate , 23-Фев-10 11:14 

  Отключи все сетевые карты Intel (em). Найди карты Broadcom, установи и забудешь о всяких падениях. В 8-ке поломали работу с em, мне лень выяснять что. Где то с RC, точнее не помню.
У меня были такие такие сервера с такими проблемами, решалось это только так как я сказал выше.



"freebsd8 stable, падение сервера"
Отправлено sHaggY_caT , 23-Фев-10 12:54 
>
>
>  Отключи все сетевые карты Intel (em).

А почему они вообще выпустили релиз? Это же жесть (имхо)!
С Интелами идет куча платформ, броадком используется не везде....


"freebsd8 stable, падение сервера"
Отправлено hate , 23-Фев-10 13:14 
>>  Отключи все сетевые карты Intel (em).
>А почему они вообще выпустили релиз? Это же жесть (имхо)!

Да жесть. Мне пришлось ящик броадкомов купить да еще и за свои деньги.
Все нет времени и желания особого собрать из "хлама" платформу для тестов и интеловыми картами и написать pr c дебагом и трейсами.

Помучай гугла, там многие с интелами мучаются. Особенно если карта интегрированная.

>С Интелами идет куча платформ, броадком используется не везде....

Се ля ви.



"freebsd8 stable, падение сервера"
Отправлено sHaggY_caT , 23-Фев-10 13:22 
>>>  Отключи все сетевые карты Intel (em).
>>А почему они вообще выпустили релиз? Это же жесть (имхо)!
>
> Да жесть. Мне пришлось ящик броадкомов купить да еще и за
>свои деньги.
>Все нет времени и желания особого собрать из "хлама" платформу для тестов
>и интеловыми картами и написать pr c дебагом и трейсами.
>
> Помучай гугла, там многие с интелами мучаются. Особенно если карта интегрированная.

На моем старом месте работы, где было много (1,5k) серверов на фре, предпочитали подождать некоторое время после релиза (хотя бы пол-года, иногда больше).
Семерку, кстати, стали ставить не сразу, но с ней тоже была куча проблем (на форуме о них писать не готова, можно в личке), может пока вообще не стоит юзать восьмерку?
Семерка работает, ее допилили...



"freebsd8 stable, падение сервера"
Отправлено hate , 23-Фев-10 13:35 

>На моем старом месте работы, где было много (1,5k) серверов на фре,
>предпочитали подождать некоторое время после релиза (хотя бы пол-года, иногда больше).

Я активный тестировщик некоторых подсистем. У меня все на 8-ках и CURRENT.


>Семерку, кстати, стали ставить не сразу, но с ней тоже была куча
>проблем (на форуме о них писать не готова, можно в личке),

Я их все знаю. До 7.2 было не плохо использовать ветку 7. Начиная с 7.2 это стало УГ и я сразу от нее отказался везде где только мог.

>может пока вообще не стоит юзать восьмерку?
>Семерка работает, ее допилили...

Повторяю 7-ка это УГ. Это мое твердое IMHO основанное на огромном опыте ее использования. Нужно валить на 8-ку и чем быстрее тем лучше. В ней на сегодняшний день одна серьезная проблема - это em. Все остальные недочеты и недоработки в пределах нормы "нулевого релиза".


"freebsd8 stable, падение сервера"
Отправлено bit , 23-Фев-10 16:08 
Hi!
а что с карточками в 8ке не так?
Должны работать быстрее?

Вот сервер с пайпами, натом.
Interface           Traffic               Peak                Total
          
            em1  in     16.415 MB/s         16.821 MB/s            1.155 GB
                 out    26.288 MB/s         26.288 MB/s          699.487 MB

            em0  in     24.406 MB/s         24.406 MB/s          376.723 MB
                 out    16.672 MB/s         17.118 MB/s            2.123 GB

3:06PM  up 15 days, 20:57, 2 users, load averages: 0.40, 0.45, 0.44
8.0-RELEASE FreeBSD


"freebsd8 stable, падение сервера"
Отправлено hate , 23-Фев-10 18:07 
>а что с карточками в 8ке не так?

  Я понял, плохо объяснил. Так вот, есть некоторые фатальные для FreeBSD 8 конфигурации
оборудования при которых проявляется ошибка при работе с карточками em. Именно то что описывает топикпастер. Вычислить мне лично пока не удается. Падают сервера начиная от пролиантов и заканчивая всяким дреком. Или тебе лично повезло или нагрузка на сетевые интерфейсы слабая.


"freebsd8 stable, падение сервера"
Отправлено Warhead Wardick , 23-Фев-10 21:17 
Скажу сразу что в production\business critical я 8-ку еще не пихал ...

>Или тебе лично повезло

Видимо так ... а вообще всем кто *.0 в продакшен _не_ ставит всегда везёт :-Р   :)

>или нагрузка на сетевые интерфейсы слабая.

Ну в общем то да цЫфирь не впечатлит ... но ёлы палы - _вообще_ претензий нету. О! Кстати - у парня чипсет от nVidia, видео у них ничего, а вот чипсеты ихние я люто люблю :-Е Может чтобы баг всплыл нужна именно комбинация em + nVidia чипсет?


"freebsd8 stable, падение сервера"
Отправлено hate , 23-Фев-10 22:29 

>Кстати - у парня чипсет от
>nVidia, видео у них ничего, а вот чипсеты ихние я люто
>люблю :-Е Может чтобы баг всплыл нужна именно комбинация em +
>nVidia чипсет?

  У меня таких нет, а баг есть. :)



"freebsd8 stable, падение сервера"
Отправлено Warhead Wardick , 23-Фев-10 22:48 
>>Может чтобы баг всплыл нужна именно комбинация em + nVidia чипсет?
>  У меня таких нет, а баг есть. :)

Блин. Тады  - "ой"! :(


"freebsd8 stable, падение сервера"
Отправлено temny , 23-Фев-10 19:48 
Я бы не был так категоричен на счёт em, потому как в backtrace видно, что проблема проявляется при работе ipfilter / ipnat. Я согласен, что причиной такой паники может быть ошибка в коде драйвера em, но в данном случае мы не имеем ничего, что подтверждало бы это предположение.

Судя из того, куда указывает строка 2610 в ip_nat.c можно с большой степенью уверенности предположить, что http://www.freebsd.org/cgi/query-pr.cgi?pr=131601 это те же грабли, на которые наступили вы, и следующий патч (из этого же problem report) предотвратит kernel panic:


--- sys/contrib/ipfilter/netinet/ip_nat.c.orig  2009-09-28 06:16:23.115024000 +0300
+++ sys/contrib/ipfilter/netinet/ip_nat.c       2010-02-23 18:38:03.906812238 +0200
@@ -2585,6 +2585,9 @@
{
        frentry_t *fr;
        ipnat_t *np;
+       if (fin->fin_p == IPPROTO_TCP && tcp == NULL)
+               return -1;
+

        np = ni->nai_np;



"freebsd8 stable, падение сервера"
Отправлено hate , 23-Фев-10 22:30 

Испытаем. Спасибо.


"freebsd8 stable, падение сервера"
Отправлено morfey , 23-Фев-10 23:57 
Только хотел грешить на ипнат. Ибо нашел несколько тем с похожей проблемой и было 3 сервака с em,rl,nfe и re ,все равно падал.

Так что попробуем патч , заранее спасибо, установлю отпишусь :)


"freebsd8 stable, падение сервера"
Отправлено morfey , 01-Мрт-10 15:58 
>[оверквотинг удален]
>        frentry_t *fr;
>        ipnat_t *np;
>+       if (fin->fin_p == IPPROTO_TCP && tcp == NULL)
>+            
>   return -1;
>+
>
>        np = ni->nai_np;
>
>

Как обещал отписываю, все работает, аптайм уже неделя.

Большое человеческое спасибо!