The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Подвисание FreeBSD"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [ Отслеживать ]

"Подвисание FreeBSD"  
Сообщение от Y email(ok) on 11-Фев-09, 14:06 
День добрый. Возникла следующая проблема.
Комп
AMD Phenom(tm) 9950 Quad-Core Processor
4GB
2x400GB

FreeBSD 7.1-STABLE
ZFS
mpd (300-500 online)
radius
mysql5.0
apache
Случается следующая фигня, подвисает система, не реагирует ни на одно соединение (ssh, smtp, pop, http) с консоли на ввод логина запрос пароля не появляетя. Что-то конкретно грузит комп (подозреваю мускуль). Перегруз с кнопки и в логах не нахожу ничего подозрительного, в лог походу в эти моменты тоже ничего не пишется, но все установленные соединения к примеру VPN не рвутся и инет для них пашет.
Подскажите как узнать что всётаки грузи систему?
Обычная загрузка системы load averages:  0.36,  0.40,  0.42
Случается такое редко (раз 2-3 месяца), проследить какуюлибо зависимость не удаётся.
Спасибо.

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Подвисание FreeBSD"  
Сообщение от Fes email(??) on 11-Фев-09, 14:32 
>[оверквотинг удален]
>Случается следующая фигня, подвисает система, не реагирует ни на одно соединение (ssh,
>smtp, pop, http) с консоли на ввод логина запрос пароля не
>появляетя. Что-то конкретно грузит комп (подозреваю мускуль). Перегруз с кнопки и
>в логах не нахожу ничего подозрительного, в лог походу в эти
>моменты тоже ничего не пишется, но все установленные соединения к примеру
>VPN не рвутся и инет для них пашет.
>Подскажите как узнать что всётаки грузи систему?
>Обычная загрузка системы load averages:  0.36,  0.40,  0.42
>Случается такое редко (раз 2-3 месяца), проследить какуюлибо зависимость не удаётся.
>Спасибо.

Система зависает "намертво" или при локальной работе реагирует на нажатия?

У меня была проблема, неожиданно сервер уходил в глухой ступор и ни на что не реагировал.
Спасала только горячая перезагрузка. После долгих мучений в bios две планки по 2G поставил в RAID (есть на маме такая фишка, объём памяти в два раза становится меньшим, но планки дублируют друг друга) - система виснуть перестала. Вывод - какая-то из планок памяти оказалось дефективной. И проявлятся это стало не сразу, а месяца через 3 после установки сервера на колокейшн.

p.s. мемтесты какие-то гонял?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Подвисание FreeBSD"  
Сообщение от Y email(ok) on 11-Фев-09, 15:01 
Спасибо за ответ.
Мемтэсты гонял, всё в прорядке
система реагирует на нажатие клавишь. Alt-Fx переключает консоли, но при вводе логина, password запрос так и не появляется. Я же писал, даже те кто до этого подключился по ВПН сидят в интенете. Маршрутизация и НАТ работает, а вот на сам вервер уже достучаться никак нельзя.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Подвисание FreeBSD"  
Сообщение от temny email(??) on 11-Фев-09, 15:32 
По описанию похоже на deadlock в работе zfs.
Это может помочь:
echo vfs.zfs.zil_disable=1 >> /boot/loader.conf
echo vfs.zfs.prefetch_disable=1 >> /boot/loader.conf
Кроме того следует помнить что в рализация zfs в RELENG_7 значительно отстаёт от HEAD
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Подвисание FreeBSD"  
Сообщение от Golub Mikhail (ok) on 11-Фев-09, 15:38 
>Спасибо за ответ.
>Мемтэсты гонял, всё в прорядке
>система реагирует на нажатие клавишь. Alt-Fx переключает консоли, но при вводе логина,
>password запрос так и не появляется. Я же писал, даже те
>кто до этого подключился по ВПН сидят в интенете. Маршрутизация и
>НАТ работает, а вот на сам вервер уже достучаться никак нельзя.
>

Тоже самое наблюдается. Но хорошо, что сервер еще тестовый ...
Было на 7.0, осталось это же и на 7.1
Закономерности тоже не нашел.

На сервере два винта в зеркале через аппаратный raid - на этом зеркале система, логи, базы ... И еще два винта под ZFS. На этой ZFS лежат каталоги ftp.
Что заметил ...
Сервер "работает", по сети доступен, локально. Но на ftp юзеры зайти не могут.
Захожу по ssh - нормально. И как только перехочу в каталог, который на zfs, или выполню любую команду, связанную с zfs (zpool, zfs ...) - моя сессия ssh зависает. И потом уже ни с консоли, ни с другой сессии ничего сделать не могу :(
Перед тем, как это заметил, менял и планировщики в ядре, кучу опций .., ребутил сервер сутками ...
И потом все же стал грешить на ZFS.
Может быть именно связка hard raid + zfs дают такие проблемы - не знаю.

И иногда при ребутах в логе вижу такое:
aacd0: <RAID 1 (Mirror)> on aac0
aacd0: 140089MB (286902272 sectors)
aacd1: <Volume> on aac0
aacd1: 140089MB (286902272 sectors)
aacd2: <Volume> on aac0
aacd2: 140089MB (286902272 sectors)
(probe3:aacp1:0:1:1): AutoSense Failed
(probe3:aacp1:0:1:2): AutoSense Failed
(probe3:aacp1:0:1:3): AutoSense Failed
(probe0:aacp1:0:1:4): AutoSense Failed
(probe0:aacp1:0:1:5): AutoSense Failed
(probe0:aacp1:0:1:6): AutoSense Failed
(probe0:aacp1:0:1:7): AutoSense Failed
...
Trying to mount root from ufs:/dev/aacd0s1a
aac0: COMMAND 0xffffffff80e622c0 TIMEOUT AFTER 32 SECONDS
aac0: COMMAND 0xffffffff80e5fe70 TIMEOUT AFTER 32 SECONDS
aac0: COMMAND 0xffffffff80e62560 TIMEOUT AFTER 32 SECONDS
aac0: COMMAND 0xffffffff80e61b50 TIMEOUT AFTER 32 SECONDS

ZFS filesystem version 6
ZFS storage pool version 6


Раньше на 7.0 в dmesg писал такое (другая разбивка дисков была):
ahd0: SCSI Cell parity error SSTAT3 == 0x2
ahd0: Missing case in ahd_handle_scsiint. status = 0
>>>>>>>>>>>>>>>>>> Dump Card State Begins <<<<<<<<<<<<<<<<<

ahd0: Dumping Card State at program address 0x36 Mode 0x33
Card was paused


P.S. Так толком и не определил, в чем проблема.
Грешу на ZFS - не зря ведь пишут "experimental", но отказываться от нее не хочется.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Подвисание FreeBSD"  
Сообщение от Y email(ok) on 11-Фев-09, 16:00 
Спасибо за ответ.
У меня вся система на ZFS (ну кроме /bootdir)
Два винта в рейде ZFS mirror
пойду по совету temny
echo vfs.zfs.zil_disable=1 >> /boot/loader.conf
echo vfs.zfs.prefetch_disable=1 >> /boot/loader.conf
Отпишусь если проблема останется.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Подвисание FreeBSD"  
Сообщение от universite email(ok) on 12-Фев-09, 05:55 
>Спасибо за ответ.
>У меня вся система на ZFS (ну кроме /bootdir)
>Два винта в рейде ZFS mirror
>пойду по совету temny
>echo vfs.zfs.zil_disable=1 >> /boot/loader.conf
>echo vfs.zfs.prefetch_disable=1 >> /boot/loader.conf
>Отпишусь если проблема останется.

Аналогичная фигня
# cat /boot/loader.conf | grep -v ^#
vfs.zfs.prefetch_disable="1"

vfs.zfs.arc_max="448М"
vm.kmem_size_max="999M"
vm.kmem_size="999M"
vfs.zfs.zil_disable="1"


zfs_load="YES"
zpool_cache_load="YES"
zpool_cache_type="/boot/zfs/zpool.cache"
zpool_cache_name="/boot/zfs/zpool.cache"


Но по-прежнему, когда начинается высокая нагрузка на винты, zfs перестает отвечать или отвечает крайне медленно...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Подвисание FreeBSD"  
Сообщение от temny email(??) on 12-Фев-09, 09:41 
>Но по-прежнему, когда начинается высокая нагрузка на винты, zfs перестает отвечать или
>отвечает крайне медленно...

Здесь http://wiki.freebsd.org/ZFSKnownProblems описано две причины приводящих к deadlock в работе zfs - это prefetch (плюс zil судя по обсуждениям в мэйллистах) и "heavy IO activity between ZFS and another file system".
Если prefetch и zil уже исключены, то более вероятно, что причина во второром пункте. Плюс упоминание о второй проблеме всегда (или как минимум чаще) связано с RELENG_7 - т.е. переход на HEAD и zpool/zfs upgrade может улучшить ситуацию с zfs (но переход на "ветку для разработчиков" может добавить других проблем :) ).
Выключение zil/prefetch в моём случае позволяло значительно улучшить ситуацию, но не решало проблему в целом. На этом мой опыт решения проблем с zfs на RELENG_7 заканчивается - в одном случае я вернулся на ufs, в другом - перешел на HEAD.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Подвисание FreeBSD"  
Сообщение от Y email(ok) on 14-Фев-09, 09:27 
Сделал так
vfs.zfs.prefetch_disable="1"
vfs.zfs.zil_disable="1"

И проблема вернулась на вторые сутки. Сегодня подвис компьютер опять.
Придётся переходись на UFS2, на CURRENT что-то стрёмно.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "Подвисание FreeBSD"  
Сообщение от Golub Mikhail (ok) on 04-Мрт-09, 10:38 
>Сделал так
>vfs.zfs.prefetch_disable="1"
>vfs.zfs.zil_disable="1"
>
>И проблема вернулась на вторые сутки. Сегодня подвис компьютер опять.
>Придётся переходись на UFS2, на CURRENT что-то стрёмно.

То же самое :(
Переинсталил сервер с нуля - 7.1.
Запустил в работу ...
Проработал неделю и полуподвисшем состоянии снова.
По сети отвечает, зайти локально не получается.
База mysql не отвечает ...
Заглохло все на запросах к файловой системе.
Корень на ufs, все остальное на zfs.
Печально :(

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "Подвисание FreeBSD"  
Сообщение от universite email(ok) on 04-Мрт-09, 15:31 
>>Сделал так
>>vfs.zfs.prefetch_disable="1"
>>vfs.zfs.zil_disable="1"
>>
>>И проблема вернулась на вторые сутки. Сегодня подвис компьютер опять.
>>Придётся переходись на UFS2, на CURRENT что-то стрёмно.
>
>То же самое :(
>Переинсталил сервер с нуля - 7.1.

FreeBSD 8.0-CURRENT #0: Sun Feb 22 09:23:36 EET 2009
Файлопомойка на ZFS пашет как часы.

#cat /boot/loader.conf | | grep -v ^$ | grep -v ^#

vfs.zfs.prefetch_disable="1"
vfs.zfs.arc_max="448М"
vm.kmem_size_max="999M"
vm.kmem_size="999M"
vfs.zfs.zil_disable="1"
zfs_load="YES"
zpool_cache_load="YES"
zpool_cache_type="/boot/zfs/zpool.cache"
zpool_cache_name="/boot/zfs/zpool.cache"


Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "Подвисание FreeBSD"  
Сообщение от universite email(ok) on 04-Мрт-09, 15:32 

>Но по-прежнему, когда начинается высокая нагрузка на винты, zfs перестает отвечать или
>отвечает крайне медленно...

Лажа была в кривом ata драйвере, после обновления CURRENT, все заработало.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "Подвисание FreeBSD"  
Сообщение от Golub Mikhail (ok) on 04-Мрт-09, 15:57 
>
>>Но по-прежнему, когда начинается высокая нагрузка на винты, zfs перестает отвечать или
>>отвечает крайне медленно...
>
>Лажа была в кривом ata драйвере, после обновления CURRENT, все заработало.

FreeBSD 7.1-RELEASE-p3
vfs.zfs.arc_min: 16777216
vfs.zfs.arc_max: 314572800
vfs.zfs.mdcomp_disable: 0
vfs.zfs.prefetch_disable: 1
vfs.zfs.zio.taskq_threads: 0
vfs.zfs.recover: 0
vfs.zfs.vdev.cache.size: 10485760
vfs.zfs.vdev.cache.max: 16384
vfs.zfs.cache_flush_disable: 0
vfs.zfs.zil_disable: 1
vfs.zfs.debug: 0

Вот с этими параметрами и подвисает ...

В общем, подожду немного, надоест, и придется вернуться на ufs.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру