Привет.
Есть несколько абсолютно одинаковых машин с одинаковыми установками CentOS+xen.
Некоторые работают замечательно, а вот некоторые зависают каждые 3-4 дня.
Причем никаких сообщений в логах нет, никаких ошибок, просто мертвый завис. После перезагрузки видно, что машина именно зависает - crond лог показывает, что ежеминутные запуски прекращаются и возобновляются только после перезагрузки.
По ipKVM виден только черный экран, на клавиатуру не реагирует.
В общем, хотелось бы услышать любые советы как можно понять причины этих зависов - может быть включить какое-то расширенное логгирование и тп.
Спасибо.
Не связано ли это с последней обнаруженной уязвимостью?Неплохо бы отследить состояние памяти.
Если у Вас собирается статистика по состоянию памяти, или есть графики (mrtg etc.)
обратите внимание.
> Не связано ли это с последней обнаруженной уязвимостью?
> Неплохо бы отследить состояние памяти.
> Если у Вас собирается статистика по состоянию памяти, или есть графики (mrtg
> etc.)
> обратите внимание.Графики есть, никаких аномалий.
А что за обнаруженная уязвимость?
>> Не связано ли это с последней обнаруженной уязвимостью?
>> Неплохо бы отследить состояние памяти.
>> Если у Вас собирается статистика по состоянию памяти, или есть графики (mrtg
>> etc.)
>> обратите внимание.
> Графики есть, никаких аномалий.
> А что за обнаруженная уязвимость?Проблема с glob
"""
Желающим попробовать уязвимость в действии могу предложить набрать в bash консоли команду наподобие
ls ../../*/../*/*/../../*/*/*/*Можно эксплуатировать, например, из PHP:
php -r 'print glob("../../*/../*/*/../../*/*/*/*");'или Python
python -c 'import glob; glob.glob("../../*/../*/*/../../*/*/*/*")'
и из любого другого языка, обращающегося к этой функции.
"""
>[оверквотинг удален]
>>> Если у Вас собирается статистика по состоянию памяти, или есть графики (mrtg
>>> etc.)
>>> обратите внимание.
>> Графики есть, никаких аномалий.
>> А что за обнаруженная уязвимость?
> Проблема с glob
> """
> Желающим попробовать уязвимость в действии могу предложить набрать в bash консоли команду
> наподобие
> ls ../../*/../*/*/../../*/*/*/*В системе, стоящей на железе (Fedora 12, моя воркстанция), в OpenVZ-контейнере, и KVM-виртуалках с CentOS нифига не работает(но обновится, конечно, нужно). То есть, CPU, конечно, кушает, но разжиревший FireFox, или Apache при DDoS, какой-нибудь шугар или 1с-ина, да и самба, часто кушают гораздо больше.
> В системе, стоящей на железе (Fedora 12, моя воркстанция), в OpenVZ-контейнере, и
> KVM-виртуалках с CentOS нифига не работает(но обновится, конечно, нужно). То есть,
> CPU, конечно, кушает, но разжиревший FireFox, или Apache при DDoS, какой-нибудь
> шугар или 1с-ина, да и самба, часто кушают гораздо больше.Там дело не только в CPU, там память отжирается нехило.
>> В системе, стоящей на железе (Fedora 12, моя воркстанция), в OpenVZ-контейнере, и
>> KVM-виртуалках с CentOS нифига не работает(но обновится, конечно, нужно). То есть,
>> CPU, конечно, кушает, но разжиревший FireFox, или Apache при DDoS, какой-нибудь
>> шугар или 1с-ина, да и самба, часто кушают гораздо больше.
> Там дело не только в CPU, там память отжирается нехило.Все равно, имхо, для DoS как-то неубедительно. Вряд ли от такого может упасть сервис, кроме, может быть, уже почти до предела загруженного.
А уж висюки виртуалок и хост-систем, имхо, совсем не про эту багу.
Еще посмотрите настройки в BIOS-е.
Вполне возможно что-то отключено/включено
> Привет.
> Есть несколько абсолютно одинаковых машин с одинаковыми установками CentOS+xen.
> Некоторые работают замечательно, а вот некоторые зависают каждые 3-4 дня.
> Причем никаких сообщений в логах нет, никаких ошибок, просто мертвый завис. После
> перезагрузки видно, что машина именно зависает - crond лог показывает, что
> ежеминутные запуски прекращаются и возобновляются только после перезагрузки.
> По ipKVM виден только черный экран, на клавиатуру не реагирует.
> В общем, хотелось бы услышать любые советы как можно понять причины этих
> зависов - может быть включить какое-то расширенное логгирование и тп.
> Спасибо.Попробуйте с одной из проблемных машин _временно_ переместить виртуалки на одну-две из стабильно работающих.
Если:
а) Начнутся висюки у ранее стабильно работающих, проблема локализована в виртуалках и их настройках
б) Все останется как прежде, и машины продолжат работать стабильно, проблема локализована в сервере, в этом случае:
б.1) Попробуйте переставить диски проблемного сервера в платформу, ранее работавшую стабильно. Если начнутся проблемы, проблема локализована в конфигах Xen Dom0
б.2) Если сервер из прошлого пункта продолжит работать стабильно, проблема либо в железе, либо в BIOS
б.2.a) Попробуйте по-очереди заменять комплектуху пробленой платформы на 100%-но рабочую, если проблема не решится, она локализована в BIOS, или материнской плате.
б.2.б) Сбросьте настройки BIOS на одной из "рабочих" и "глючных" нод, и настройте их по-пунктово аналогично
б.2.с) Если все останется так, как прежде (глючная виснет, а безглючная нет, как и раньше), проблема в материнке
Если машины из одной партии, может быть брак. Если методом исключения, описанным выше, выясните достоверно, что проблема в железе, погоняйте все машины со стандартным ядром на стресс-тестах, мало ли какие еще проблемы в железе всплывут?