The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"OpenSolaris, странный рост нагрузки CPU"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Системное и пользовательское ПО / Solaris)
Изначальное сообщение [ Отслеживать ]

"OpenSolaris, странный рост нагрузки CPU"  +/
Сообщение от tikh on 26-Янв-15, 12:30 
Добрый день!

Сервер на OpenSolaris в качестве NAS с образами виртуальных машин. На сервере стоит агент системы мониторинга Munin, по данным которого сегодня замечен странный рост нагрузки на ЦП (картинка по ссылке). Load average также экспоненциально растет и составляет сейчас 0.6.
При этом с помощью prstat идентифицировать потребляющий процесс не удается, как будто все в норме:

$ prstat | head
   PID USERNAME  SIZE   RSS STATE  PRI NICE      TIME  CPU PROCESS/NLWP      
   312 root      279M  260M cpu0     1    0  90:46:11 5,5% java/50
   559 daemon   2952K 1764K sleep   60  -20 257:13:11 0,3% nfsd/18
  6956 root     9856K 3312K sleep    0    0   0:00:00 0,0% munin-node/1
  7616 james    5620K 2628K cpu7    59    0   0:00:00 0,0% prstat/1
   400 root     2576K  984K sleep   59    0   0:00:00 0,0% in.ndpd/1
   150 root     2188K 1152K sleep   59    0   0:00:00 0,0% powerd/4
   227 root     3884K 1272K sleep   59    0   0:00:04 0,0% cron/1
   171 root     5996K 2128K sleep   59    0   0:00:00 0,0% picld/4
   397 root     3576K 1904K sleep   59    0   0:10:37 0,0% hald-addon-acpi/1

Сам агент мониторинга получает данные о нагрузке на ЦП с помощью kstat.
Как можно выявить, что нагружает процессор?
Uptime сервера более 2х лет, нагрузка на него монотонная и практически не меняется. За указанный период ничего подобного не наблюдалось.

http://forum.ixbt.com/post.cgi?id=attach:76:11189:0:1.png

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "OpenSolaris, странный рост нагрузки CPU"  +/
Сообщение от старый сантехник on 26-Янв-15, 13:35 
А что вы хотите найти именно командой "prstat | head"?

Запустите просто prstat, полУчите живую картинку. И насколько достоверно показывает все munin? Как-то настораживает 0 для I/O при том, что машина, как я понимаю, является NFS сервером и хранилищем для вирт. машин.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "OpenSolaris, странный рост нагрузки CPU"  +/
Сообщение от tikh on 26-Янв-15, 13:44 
> А что вы хотите найти именно командой "prstat | head"?
> Запустите просто prstat, полУчите живую картинку. И насколько достоверно показывает все
> munin? Как-то настораживает 0 для I/O при том, что машина, как
> я понимаю, является NFS сервером и хранилищем для вирт. машин.

prstat я, конечно, пускал. Просто он ведь сортирует по загрузке ЦП, поэтому привел первые строки, процессы ниже - с нулевой нагрузкой.
модуль мунина берет статистику из kstat командой:

kstat -p -c misc -m cpu_stat

далее ее парсит. и по этим данным процент загрузки CPU взлетел за последние сутки от чего-то.
Да, сервер держит образы ВМ и раздает их по NFS. сам больше ничего не делает, остальные показатели производительности не менялись.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "OpenSolaris, странный рост нагрузки CPU"  +/
Сообщение от tikh on 26-Янв-15, 13:55 
Как-то настораживает 0 для I/O

да, есть такой момент. фактически, при повышении нагрузки на хранилище растет 'system' на графике. на сервере raid-контроллер adaptec, ввод-вывод идет через его драйвер

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

4. "OpenSolaris, странный рост нагрузки CPU"  +/
Сообщение от старый сантехник on 26-Янв-15, 14:09 
Если вы уверены, что нет процессов, кот. занимают проц, то все-таки, наверное, надо покопать в сторону достоверности показаний munin. Нет ли такого, что на самом деле есть некий wait, кот. интерпретируется munin как system.

Кстати, вот еще, как с заполненностью файловых систем? df -h, например, можете показать, не секретно? :)

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "OpenSolaris, странный рост нагрузки CPU"  +/
Сообщение от tikh on 26-Янв-15, 14:33 
> Если вы уверены, что нет процессов, кот. занимают проц, то все-таки, наверное,
> надо покопать в сторону достоверности показаний munin.

вот странно то, что 2.5 года все шло нормально, а тут вдруг поползло нечто. как раз и не знаю, чем еще можно посмотреть процессы и нагрузку, ими создаваемую

> Кстати, вот еще, как с заполненностью файловых систем? df -h, например, можете
> показать, не секретно? :)

заполненность я поддерживаю вручную (удаляю накопившиеся снапшоты). на данный момент 50% пулов свободно:

$ zpool list
NAME     SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
data1   2,70T  1,54T  1,17T    56%  ONLINE  -
my****  1,81T   260G  1,56T    14%  ONLINE  -
rpool   9,94G  4,56G  5,37G    45%  ONLINE  -


Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "OpenSolaris, странный рост нагрузки CPU"  +/
Сообщение от старый сантехник on 26-Янв-15, 15:00 
ну можно по очереди гипотезы двигать, начать таки с дисков

В момент такой непонятной нагрузки запустите что-то типа iostat -snx 5

Вот там будет видно есть ли wait проценты на отдельных дисках.

И, как ни странно, раскладку по состоянию системы - system, user, wait лучше чем prstat дает старый добрый top. Как я помню, на OpenSolaris он тоже был. Посмотрите, что он дает в моменты такой нагрузки

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "OpenSolaris, странный рост нагрузки CPU"  +/
Сообщение от tikh on 26-Янв-15, 15:48 
> ну можно по очереди гипотезы двигать, начать таки с дисков
> В момент такой непонятной нагрузки запустите что-то типа iostat -snx 5
> Вот там будет видно есть ли wait проценты на отдельных дисках.
> И, как ни странно, раскладку по состоянию системы - system, user, wait
> лучше чем prstat дает старый добрый top. Как я помню, на
> OpenSolaris он тоже был. Посмотрите, что он дает в моменты такой
> нагрузки

так дело в том, что эта "нагрузка" наблюдается прямо сейчас по данным munin, 2 года была на уровне 5% а за последнюю неделю выросла до 70%! По iostat все впорядке:

    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 fd0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c7t0d0
   77.2    1.8 9804.1  128.0  0.0  3.2    0.0   40.2   0  39 c7t1d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c7t2d0

а вот top возвращает Segmentation Fault. Вообще top на opensolaris работающим видел только несколько раз

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "OpenSolaris, странный рост нагрузки CPU"  +/
Сообщение от старый сантехник on 26-Янв-15, 16:10 
top рабочий видел много раз, но к делу оно не относится. :)

Тогда проверьте, что ли, насколько показания munin соответствуют тому, что будет показывать, например, вывод vmstat 5. Это родная команда, точно должна показывать реальные цифры.

А вообще - вопрос возник из-за показаний munin или вы каким-то образом ощущаете, что сервер действительно медленне стал?

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. "OpenSolaris, странный рост нагрузки CPU"  +/
Сообщение от tikh on 26-Янв-15, 16:21 
> top рабочий видел много раз, но к делу оно не относится. :)
> Тогда проверьте, что ли, насколько показания munin соответствуют тому, что будет показывать,
> например, вывод vmstat 5. Это родная команда, точно должна показывать реальные
> цифры.
> А вообще - вопрос возник из-за показаний munin или вы каким-то образом
> ощущаете, что сервер действительно медленне стал?

по vmstat все ок, загрузка не более 10%!
Вообще насторожил исключительно munin, все работает с той же производительностью. наверное действительно какой-то косяк в математике модуля munin, который обрабатывает данные от kstat. понаблюдаю дальше..

Большое спасибо Вам за комментарии!

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру