https://www.opennet.dev/openforum/vsluhforumID1/95952.html Добрый день!<br><br>Сервер на OpenSolaris в качестве NAS с образами виртуальных машин. На сервере стоит агент системы мониторинга Munin, по данным которого сегодня замечен странный рост нагрузки на ЦП (картинка по ссылке). Load average также экспоненциально растет и составляет сейчас 0.6.<br>При этом с помощью prstat идентифицировать потребляющий процесс не удается, как будто все в норме:<br><br>$ prstat &#124; head<br> PID USERNAME SIZE RSS STATE PRI NICE TIME CPU PROCESS/NLWP <br> 312 root 279M 260M cpu0 1 0 90:46:11 5,5% java/50<br> 559 daemon 2952K 1764K sleep 60 -20 257:13:11 0,3% nfsd/18<br> 6956 root 9856K 3312K sleep 0 0 0:00:00 0,0% munin-node/1<br> 7616 james 5620K 2628K cpu7 59 0 0:00:00 0,0% prstat/1<br> 400 root 2576K 984K sleep 59 0 0:00:00 0,0% in.ndpd/1<br> 150 root 2188K 1152K sleep 59 0 0:00:00 0,0% powerd/4<br> 227 root 3884K 1272K sleep 59 0 0:00:04 0,0% cron/1<br> 171 root 5996K 2128K sleep 59 0 0:0 https://www.opennet.dev/openforum/vsluhforumID1/95952.html#9 Mon, 26 Jan 2015 13:21:34 GMT &gt; top рабочий видел много раз, но к делу оно не относится. :) <br>&gt; Тогда проверьте, что ли, насколько показания munin соответствуют тому, что будет показывать, <br>&gt; например, вывод vmstat 5. Это родная команда, точно должна показывать реальные <br>&gt; цифры.<br>&gt; А вообще - вопрос возник из-за показаний munin или вы каким-то образом <br>&gt; ощущаете, что сервер действительно медленне стал?<br><br>по vmstat все ок, загрузка не более 10%!<br>Вообще насторожил исключительно munin, все работает с той же производительностью. наверное действительно какой-то косяк в математике модуля munin, который обрабатывает данные от kstat. понаблюдаю дальше..<br><br>Большое спасибо Вам за комментарии!<br> https://www.opennet.dev/openforum/vsluhforumID1/95952.html#8 Mon, 26 Jan 2015 13:10:35 GMT top рабочий видел много раз, но к делу оно не относится. :)<br><br>Тогда проверьте, что ли, насколько показания munin соответствуют тому, что будет показывать, например, вывод vmstat 5. Это родная команда, точно должна показывать реальные цифры.<br><br>А вообще - вопрос возник из-за показаний munin или вы каким-то образом ощущаете, что сервер действительно медленне стал?<br><br> https://www.opennet.dev/openforum/vsluhforumID1/95952.html#7 Mon, 26 Jan 2015 12:48:01 GMT &gt; ну можно по очереди гипотезы двигать, начать таки с дисков <br>&gt; В момент такой непонятной нагрузки запустите что-то типа iostat -snx 5 <br>&gt; Вот там будет видно есть ли wait проценты на отдельных дисках.<br>&gt; И, как ни странно, раскладку по состоянию системы - system, user, wait <br>&gt; лучше чем prstat дает старый добрый top. Как я помню, на <br>&gt; OpenSolaris он тоже был. Посмотрите, что он дает в моменты такой <br>&gt; нагрузки <br><br>так дело в том, что эта "нагрузка" наблюдается прямо сейчас по данным munin, 2 года была на уровне 5% а за последнюю неделю выросла до 70%! По iostat все впорядке:<br><br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0 0 fd0<br> 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0 0 c7t0d0<br> 77.2 1.8 9804.1 128.0 0.0 3.2 0.0 40.2 0 39 c7t1d0<br> 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0 0 c7t2d0<br><br>а вот top возвращает Segmentation Fault. Вообще top на opensolaris работающим видел только https://www.opennet.dev/openforum/vsluhforumID1/95952.html#6 Mon, 26 Jan 2015 12:00:48 GMT ну можно по очереди гипотезы двигать, начать таки с дисков<br><br>В момент такой непонятной нагрузки запустите что-то типа iostat -snx 5<br><br>Вот там будет видно есть ли wait проценты на отдельных дисках.<br><br>И, как ни странно, раскладку по состоянию системы - system, user, wait лучше чем prstat дает старый добрый top. Как я помню, на OpenSolaris он тоже был. Посмотрите, что он дает в моменты такой нагрузки<br> https://www.opennet.dev/openforum/vsluhforumID1/95952.html#5 Mon, 26 Jan 2015 11:33:27 GMT &gt; Если вы уверены, что нет процессов, кот. занимают проц, то все-таки, наверное, <br>&gt; надо покопать в сторону достоверности показаний munin. <br><br>вот странно то, что 2.5 года все шло нормально, а тут вдруг поползло нечто. как раз и не знаю, чем еще можно посмотреть процессы и нагрузку, ими создаваемую<br> <br><br>&gt; Кстати, вот еще, как с заполненностью файловых систем? df -h, например, можете <br>&gt; показать, не секретно? :) <br><br>заполненность я поддерживаю вручную (удаляю накопившиеся снапшоты). на данный момент 50% пулов свободно:<br><br>$ zpool list<br>NAME SIZE USED AVAIL CAP HEALTH ALTROOT<br>data1 2,70T 1,54T 1,17T 56% ONLINE -<br>my**** 1,81T 260G 1,56T 14% ONLINE -<br>rpool 9,94G 4,56G 5,37G 45% ONLINE -<br><br><br> https://www.opennet.dev/openforum/vsluhforumID1/95952.html#4 Mon, 26 Jan 2015 11:09:50 GMT Если вы уверены, что нет процессов, кот. занимают проц, то все-таки, наверное, надо покопать в сторону достоверности показаний munin. Нет ли такого, что на самом деле есть некий wait, кот. интерпретируется munin как system.<br><br>Кстати, вот еще, как с заполненностью файловых систем? df -h, например, можете показать, не секретно? :)<br><br> https://www.opennet.dev/openforum/vsluhforumID1/95952.html#3 Mon, 26 Jan 2015 10:55:20 GMT Как-то настораживает 0 для I/O <br><br>да, есть такой момент. фактически, при повышении нагрузки на хранилище растет 'system' на графике. на сервере raid-контроллер adaptec, ввод-вывод идет через его драйвер<br><br> https://www.opennet.dev/openforum/vsluhforumID1/95952.html#2 Mon, 26 Jan 2015 10:44:05 GMT &gt; А что вы хотите найти именно командой "prstat &#124; head"?<br>&gt; Запустите просто prstat, полУчите живую картинку. И насколько достоверно показывает все <br>&gt; munin? Как-то настораживает 0 для I/O при том, что машина, как <br>&gt; я понимаю, является NFS сервером и хранилищем для вирт. машин.<br><br>prstat я, конечно, пускал. Просто он ведь сортирует по загрузке ЦП, поэтому привел первые строки, процессы ниже - с нулевой нагрузкой.<br>модуль мунина берет статистику из kstat командой:<br><br>kstat -p -c misc -m cpu_stat<br><br>далее ее парсит. и по этим данным процент загрузки CPU взлетел за последние сутки от чего-то.<br>Да, сервер держит образы ВМ и раздает их по NFS. сам больше ничего не делает, остальные показатели производительности не менялись.<br> https://www.opennet.dev/openforum/vsluhforumID1/95952.html#1 Mon, 26 Jan 2015 10:35:30 GMT А что вы хотите найти именно командой "prstat &#124; head"?<br><br>Запустите просто prstat, полУчите живую картинку. И насколько достоверно показывает все munin? Как-то настораживает 0 для I/O при том, что машина, как я понимаю, является NFS сервером и хранилищем для вирт. машин.<br>