https://www.opennet.ru/openforum/vsluhforumID1/88469.html Добрый день,<br>Есть веб-сервер на <br>6.4-RELEASE-p7 FreeBSD 6.4-RELEASE-p7 #0: Fri Oct 2 01:28:08 UTC 2009 root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/SMP amd64<br><br>Софт как обычно: апач, nginx, mysql, named, ftp.<br>Трафика не много, около 2 мегабит.<br>И вот в топе наблюдаю странную картину:<br>last pid: 29001; load averages: 2.34, 2.39, 2.36 up 11+21:04:42 16:00:50<br>100 processes: 3 running, 95 sleeping, 2 stopped<br>CPU: 28.1% user, 0.0% nice, 68.9% system, 0.6% interrupt, 2.4% idle<br>Mem: 566M Active, 831M Inact, 267M Wired, 56M Cache, 212M Buf, 103M Free<br>Swap: 4045M Total, 100K Used, 4045M Free<br><br> PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND<br>90307 www 1 4 0 125M 45568K accept 0 4:01 4.74% httpd<br>79614 www 1 4 0 122M 42660K accept 0 1:17 4.25% httpd<br> 764 www 1 4 0 121M 41760K accept 1 3:53 4.00% httpd<br>75274 www 1 4 0 https://www.opennet.ru/openforum/vsluhforumID1/88469.html#12 Sat, 20 Mar 2010 08:39:28 GMT &gt;Чисто для себя поинтересуюсь, у вас двухядерник или a-la hyper-threading? <br>&gt;А чего апачи такие, эмм, толстоватые? По 40-55мб процесс... Какими модулями вы <br>&gt;его нашинковали, если не секрет? <br><br>После проверки диска ситуация нормализовалась. <br><br>Проц здесь такой:<br>CPU: Intel(R) Pentium(R) Dual CPU E2200 @ 2.20GHz (2194.51-MHz K8-class CPU)<br> Origin = "GenuineIntel" Id = 0x6fd Stepping = 13<br> Features=0xbfebfbff&lt;FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE&gt;<br> Features2=0xe39d&lt;SSE3,RSVD2,MON,DS_CPL,EST,TM2,SSSE3,CX16,xTPR,PDCM&gt;<br> AMD Features=0x20100800&lt;SYSCALL,NX,LM&gt;<br> AMD Features2=0x1&lt;LAHF&gt;<br> Cores per package: 2<br>real memory = 2137522176 (2038 MB)<br>avail memory = 2051100672 (1956 MB)<br>ACPI APIC Table: &lt;INTELB R_WATERP&gt;<br>FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs<br> cpu0 (BSP): APIC ID: 0<br> cpu1 (AP): APIC ID: 1<br><br>А это модули, в принципе все стандартное:<br>cat /usr/local/etc/apache2/httpd.conf &#124;grep Load https://www.opennet.ru/openforum/vsluhforumID1/88469.html#11 Sat, 20 Mar 2010 00:25:50 GMT &gt;Т.е. все как бы нормально. <br>&gt;Посмотрим что даст fsck если техники в ДЦ сегодня ее сделают. <br><br>Ну, как бы да, если бы не sys в 60% да еще на двух процах...<br>Чисто для себя поинтересуюсь, у вас двухядерник или a-la hyper-threading?<br>А чего апачи такие, эмм, толстоватые? По 40-55мб процесс... Какими модулями вы его нашинковали, если не секрет?<br><br> https://www.opennet.ru/openforum/vsluhforumID1/88469.html#10 Fri, 19 Mar 2010 22:59:32 GMT top -S<br>CPU: 36.6% user, 0.0% nice, 61.5% system, 0.2% interrupt, 1.7% idle<br>Mem: 874M Active, 543M Inact, 268M Wired, 53M Cache, 212M Buf, 94M Free<br>Swap: 4045M Total, 100K Used, 4045M Free<br><br> PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND<br> 11 root 1 171 52 0K 16K RUN 0 129.8H 3.52% idle: cpu0<br> 10 root 1 171 52 0K 16K RUN 1 121.2H 3.37% idle: cpu1<br> 5724 www 1 4 0 123M 43816K accept 1 4:55 3.32% httpd<br> 5721 www 1 4 0 142M 62904K accept 1 4:49 2.98% httpd<br> 5715 www 1 4 0 121M 41844K accept 1 5:00 2.25% httpd<br> 5729 www 1 4 0 124M 44572K accept 1 4:45 2.20% httpd<br> 952 mysql 36 20 0 513M 208M kserel 0 995:40 1.46% mysqld<br><br>top -I<br> PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND<br> 5716 www 1 4 0 121M 42208K accept 1 5:03 4.15% httpd<br> 5731 www 1 4 0 128M 48560K accept https://www.opennet.ru/openforum/vsluhforumID1/88469.html#9 Fri, 19 Mar 2010 21:47:18 GMT Хм, просто в том top -S, что вы приводили, pagezero далеко не 0% sys занимал...<br>А без него что там в top-e? Или даже в top -I, чтобы без idle процессов...<br>Впрочем, -S можно опустить, необязательно системный процесс будет дергать sys cpu, т.к. даже системный вызов sendfile() или копирование блока на хдд в любом юзерском приложении будет отражаться в sys cpu.<br><br>По крайней мере всегда есть возможность, если ребут в single user и fsck нежелателен, попробовать глубокой ночью по очереди выключать основные рабочие процессы и следить за sys cpu, вдруг попадется косвенная причина :))<br> https://www.opennet.ru/openforum/vsluhforumID1/88469.html#8 Fri, 19 Mar 2010 18:02:20 GMT да, остался точно таким же.<br> https://www.opennet.ru/openforum/vsluhforumID1/88469.html#7 Fri, 19 Mar 2010 17:35:39 GMT &gt;Похоже все-таки с ФС проблема. fsck показал много косяков. Спасибо за наводку! <br><br>Не факт, что именно ФС - причина, но может косвенно способствовать...<br><br><br>&gt;Надо будет просить ДЦ сделать проверку в сингл моде. Это ведь самое <br>&gt;правильное решение? <br><br>Строго говоря - да. Главное, чтобы раздел был отмонтирован, а этого можно добиться и в обычном режиме, если разогнать все процессы, которые могут использовать данный раздел.<br><br><br>&gt;А установка vm.idlezero_enable=0 ничего не изменила. Только процесс pagezero исчез из лидеров. <br><br>потому, что мы запретили ему использовать idle-циклы cpu для обнуления страниц памяти. <br>А после этого % в system так и остался высокий?<br> https://www.opennet.ru/openforum/vsluhforumID1/88469.html#6 Fri, 19 Mar 2010 17:20:06 GMT Похоже все-таки с ФС проблема. fsck показал много косяков. Спасибо за наводку!<br>Надо будет просить ДЦ сделать проверку в сингл моде. Это ведь самое правильное решение?<br><br>А установка vm.idlezero_enable=0 ничего не изменила. Только процесс pagezero исчез из лидеров. Но загрузка осталась прежней.<br>Вот еще на всякий случай:<br>sysctl -a &#124; grep vm.stats.vm<br>vm.stats.vm.v_kthreadpages: 0<br>vm.stats.vm.v_rforkpages: 0<br>vm.stats.vm.v_vforkpages: 48798182<br>vm.stats.vm.v_forkpages: 3476563642<br>vm.stats.vm.v_kthreads: 46<br>vm.stats.vm.v_rforks: 0<br>vm.stats.vm.v_vforks: 26960<br>vm.stats.vm.v_forks: 612529408<br>vm.stats.vm.v_interrupt_free_min: 2<br>vm.stats.vm.v_pageout_free_min: 34<br>vm.stats.vm.v_cache_max: 27490<br>vm.stats.vm.v_cache_min: 13745<br>vm.stats.vm.v_cache_count: 25238<br>vm.stats.vm.v_inactive_count: 155070<br>vm.stats.vm.v_inactive_target: 20617<br>vm.stats.vm.v_active_count: 201769<br>vm.stats.vm.v_wire_count: 68664<br>vm.stats.vm.v_free_count: 18046<br>vm.stats.vm.v_free_min: 3252<br>vm.stats.vm.v_free_target: 13745<br>vm.st https://www.opennet.ru/openforum/vsluhforumID1/88469.html#5 Fri, 19 Mar 2010 15:59:36 GMT &gt;[оверквотинг удален]<br>&gt;vm.stats.misc.zero_page_count: 0 <br>&gt;vm.stats.misc.cnt_prezero: -28686458 <br>&gt;vm.idlezero_maxrun: 16 <br>&gt;vm.idlezero_enable: 1 <br>&gt;security.bsd.map_at_zero: 1 <br>&gt;<br>&gt;<br>&gt;На других серверах есть vm.idlezero_enable: 0 и vm.idlezero_enable: 1. Но нигде это <br>&gt;руками не включалось и не выключалось. Но такой проблемы не наблюдается. <br>&gt;<br><br>Да, кстати, а покажите вашу ветку vm.stats.vm.*<br><br> https://www.opennet.ru/openforum/vsluhforumID1/88469.html#4 Fri, 19 Mar 2010 15:46:43 GMT &gt;Кстати, а оно не может быть связано с процессом pagezero? <br><br>В пределе может быть связано с чем угодно. Из своего опыта могу только вспомнить, что как-то был аномальный sys% из-за грязной ФС и mysql с его binlog-ом - сервер был не боевой, но под активным юзанием. После сбоя питания никто не проверил таблицы мускуля на покоцанность, а fsck при старте ФС прочекал, но не исправил. При отключении сервера от сетки (чтоб доп. нагрузку никто не создавал) оставалось невнятное шуршание дисками, видимое по iostat и загрузка sys cpu. Ребутнулись в single-user, чтобы все разделы были отмонтированы, fsck-нули всё (была куууча исправлений), перегрузились и все прошло.<br><br>Если fsck пустить без ключей - он исправлять ничего не будет, а просто выведет косяки, какие найдет. И раздел отмонтировать не надо.<br><br>Впрочем, у вас, видимо, не с дисками беда.<br><br>&gt;На других серверах есть vm.idlezero_enable: 0 и vm.idlezero_enable: 1. Но нигде это <br>&gt;руками не включалось и не выключалось. Но такой проблемы не наблюдается. <br><br>vm.idlezero