URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 75221
[ Назад ]
Исходное сообщение
"дисковая загрузка."
Отправлено sickboy , 18-Июл-07 16:28 
Привет всем.

Имеется сервер, с работающими апчами, prefork и worker.
Периодически на нем случается армагедон, LA достигает до 800-1000, CPU занят на 100%, причем по top'у вверху кроме апчей отъедающих по 5% от процессора ничего нет.
iostat -x показывает, что sda %util - 100-110%.
Что еще можно посмотреть, чтобы понять чем и кто занимает так диск?

Содержание
Сообщения в этом обсуждении
"дисковая загрузка."
Отправлено Salamander , 18-Июл-07 20:34 
>Привет всем.
>
>Имеется сервер, с работающими апчами, prefork и worker.
>Периодически на нем случается армагедон, LA достигает до 800-1000, CPU занят на
>100%, причем по top'у вверху кроме апчей отъедающих по 5% от
>процессора ничего нет.
>iostat -x показывает, что sda %util - 100-110%.
>Что еще можно посмотреть, чтобы понять чем и кто занимает так диск?
>

"кто чем занимает диск" посмотреть не получится.
какая конфигурация сервера (память, проц, железо) ?
и вообще http://www.opennet.me/boardhelp.html


"дисковая загрузка."
Отправлено sickboy , 19-Июл-07 10:43 
>"кто чем занимает диск" посмотреть не получится.
>какая конфигурация сервера (память, проц, железо) ?
>и вообще http://www.opennet.me/boardhelp.html

RAM 4G
Два четырехядерных ксеона (2.33GHz), материнка интел sr1500, диски seagate sata2 работают в режиме AHCI.
Система генту, 2.6.20.4 x86-64.

# free
             total       used       free     shared    buffers     cached
Mem:       4032680    3733508     299172          0     161272     760876
-/+ buffers/cache:    2811360    1221320
Swap:      7815580     528496    7287084

top - 10:26:53 up 54 days, 21:27,  2 users,  load average: 1.24, 1.31, 1.42
Tasks: 639 total,   1 running, 628 sleeping,   0 stopped,  10 zombie
Cpu(s):  6.1% us,  2.2% sy,  0.0% ni, 90.8% id,  0.7% wa,  0.0% hi,  0.1% si
Mem:   4032680k total,  3756832k used,   275848k free,   161788k buffers
Swap:  7815580k total,   528496k used,  7287084k free,   767816k cached

# mount
/dev/sda2 on / type ext3 (rw,noatime)
proc on /proc type proc (rw,gid=110)
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec)
udev on /dev type tmpfs (rw,nosuid)
devpts on /dev/pts type devpts (rw,nosuid,noexec)
/dev/sda5 on /var type reiserfs (rw,nosuid)
/dev/sda6 on /home type reiserfs (rw,nosuid,nodev)
/dev/sda7 on /usr type ext3 (rw,noatime)
/dev/sda8 on /opt type ext3 (rw,nodev,noatime)
/dev/md1 on /home2 type reiserfs (rw,nosuid,nodev,noatime,usrquota,acl)

tmpfs on /tmp type tmpfs (rw,noexec,nosuid,size=1024m)
 # hdparm -tT /dev/sda5
/dev/sda5:
 Timing cached reads:   5194 MB in  2.00 seconds = 2598.28 MB/sec
 Timing buffered disk reads:  180 MB in  3.01 seconds =  59.86 MB/sec

Апачи 2.2.4/3, PHP CGI/SAPI.

"дисковая загрузка."
Отправлено sickboy , 19-Июл-07 13:06 
Пример того, что происходит:
top - 13:04:09 up 55 days, 5 min,  3 users,  load average: 188.97, 68.74, 25.99
Tasks: 1225 total,   5 running, 1194 sleeping,   2 stopped,  24 zombie
Cpu(s):  7.0% us,  6.5% sy,  0.0% ni,  0.0% id, 85.8% wa,  0.1% hi,  0.6% si
Mem:   4032680k total,  3993164k used,    39516k free,    11608k buffers
Swap:  7815580k total,  1669872k used,  6145708k free,    45452k cached
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
16993 10957     16   0  227m 112m 4152 D    5  2.9   0:05.40 httpd
17392 27090     15   0  152m  39m 3844 S    3  1.0   0:00.11 httpd
15464 30073     16   0  154m  18m 4744 S    3  0.5   0:00.16 httpd
17715 30073     15   0  153m  18m 4716 S    3  0.5   0:00.33 httpd
17185 28488     17   0  158m  44m 3828 S    3  1.1   0:00.16 httpd
17171 28488     15   0  160m  48m 4376 S    2  1.2   0:01.48 httpd
17229 27090     15   0  152m  39m 3928 S    2  1.0   0:00.13 httpd
17072 27307     15   0  158m  50m 4432 S    2  1.3   0:00.46 httpd
17078 30774     16   0  159m  51m 4460 D    2  1.3   0:00.62 httpd

похоже, что как только заканчивается память начинает тормозить.
"дисковая загрузка."
Отправлено GloryS , 19-Июл-07 15:09 
>Пример того, что происходит:
>
top - 13:04:09 up 55 days, 5 min,  3 users,  
>load average: 188.97, 68.74, 25.99 
>Tasks: 1225 total,   5 running, 1194 sleeping,   2 
>stopped,  24 zombie 
>Cpu(s):  7.0% us,  6.5% sy,  0.0% ni,  0.0% 
>id, 85.8% wa,  0.1% hi,  0.6% si 
>Mem:   4032680k total,  3993164k used,    39516k 
>free,    11608k buffers 
>Swap:  7815580k total,  1669872k used,  6145708k free,   
> 45452k cached 
>
>  PID USER      PR  NI 
> VIRT  RES  SHR S %CPU %MEM   
> TIME+  COMMAND 
>16993 10957     16   0  227m 
>112m 4152 D    5  2.9   
>0:05.40 httpd 
>17392 27090     15   0  152m 
> 39m 3844 S    3  1.0  
> 0:00.11 httpd 
>15464 30073     16   0  154m 
> 18m 4744 S    3  0.5  
> 0:00.16 httpd 
>17715 30073     15   0  153m 
> 18m 4716 S    3  0.5  
> 0:00.33 httpd 
>17185 28488     17   0  158m 
> 44m 3828 S    3  1.1  
> 0:00.16 httpd 
>17171 28488     15   0  160m 
> 48m 4376 S    2  1.2  
> 0:01.48 httpd 
>17229 27090     15   0  152m 
> 39m 3928 S    2  1.0  
> 0:00.13 httpd 
>17072 27307     15   0  158m 
> 50m 4432 S    2  1.3  
> 0:00.46 httpd 
>17078 30774     16   0  159m 
> 51m 4460 D    2  1.3  
> 0:00.62 httpd

>похоже, что как только заканчивается память начинает тормозить.

Похоже на то, что апач где-то циклится....типа обращения к самому себе....
У меня такое было, когда в sql данных ошибка была и получалось, что апачу нужно было к самому
себе по кругу коннектиться...

"дисковая загрузка."
Отправлено Salamander , 30-Июл-07 09:47 
>[оверквотинг удален]
>17229 27090     15   0  152m
> 39m 3928 S    2  1.0  
> 0:00.13 httpd
>17072 27307     15   0  158m
> 50m 4432 S    2  1.3  
> 0:00.46 httpd
>17078 30774     16   0  159m
> 51m 4460 D    2  1.3  
> 0:00.62 httpd
>похоже, что как только заканчивается память начинает тормозить.

как вариант можно еще /proc/sys/vm/* покрутить
dirty_ratio уменьшить до 15
dirty_expire_centisecs уменьшить до 1000
swappiness увеличить до 80