URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 87198
[ Назад ]

Исходное сообщение
"высокий iowait, низкая скорость работы дисков"
Отправлено Dmitryzzx , 09-Ноя-09 18:48

Привет.
Есть два одинаковых сервера на базе Atom-330, на них крутятся одни и те же приложения, конфигурация тоже вроде как одинаковая - CentOS 5.3
занимаются раздачей файлов по http
Но вот незадача, в последнее время на первом сервере стал безумно расти iowait % и очевидны тормоза дисковой подсистемы:
top - 10:48:21 up  3:23,  1 user,  load average: 8.09, 9.38, 7.10
Tasks: 175 total,   1 running, 174 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.2%us,  0.3%sy,  0.0%ni, 53.2%id, 43.7%wa,  0.3%hi,  2.3%si,  0.0%st
[root@www16 www17]# hdparm -t /dev/sda
/dev/sda:
Timing buffered disk reads:    4 MB in  3.78 seconds =   1.06 MB/sec
[root@www16 www17]# hdparm -t /dev/sdb
/dev/sdb:
Timing buffered disk reads:   10 MB in  3.01 seconds =   3.32 MB/sec
[root@www16 www17]# hdparm -t /dev/sdb
На втором сервере, даже при нагрузке в 2 раза большей, все ОК:
/dev/sda:
Timing buffered disk reads:  266 MB in  3.02 seconds =  88.13 MB/sec
Замена одного из дисков на первом сервере результатов не дала - опять все плохо.
Куда посмотреть, чтобы порешить эту проблему?
Явно, что конфигурация сервера должна справляться с нагрузкой без проблем (второй сервер-то работает на ура). Конфигурация apache-а одинаковая...
спасибо!

Содержание

высокий iowait, низкая скорость работы дисков,anonymous, 23:55 , 09-Ноя-09
- высокий iowait, низкая скорость работы дисков,DmitriyZX, 00:27 , 10-Ноя-09

Сообщения в этом обсуждении

"высокий iowait, низкая скорость работы дисков"
Отправлено anonymous , 09-Ноя-09 23:55

>Привет.
>
>Есть два одинаковых сервера на базе Atom-330, на них крутятся одни и
>те же приложения, конфигурация тоже вроде как одинаковая - CentOS 5.3
а диски какие? кусок dmesg, пожалуйста.

"высокий iowait, низкая скорость работы дисков"
Отправлено DmitriyZX , 10-Ноя-09 00:27

>а диски какие?  кусок dmesg, пожалуйста.
да обычные sata Seagate на обеих машинах
Вот с тормозящей:
ata1: SATA max UDMA/133 cmd 0xd080 ctl 0xd000 bmdma 0xc800 irq 209
ata2: SATA max UDMA/133 cmd 0xcc00 ctl 0xc880 bmdma 0xc808 irq 209
ata2.00: ATA-7: SAMSUNG SP2004C, VM100-50, max UDMA7
ata2.00: 390721968 sectors, multi 16: LBA48 NCQ (depth 0/32)
ata2.01: ATA-7: ST3500630AS, 3.AAK, max UDMA/133
ata2.01: 976773168 sectors, multi 16: LBA48 NCQ (depth 0/32)
ata2.00: configured for UDMA/133
ata2.01: configured for UDMA/133
  Vendor: ATA       Model: SAMSUNG SP2004C   Rev: VM10
  Type:   Direct-Access                      ANSI SCSI revision: 05
SCSI device sda: 390721968 512-byte hdwr sectors (200050 MB)
sda: Write Protect is off
sda: Mode Sense: 00 3a 00 00
SCSI device sda: drive cache: write back
SCSI device sda: 390721968 512-byte hdwr sectors (200050 MB)
sda: Write Protect is off
sda: Mode Sense: 00 3a 00 00
SCSI device sda: drive cache: write back
sda: sda1 sda2
sd 1:0:0:0: Attached scsi disk sda
  Vendor: ATA       Model: ST3500630AS       Rev: 3.AA
  Type:   Direct-Access                      ANSI SCSI revision: 05
SCSI device sdb: 976773168 512-byte hdwr sectors (500108 MB)
sdb: Write Protect is off
sdb: Mode Sense: 00 3a 00 00
SCSI device sdb: drive cache: write back
SCSI device sdb: 976773168 512-byte hdwr sectors (500108 MB)
sdb: Write Protect is off
sdb: Mode Sense: 00 3a 00 00
SCSI device sdb: drive cache: write back
sdb: sdb1
sd 1:0:1:0: Attached scsi disk sdb
вот с нетормозящей:
ata1: SATA max UDMA/133 cmd 0x20c8 ctl 0x20ec bmdma 0x20a0 irq 185
ata2: SATA max UDMA/133 cmd 0x20c0 ctl 0x20e8 bmdma 0x20a8 irq 185
ata1.00: ATA-8: ST3500418AS, CC35, max UDMA/133
ata1.00: 976773168 sectors, multi 16: LBA48 NCQ (depth 0/32)
ata1.00: configured for UDMA/133
ata2.00: ATA-8: ST3500418AS, CC34, max UDMA/133
ata2.00: 976773168 sectors, multi 16: LBA48 NCQ (depth 0/32)
ata2.00: configured for UDMA/133
  Vendor: ATA       Model: ST3500418AS       Rev: CC35
  Type:   Direct-Access                      ANSI SCSI revision: 05
SCSI device sda: 976773168 512-byte hdwr sectors (500108 MB)
sda: Write Protect is off
sda: Mode Sense: 00 3a 00 00
SCSI device sda: drive cache: write back
SCSI device sda: 976773168 512-byte hdwr sectors (500108 MB)
sda: Write Protect is off
sda: Mode Sense: 00 3a 00 00
SCSI device sda: drive cache: write back
sda: sda1
sd 0:0:0:0: Attached scsi disk sda
  Vendor: ATA       Model: ST3500418AS       Rev: CC34
  Type:   Direct-Access                      ANSI SCSI revision: 05
SCSI device sdb: 976773168 512-byte hdwr sectors (500108 MB)
sdb: Write Protect is off
sdb: Mode Sense: 00 3a 00 00
SCSI device sdb: drive cache: write back
SCSI device sdb: 976773168 512-byte hdwr sectors (500108 MB)
sdb: Write Protect is off
sdb: Mode Sense: 00 3a 00 00
SCSI device sdb: drive cache: write back
sdb: sdb1
sd 1:0:0:0: Attached scsi disk sdb
По-моему дело где-то в настройках, так как разница слишком уж заметна.
Вторая машина держит нагрузку в 2-3 раза большую без проблем вообще, а первая еле-еле с 100 соединениями httpd работает.

Вот еще dstat с тормозной:
root@www16 iotop]# dstat
----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw
  1   1  59  36   0   2|  11M  700k|   0     0 |   0    19B|4557  1287
  0   1  43  54   1   2|  12M   24k| 158k 8002k|   0     0 |4193  1390
  0   1  50  47   0   2|  12M  192k| 152k 7872k|   0     0 |4120  1396
  0   1  50  47   0   2|  13M 8192B| 146k 7490k|   0     0 |4004  1363
  0   0  50  47   0   3|  13M    0 | 156k 8165k|   0     0 |4218  1338
  0   1  49  48   0   2|  13M    0 | 155k 8384k|   0     0 |4161  1411
  0   1   6  91   0   3|  13M   32k| 158k 7616k|   0     0 |4187  1382
  0   1  40  58   0   2|  13M   40k| 152k 8011k|   0     0 |4129  1382
  0   1  50  47   0   2|  13M    0 | 175k 8656k|   0     0 |4474  1462
  0   0  50  47   0   2|  12M    0 | 145k 7501k|   0     0 |3986  1253
  0   1  50  47   0   2|  13M  120k| 153k 7918k|   0     0 |4165  1399
  0   0  50  47   1   2|  13M  200k| 138k 7351k|   0     0 |3906  1322
  0   1  35  62   0   2|  12M   48k| 155k 8102k|   0     0 |4198  1420
  0   1  29  68   0   2|  13M    0 | 148k 7655k|   0     0 |4057  1310
  0   1  33  64   0   2|  14M    0 | 170k 9014k|   0     0 |4399  1418
  0   0   1  97   0   2|  13M 8192B| 158k 7853k|   0     0 |4233  1414
  0   1  42  55   0   2|  13M   48k| 155k 7985k|   0     0 |4186  1377
  0   1  49  47   0   3|  14M   88k| 169k 8481k|   0     0 |4426  1372
  0   1  50  47   0   2|  13M 8192B| 156k 8548k|   0     0 |4214  1353
  0   0  30  67   0   2|  13M    0 | 156k 7839k|   0     0 |4155  1395
  0   1  42  55   0   3|  14M    0 | 161k 8794k|   0     0 |4273  1407
  0   1  50  47   0   2|  12M   48k| 171k 8132k|   0     0 |4321  1345
  0   1  35  62   0   2|  12M   40k| 141k 7687k|   0     0 |3924  1257
  4   1  32  61   0   2|  13M    0 | 151k 7856k|   0     0 |4071  1351
  2   1  48  46   0   3|  13M    0 | 159k 8388k|   0     0 |4261  1394
  0   1  30  67   0   2|  14M 8192B| 143k 7697k|   0     0 |3923  1272
  0   0  45  52   0   3|  14M    0 | 195k 9830k|   0     0 |5136  1538
  0   1  28  69   0   2|  13M   56k| 157k 8130k|   0     0 |4275  1375
  0   0  28  70   0   2|  13M  296k| 145k 7717k|   0     0 |4040  1304
  0   1  35  62   0   2|  13M 8192B| 168k 8518k|   0     0 |4428  1400
  0   0  43  55   0   2|  14M    0 | 179k 9400k|   0     0 |4576  1512
  0   1  50  48   0   2|  13M    0 | 152k 7606k|   0     0 |4091  1317
  0   1  40  57   1   2|  13M   24k| 171k 8793k|   0     0 |4471  1359
  0   0  28  70   0   2|  12M 8192B| 145k 7348k|   0     0 |3980  1329
  0   1  13  84   0   2|  13M   32k| 173k 9097k|   0     0 |4427  1496
  0   0  25  72   0   2|  13M    0 | 170k 8459k|   0     0 |4390  1410
  0   1  30  67   0   2|  12M    0 | 150k 7658k|   0     0 |4123  1210
  0   1  50  47   0   2|  14M 8192B| 166k 8653k|   0     0 |4344  1333
  1   1  50  46   0   2|  13M   96k| 161k 8328k|   0     0 |4254  1364
  0   0  30  67   1   2|  13M   56k| 180k 9558k|   0     0 |4624  1495
  0   1  38  59   0   2|  12M    0 | 158k 8010k|   0     0 |4219  1251
  0   0  50  47   0   2|  14M    0 | 155k 8911k|   0     0 |4163  1466
  1   1  50  46   0   3|  13M  240k| 180k 8781k|   0     0 |4592  1379
  0   1  50  47   0   2|  13M 8192B| 159k 8408k|   0     0 |4222  1395
  0   1  50  46   0   3|  13M    0 | 183k 9592k|   0     0 |4607  1381
  1   0  50  47   1   2|  13M  256k| 162k 8168k|   0     0 |4309  1351

Вот еще что нашлось...
[root@www16 ~]# vmstat -S M (Тормозная машина)
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st 1 49 0 51 4 1844 0 0 1481 90 133 324 1 3 59 36 0
[root@fast ~]# vmstat -S M
(нетормозная машина) procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 0 50 5 1825 0 0 278 55 3 5 2 4 87 7 0
Видно, что IO/BI разнится в 5 раз...