URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 86661
[ Назад ]

Исходное сообщение
" Ребилд зеркала. Скорость?"
Отправлено zeiter , 21-Сен-09 23:36

Доброго дня!

# cat /proc/mdstat Personalities : [raid1]
md2 : active raid1 hdb2[1] hda2[0]
      20972736 blocks [2/2] [UU]
md3 : active raid1 hdb3[1] hda3[0]
      12586816 blocks [2/2] [UU]
md1 : active raid1 hdb5[1] hda5[0]
      4192832 blocks [2/2] [UU]
md4 : active raid1 hda7[0] hdb7[1]
      201125632 blocks [2/1] [_U]
      [===>.................]  recovery = 19.7% (39778368/201125632) finish=1301.8min speed=2064K/sec
md0 : active raid1 hdb1[2] hda1[0]
      2096384 blocks [2/1] [U_]
        resync=DELAYED
unused devices: <none>

Это нормальное явление? Имеем два SATA диска по 250Гб:

hda: WDC WD2502ABYS-01B7A0, ATA DISK drive
hdb: WDC WD2502ABYS-01B7A0, ATA DISK drive

# df -h

Файловая система      Разм  Исп  Дост  Исп% смонтирована на
/dev/md0              2,0G  378M  1,5G  21% /
/dev/md4              186G   38G  139G  22% /home
/dev/md3               12G 1016M   11G   9% /usr
/dev/md2               20G  261M   19G   2% /var
/dev/md1              3,9G   73M  3,7G   2% /tmp
tmpfs                 2,0G     0  2,0G   0% /dev/shm

Содержание

Ребилд зеркала. Скорость?,const86, 01:05 , 22-Сен-09
- Ребилд зеркала. Скорость?,zeiter, 08:41 , 22-Сен-09
  - Ребилд зеркала. Скорость?,const86, 18:54 , 22-Сен-09
    - Ребилд зеркала. Скорость?,zeiter, 19:52 , 22-Сен-09
Ребилд зеркала. Скорость?,zeiter, 17:00 , 10-Окт-09
- Ребилд зеркала. Скорость?,zeiter, 17:04 , 10-Окт-09
  - Ребилд зеркала. Скорость?,sHaggY_caT, 11:56 , 11-Окт-09
    - Ребилд зеркала. Скорость?,zeiter, 18:55 , 14-Окт-09

Сообщения в этом обсуждении

" Ребилд зеркала. Скорость?"
Отправлено const86 , 22-Сен-09 01:05

/sys/block/md4/md/sync_speed_max

" Ребилд зеркала. Скорость?"
Отправлено zeiter , 22-Сен-09 08:41

>/sys/block/md4/md/sync_speed_max
# cat /sys/block/md4/md/sync_speed_max
200000 (system)# cat /sys/block/md4/md/sync_speed_min
1000 (system)
# cat /proc/sys/dev/raid/speed_limit_max
200000
Изменил параметры, но увеличения скорости не заметил, уменьшение же повлияло.
# cat /sys/block/md4/md/sync_speed_max
350000 (local)# cat /sys/block/md4/md/sync_speed_min
12000 (local)
Означает ли это, что зеркало ребилдится на предельной скорости, и скорость не увеличить?

" Ребилд зеркала. Скорость?"
Отправлено const86 , 22-Сен-09 18:54

Возможно, параллельно с ребилдом идёт ещё какая-то активность на диск и ядро сбрасывает скорость к минимуму, чтобы не мешать. То есть надо увеличить минимум.

" Ребилд зеркала. Скорость?"
Отправлено zeiter , 22-Сен-09 19:52

>Возможно, параллельно с ребилдом идёт ещё какая-то активность на диск и ядро
>сбрасывает скорость к минимуму, чтобы не мешать. То есть надо увеличить
>минимум.
Сервак со свежеустановленной OS CentOS 5.3, без нагрузки. Тестировал рейд-1 перед вводом в эксплуатацию. А получается ребилд ~190Гб будет идти почти 30 часов.
Увеличил
echo 15000 > /sys/block/md4/md/sync_speed_min
а скорость все та же:
md4 : active raid1 hdd7[1] hdb7[2]
      201125632 blocks [2/1] [_U]
      [====>................]  recovery = 21.2% (42772672/201125632) finish=1238.8min speed=2129K/sec
Уже шлейфы проверил, каналы поменял на контроллере. Ничего помогает. Есть еще варианты?

" Ребилд зеркала. Скорость?"
Отправлено zeiter , 10-Окт-09 17:00

Доброго дня!
Проверил на другом схожем сервере:
# mdadm /dev/md6 --fail /dev/sda8
mdadm: set /dev/sda8 faulty in /dev/md6# mdadm /dev/md6 --remove /dev/sda8
mdadm: hot removed /dev/sda8
# mdadm /dev/md6 --add /dev/sda8
mdadm: re-added /dev/sda8
...
md6 : active raid1 sda8[0] sdb8[1]
      444245312 blocks [2/1] [_U]
      [>....................]  recovery =  0.1% (465728/444245312) finish=111.1min speed=66532K/sec
...
Тут назревает вопрос! Может ли причиной низкой скорости, что:
SATA диски в первом случае обределяются не как sd, а как hd диски. В биосе стоит режим IDE для контроллера?!

" Ребилд зеркала. Скорость?"
Отправлено zeiter , 10-Окт-09 17:04

>SATA диски в первом случае обределяются не как sd, а как hd
>диски. В биосе стоит режим IDE для контроллера?!
При этом безобидная для второго сервера (с дисками sd) задача грузит первый сервер (с дисками hd):
dd if=/dev/urandom of=random-2.dat bs=1M count=6000
atop показывает:
DSK |         hdb | busy    114% | read       4 | write     41 | avio  222 ms |
DSK |         hdd | busy    107% | read       0 | write     47 | avio  200 ms |
Первый сервер практически становится недоступным по другим протоколам (TCP 80)
на втором atop с такой же задачей показывает:
DSK |         sda | busy     80% | read       0 | write   7986 | avio    1 ms |
DSK |         sdb | busy     68% | read    8035 | write     29 | avio    0 ms |
и вполне доступен через веб-интерфейс.

" Ребилд зеркала. Скорость?"
Отправлено sHaggY_caT , 11-Окт-09 11:56

>[оверквотинг удален]
>
DSK |         sda |
>busy     80% | read
>   0 | write   7986 | avio
>   1 ms |
>DSK |         sdb |
>busy     68% | read
>8035 | write     29 | avio
>  0 ms |

>
>и вполне доступен через веб-интерфейс.
лучше не random (грузит cpu) а /dev/zero
Посмотрите hdparm'ом не работает ли диск в каком-нибудь PIO-режиме....

" Ребилд зеркала. Скорость?"
Отправлено zeiter , 14-Окт-09 18:55

>Посмотрите hdparm'ом не работает ли диск в каком-нибудь PIO-режиме....

Переставил в BIOSе с IDE на AHCI... вот результат:

Every 2,0s: cat /proc/mdstat                                                                   Wed Oct 14 21:53:10 2009Personalities : [raid1]
md2 : active raid1 sda2[0]
      20972736 blocks [2/1] [U_]
md3 : active raid1 sda3[0]
      12586816 blocks [2/1] [U_]
md1 : active raid1 sda5[0]
      4192832 blocks [2/1] [U_]
md4 : active raid1 sdb7[1] sda7[0]
      201125632 blocks [2/1] [U_]
      [>....................]  recovery =  1.0% (2099776/201125632) finish=31.5min speed=104988K/sec
md0 : active raid1 sda1[0]
      2096384 blocks [2/1] [U_]
unused devices: <none>

Данная проблема "решена" (в обход?!)