The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"периодические скачки LA"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [ Отслеживать ]

"периодические скачки LA"  
Сообщение от mitya5005 email(ok) on 03-Май-08, 22:59 
Привествую форумчан и надеюсь что вы сможете нам помочь.

Имеется хостинг-сервер, апач 228 + nginx
PHP 5.2.5 как DSO

Xeon5320 4 gb RAM
три HDD: два cата2 и 1 раптор

Некоторе время назад стали наблюдаться скачки ЛА (примерно раз-два-три в сутки) до 120 при которых соотвественно нормальная работа сервера невозможа.

1. при этой ЛА все 256 слотов апача забиты
2. свап соовтественно из-за этого вырастает на 1.5-2 гб.

В эти моменты пробуем убить все апач процессы, ЛА соотвественно падает.
Пробуем тут же запустить апач - ЛА снова вырастает до тех же 100-120.

Но минут через 10-15 ВСЕ проходит САМО.

При этом:

1. число соединений с сервером как было 500 так в среднем 500 и остается
2. число запросов в секунду обслуживаемых апачем как было 35-40 в сек, так и остаеется этой же величиной в моменты высокой ЛА.
3. характер запросов не меняется, ддос запросов не видно.
4. Крон заданий которые бы жрали много ресурсов нет

CPU Usage: u162.39 s157.87 cu.13 cs0 - 8.25% CPU load
36.6 requests/sec - 331.5 kB/second - 9.1 kB/request
12 requests currently being processed, 0 idle workers
WWWWW..WWG.WW...W.......W.......................................
................................................................
................................................................
................................................................

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          23.28    1.55   17.06   14.33    0.00   43.78

Device:         rrqm/s   wrqm/s   r/s   w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sda               6.09   200.54 53.42 32.76     0.66     0.91    37.41     1.03   35.55   5.00  43.09
sdb              19.14   132.27 24.81 38.88     0.55     0.67    39.11     0.14   34.00   3.74  23.82
sdc               1.51    50.61 23.60 37.03     0.29     0.35    21.42     0.89   14.73   2.10  12.72


просим подсказать какие меры можно предпринять в данном случае hlzk titybz lоданного проса.

возможно ли апгрейдом исправить ситуацию, если да то что именно..

благодарю за ответы.

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "периодические скачки LA"  
Сообщение от Аноним (??) on 03-Май-08, 23:59 
Если сервер на фрибсд, то почитать стенографию выступления Сысоева по поводу высоконагруженных систем и подтюнить переменные ядра.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "периодические скачки LA"  
Сообщение от mitya5005 email(ok) on 04-Май-08, 00:35 
>Если сервер на фрибсд, то почитать стенографию выступления Сысоева по поводу высоконагруженных
>систем и подтюнить переменные ядра.

забыл сказать:

Linux 2.6.18-53.1.6.el5 #1 SMP Wed Jan 16 03:56:15 EST 2008 x86_64 x86_64 x86_64 GNU/Linux

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "периодические скачки LA"  
Сообщение от PavelR (??) on 04-Май-08, 08:17 
>
>Некоторе время назад стали наблюдаться скачки ЛА (примерно раз-два-три в сутки) до
>120 при которых соотвественно нормальная работа сервера невозможа.
>
>1. при этой ЛА все 256 слотов апача забиты
>2. свап соовтественно из-за этого вырастает на 1.5-2 гб.

А нефиг разрешать столько слотов апача, что начинается своппинг.
Активный своппинг - это смерть для сервера. Рекомендую уменьшить число слотов раза в четыре.

Хинт: 4000 / 256 = 15 Мб на связку апач + субда. Так не бывает, да и не надо.

"Включите" график среднего числа одновременно обрабатываемых апачью запросов. В приведенной вами server-status их вообще говоря - 12, что в 20 (двадцать) раз меньше чем разрешено слотов. Т.е. в нормальном режиме их надо ... ну процессов 20 ;-)

Анализируйте, что в это время делает система, какие запросы отрабатывает апач. Наверняка система гоняет файло между апачью и нжынксом. Т.е., возможно, вам надо исправить список расширений статических файлов, чтобы запросы не шли в апач, либо скорректировать некоторый скрипт на использование X-Accel-Redirect.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "периодические скачки LA"  
Сообщение от mitya5005 email(ok) on 04-Май-08, 19:46 
>"Включите" график среднего числа одновременно обрабатываемых апачью запросов. В приведенной вами server-status
>их вообще говоря - 12, что в 20 (двадцать) раз меньше
>чем разрешено слотов. Т.е. в нормальном режиме их надо ... ну
>процессов 20 ;-)

повторюсь, что число запросов остается в всегда в пределах 30-40. наплывов, скчков нет.


>Анализируйте, что в это время делает система, какие запросы отрабатывает апач. Наверняка
>система гоняет файло между апачью и нжынксом. Т.е., возможно, вам надо
>исправить список расширений статических файлов, чтобы запросы не шли в апач,
>либо скорректировать некоторый скрипт на использование X-Accel-Redirect.

запросы анализируем каждый раз в эти и моменты - в основном чайлды заняты выдачей php страниц.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "периодические скачки LA"  
Сообщение от Аноним (??) on 04-Май-08, 20:27 
>>"Включите" график среднего числа одновременно обрабатываемых апачью запросов. В приведенной вами server-status
>>их вообще говоря - 12, что в 20 (двадцать) раз меньше
>>чем разрешено слотов. Т.е. в нормальном режиме их надо ... ну
>>процессов 20 ;-)
>
>повторюсь, что число запросов остается в всегда в пределах 30-40. наплывов, скчков
>нет.

Включите свой мозг. Цитирую ваши буквы:

>1. при этой ЛА все 256 слотов апача забиты
>2. свап соовтественно из-за этого вырастает на 1.5-2 гб.

Если не хотите думать - меняйте профессию. Стране нужны слесари, операторы станков, и т д.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "периодические скачки LA"  
Сообщение от pentarh email(ok) on 04-Май-08, 22:19 
>Привествую форумчан и надеюсь что вы сможете нам помочь.

Апач тредовый собран? Ага, вижу тредовый.

Рискну предположить, что моменты таких скачков нагрузки четко совпадают с грейс-рестартами апача (У вас вон один воркер в состоянии G).

Тредовый апач при определенных характерах нагрузки (особенно тяжелая отдача большого контента), вешает тачку при graceful рестарте.

Кто эти грейс рестарты делает? Скорей всего ротаторы или анализаторы логов чтобы апач переоткрыл логи. К сожалению у апача переоткрытие логов и грейс рестарт сидят на одном сигнале.

Боролся я с этим исключительно методом тыка :(

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "периодические скачки LA"  
Сообщение от mitya5005 email(ok) on 04-Май-08, 22:32 
>[оверквотинг удален]
>Рискну предположить, что моменты таких скачков нагрузки четко совпадают с грейс-рестартами апача
>(У вас вон один воркер в состоянии G).
>
>Тредовый апач при определенных характерах нагрузки (особенно тяжелая отдача большого контента), вешает
>тачку при graceful рестарте.
>
>Кто эти грейс рестарты делает? Скорей всего ротаторы или анализаторы логов чтобы
>апач переоткрыл логи. К сожалению у апача переоткрытие логов и грейс
>рестарт сидят на одном сигнале.
>

С зависаниями в стостоянии грейса встречаемся. и с падениями во время грейсфул рестарта тоже, но они редки. Копали на эту тему несколько дней и пришли в результате к тому что надо ждать патча на сей счет.

>Боролся я с этим исключительно методом тыка :(

В результате получилось ли у вас это побороть?

Но текущая проблема менее ясна. так как при одном и том же количестве запросов при неизменном качественном характере выдаваемых страниц - вырастает число работающих слотов до максимума.

думаем пересобрать апача с MPM worker, но тут могут быть проблемы с php как dso..


Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "периодические скачки LA"  
Сообщение от pentarh email(ok) on 04-Май-08, 23:11 
>В результате получилось ли у вас это побороть?

Вроде как после воркеров попустило. Но стоп-старт уууу.... долго.

>думаем пересобрать апача с MPM worker, но тут могут быть проблемы с
>php как dso..

А вы соберите. В пых-пых не так уж много несовместимых с воркерами функций. У меня много апачей на воркерах пашут.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру