Привествую форумчан и надеюсь что вы сможете нам помочь.Имеется хостинг-сервер, апач 228 + nginx
PHP 5.2.5 как DSOXeon5320 4 gb RAM
три HDD: два cата2 и 1 рапторНекоторе время назад стали наблюдаться скачки ЛА (примерно раз-два-три в сутки) до 120 при которых соотвественно нормальная работа сервера невозможа.
1. при этой ЛА все 256 слотов апача забиты
2. свап соовтественно из-за этого вырастает на 1.5-2 гб.В эти моменты пробуем убить все апач процессы, ЛА соотвественно падает.
Пробуем тут же запустить апач - ЛА снова вырастает до тех же 100-120.Но минут через 10-15 ВСЕ проходит САМО.
При этом:
1. число соединений с сервером как было 500 так в среднем 500 и остается
2. число запросов в секунду обслуживаемых апачем как было 35-40 в сек, так и остаеется этой же величиной в моменты высокой ЛА.
3. характер запросов не меняется, ддос запросов не видно.
4. Крон заданий которые бы жрали много ресурсов нетCPU Usage: u162.39 s157.87 cu.13 cs0 - 8.25% CPU load
36.6 requests/sec - 331.5 kB/second - 9.1 kB/request
12 requests currently being processed, 0 idle workers
WWWWW..WWG.WW...W.......W.......................................
................................................................
................................................................
................................................................avg-cpu: %user %nice %system %iowait %steal %idle
23.28 1.55 17.06 14.33 0.00 43.78Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 6.09 200.54 53.42 32.76 0.66 0.91 37.41 1.03 35.55 5.00 43.09
sdb 19.14 132.27 24.81 38.88 0.55 0.67 39.11 0.14 34.00 3.74 23.82
sdc 1.51 50.61 23.60 37.03 0.29 0.35 21.42 0.89 14.73 2.10 12.72
просим подсказать какие меры можно предпринять в данном случае hlzk titybz lоданного проса.возможно ли апгрейдом исправить ситуацию, если да то что именно..
благодарю за ответы.
Если сервер на фрибсд, то почитать стенографию выступления Сысоева по поводу высоконагруженных систем и подтюнить переменные ядра.
>Если сервер на фрибсд, то почитать стенографию выступления Сысоева по поводу высоконагруженных
>систем и подтюнить переменные ядра.забыл сказать:
Linux 2.6.18-53.1.6.el5 #1 SMP Wed Jan 16 03:56:15 EST 2008 x86_64 x86_64 x86_64 GNU/Linux
>
>Некоторе время назад стали наблюдаться скачки ЛА (примерно раз-два-три в сутки) до
>120 при которых соотвественно нормальная работа сервера невозможа.
>
>1. при этой ЛА все 256 слотов апача забиты
>2. свап соовтественно из-за этого вырастает на 1.5-2 гб.А нефиг разрешать столько слотов апача, что начинается своппинг.
Активный своппинг - это смерть для сервера. Рекомендую уменьшить число слотов раза в четыре.Хинт: 4000 / 256 = 15 Мб на связку апач + субда. Так не бывает, да и не надо.
"Включите" график среднего числа одновременно обрабатываемых апачью запросов. В приведенной вами server-status их вообще говоря - 12, что в 20 (двадцать) раз меньше чем разрешено слотов. Т.е. в нормальном режиме их надо ... ну процессов 20 ;-)
Анализируйте, что в это время делает система, какие запросы отрабатывает апач. Наверняка система гоняет файло между апачью и нжынксом. Т.е., возможно, вам надо исправить список расширений статических файлов, чтобы запросы не шли в апач, либо скорректировать некоторый скрипт на использование X-Accel-Redirect.
>"Включите" график среднего числа одновременно обрабатываемых апачью запросов. В приведенной вами server-status
>их вообще говоря - 12, что в 20 (двадцать) раз меньше
>чем разрешено слотов. Т.е. в нормальном режиме их надо ... ну
>процессов 20 ;-)повторюсь, что число запросов остается в всегда в пределах 30-40. наплывов, скчков нет.
>Анализируйте, что в это время делает система, какие запросы отрабатывает апач. Наверняка
>система гоняет файло между апачью и нжынксом. Т.е., возможно, вам надо
>исправить список расширений статических файлов, чтобы запросы не шли в апач,
>либо скорректировать некоторый скрипт на использование X-Accel-Redirect.запросы анализируем каждый раз в эти и моменты - в основном чайлды заняты выдачей php страниц.
>>"Включите" график среднего числа одновременно обрабатываемых апачью запросов. В приведенной вами server-status
>>их вообще говоря - 12, что в 20 (двадцать) раз меньше
>>чем разрешено слотов. Т.е. в нормальном режиме их надо ... ну
>>процессов 20 ;-)
>
>повторюсь, что число запросов остается в всегда в пределах 30-40. наплывов, скчков
>нет.Включите свой мозг. Цитирую ваши буквы:
>1. при этой ЛА все 256 слотов апача забиты
>2. свап соовтественно из-за этого вырастает на 1.5-2 гб.Если не хотите думать - меняйте профессию. Стране нужны слесари, операторы станков, и т д.
>Привествую форумчан и надеюсь что вы сможете нам помочь.Апач тредовый собран? Ага, вижу тредовый.
Рискну предположить, что моменты таких скачков нагрузки четко совпадают с грейс-рестартами апача (У вас вон один воркер в состоянии G).
Тредовый апач при определенных характерах нагрузки (особенно тяжелая отдача большого контента), вешает тачку при graceful рестарте.
Кто эти грейс рестарты делает? Скорей всего ротаторы или анализаторы логов чтобы апач переоткрыл логи. К сожалению у апача переоткрытие логов и грейс рестарт сидят на одном сигнале.
Боролся я с этим исключительно методом тыка :(
>[оверквотинг удален]
>Рискну предположить, что моменты таких скачков нагрузки четко совпадают с грейс-рестартами апача
>(У вас вон один воркер в состоянии G).
>
>Тредовый апач при определенных характерах нагрузки (особенно тяжелая отдача большого контента), вешает
>тачку при graceful рестарте.
>
>Кто эти грейс рестарты делает? Скорей всего ротаторы или анализаторы логов чтобы
>апач переоткрыл логи. К сожалению у апача переоткрытие логов и грейс
>рестарт сидят на одном сигнале.
>С зависаниями в стостоянии грейса встречаемся. и с падениями во время грейсфул рестарта тоже, но они редки. Копали на эту тему несколько дней и пришли в результате к тому что надо ждать патча на сей счет.
>Боролся я с этим исключительно методом тыка :(
В результате получилось ли у вас это побороть?
Но текущая проблема менее ясна. так как при одном и том же количестве запросов при неизменном качественном характере выдаваемых страниц - вырастает число работающих слотов до максимума.
думаем пересобрать апача с MPM worker, но тут могут быть проблемы с php как dso..
>В результате получилось ли у вас это побороть?Вроде как после воркеров попустило. Но стоп-старт уууу.... долго.
>думаем пересобрать апача с MPM worker, но тут могут быть проблемы с
>php как dso..А вы соберите. В пых-пых не так уж много несовместимых с воркерами функций. У меня много апачей на воркерах пашут.