Всем добрые день.
В последние пару дней стал замечать что сайт (небольшой, под него свой сервер 16gb ram, X5650) стал дико напрягаться (искл-но cpu:system>70% из-за httpd). вплоть до 502. нгинкс и мускуль не парятся вовсе, а вот апаче...статика отдаётся через nginx, iowait почти нулевой. httpd работает как prefork (maxclient 100)
вообщем полез смотреть наиболее активные ip в моменты такой нагруки, и что же я вижу - больше 70% - гугловские адреса. подсетка 74.125.x.y принадлежит гуглу. бан подсетки гугла решает проблему мгновенно...стоит разбанить - и через 1-12 часов всё возобновляется, вне зависимости от времени суток.юзер-агент у этих адресов "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; InfoPath.2)"
Вообщем кто сталкивался, как решали, ваши идеи.
> Всем добрые день.
> В последние пару дней стал замечать что сайт (небольшой, под него свой
> сервер 16gb ram, X5650) стал дико напрягаться (искл-но cpu:system>70% из-за httpd).
> вплоть до 502. нгинкс и мускуль не парятся вовсе, а вот
> апаче...Поставить второй сервер. При этом надо учесть, что 16 Гб это мало, да и процессоров надо два. Надеюсь, 8 ваших SCSI винчестеров объединены в RAID10?
>> Всем добрые день.
>> В последние пару дней стал замечать что сайт (небольшой, под него свой
>> сервер 16gb ram, X5650) стал дико напрягаться (искл-но cpu:system>70% из-за httpd).
>> вплоть до 502. нгинкс и мускуль не парятся вовсе, а вот
>> апаче...
> Поставить второй сервер. При этом надо учесть, что 16 Гб это мало,
> да и процессоров надо два. Надеюсь, 8 ваших SCSI винчестеров объединены
> в RAID10?нагрузка на сайт совсем никакая чтобы ставить второй сервер. к тому же текущий сервер двухпроцессорный. 99% нагрузка на сервер <1% :). зачем такие страшные слова скази рейд, сайт очень простой, невконтакте же )
вообще проблема разрешилась весьма логично. дело было не в ботах а...в сессиях. точнее - в проценте проверок этих самых сессий. так как сессий порядка 200к, а процент проверок стоял 5%, то при каждом 20 запросе пхп начинал искать старые сессии для удаления, так как файлов-сессий порядка 200к, а проверка atime при каждом 20-м запросе... те миллионы сисколлов stat64 в секунду... nuff said как говорится.
уменьшил процент до 5/100000 и всё нормализовалось.
зы жаль что сразу не вспомнил про strace (
> вообще проблема разрешилась весьма логично. дело было не в ботах а...в сессиях.
> точнее - в проценте проверок этих самых сессий. так как сессий
> порядка 200к, а процент проверок стоял 5%, то при каждом 20
> запросе пхп начинал искать старые сессии для удаления, так как файлов-сессий
> порядка 200к, а проверка atime при каждом 20-м запросе... те миллионы
> сисколлов stat64 в секунду... nuff said как говорится.храните сессии в мемкеше.