форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка

Вариант для распечатки		Архивированная нить - только для чтения!  Пред. тема | След. тема
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение		[Проследить за развитием треда]

"Статистика Apache"
Сообщение от Mike on 09-Сен-03, 10:22  (MSK)
Есть нагруженный 100Мб сервер. На нем стоит Апач. Статистика считается webalizer'ом. Проблема - подсчет статистики потребляет столько ресурсов что сервер начинает тормозить. Бывает что надо уже новый процесс подсчета статистики запускать - а сервер еще старую не закончил. Получаются жуткие тормоза. Как сделать, что бы сервер все успевал и с минимальными затратами ресурсов? Статистика считается каждые два часа. Логи апача копируются в другую папку а потом обнуляются ( cat /dev/null > access_log). Каждому виртуальному хосту ведется своя статистика( свой лог).
	Рекомендовать в FAQ | Cообщить модератору | Наверх

Индекс форумов | Темы | Пред. тема | След. тема

Сообщения по теме

1. "Статистика Apache"
Сообщение от boykov on 09-Сен-03, 11:04  (MSK)
>Есть нагруженный 100Мб сервер. На нем стоит Апач. >Статистика считается webalizer'ом. >Проблема - подсчет статистики потребляет столько ресурсов что сервер начинает тормозить. Бывает >что надо уже новый процесс подсчета статистики запускать - а сервер >еще старую не закончил. Получаются жуткие тормоза. >Как сделать, что бы сервер все успевал и с минимальными затратами ресурсов? > >Статистика считается каждые два часа. Логи апача копируются в другую папку а потом обнуляются ( cat /dev/null > access_log). Каждому виртуальному хосту ведется своя статистика( свой лог). На выбор: - делать это на другой машине - сменить дисковую подсистему (есть подозрение, что тормозит именно она -- параллельно к диску лезут апач за данными и с новым логом и webalizer за старым логом; лучше всего -- SCSI, может помочь отдельный том на втором IDE контроллере (на первом работает апач, на втором -- статистика) - увеличить физическую память и положить в нее виртуальный диск; обсчет производить на нем (ene могут быть тонкости со свопом; зависит от системы). Подробнее: что за машина, сколько на ней чего, каковы потоки данных? uptime (в смысле load average)?
	Рекомендовать в FAQ | Cообщить модератору | Наверх

	2. "Статистика Apache"
	Сообщение от Mike on 09-Сен-03, 11:10  (MSK)
	>На выбор: > - делать это на другой машине > - сменить дисковую подсистему (есть подозрение, что тормозит именно она -- >параллельно к диску лезут апач за данными и с новым логом >и webalizer за старым логом; лучше всего -- SCSI, может помочь >отдельный том на втором IDE контроллере (на первом работает апач, на >втором -- статистика) > - увеличить физическую память и положить в нее виртуальный диск; обсчет >производить на нем (ene могут быть тонкости со свопом; зависит от >системы). > > Подробнее: что за машина, сколько на ней чего, каковы потоки данных? >uptime (в смысле load average)? - Диски - SCSI в RAID 1. - на другой машине - не реально (это выделенный сервер) - RAM - 2Gb - RadHat 7.2 - uptime : 3:09am  up 30 days, 15:20,  1 user,  load average: 1.05, 0.97, 3.50 - текущий, во время подсчета статистики - загрузка в 10 раз выше
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	3. "Статистика Apache"
	Сообщение от boykov on 09-Сен-03, 11:45  (MSK)
	>> Подробнее: что за машина, сколько на ней чего, каковы потоки данных? >>uptime (в смысле load average)? >- Диски - SCSI в RAID 1. >- на другой машине - не реально (это выделенный сервер) >- RAM - 2Gb >- RadHat 7.2 >- uptime : 3:09am  up 30 days, 15:20,  1 user, > load average: 1.05, 0.97, 3.50 - текущий, во время подсчета >статистики - загрузка в 10 раз выше Посмотрел на него... Плотно написан, с полтычка не ускоришь... Есть зацепка: при сборке можно отключить использование DNS -- работать будет побыстрее, но и на диск нагрузка выше. webalizer пихает все в один огроменный список, а потом разбирает его по группам. При этом на каждую запись делает проверку смены часа/дня/месяца (что-то здесь не так, но это прямое следствие инкрементальности). Ускорение естественно может достигаться за счет уменьшения длин списков. То есть можно попробовать запускать каждый час. Вряд ли поможет :( Можно попробовать распределить скачкообразную нагрузку во времени -- поискать БД ориентированную систему статистики: добавление в БД и параллельная индексация идут постоянно, а проиндексированные потоки обрабатываться будут существенно с меньшими пиковыми затратами. что говорит top во время работы webalizer'a? сколько он жрет памяти и свопа во время работы? Размер своп партиции?
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	4. "Статистика Apache"
	Сообщение от dl on 09-Сен-03, 12:31  (MSK)
	это не зацепка - это один из путей решения проблемы - отключить ДНС. У меня один раз в сутки считается и если с ДНСлукапом, то это туча времени уходит, без оного - около 1 часа.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	5. "Статистика Apache"
	Сообщение от boykov on 09-Сен-03, 12:38  (MSK)
	>это не зацепка - это один из путей решения проблемы - отключить >ДНС. > >У меня один раз в сутки считается и если с ДНСлукапом, то >это туча времени уходит, без оного - около 1 часа. а может ему именно ДНС очень нужен? насколько я понял, проблема в том, что во время работы статистики основная задача -- apache -- притормаживает. Под это и делались предложения. Впрочем, если отключения DNS хватит -- я рад.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	6. "Статистика Apache"
	Сообщение от Mike on 09-Сен-03, 13:28  (MSK)
	ДНС не используется - сместо этого webalizer скомпилирован с GeoIP - так гораздо быстрее. Я бы рад считать логи раз в сутки - да не могу. За сутки логов будет несколько гигабайт - свободное место на винтах сразу кончится. Думаю вместо webalizer перейти на analog+Report Magic. Думаю будет по крайней мере не хуже - а может и лучше :)
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	7. "Статистика Apache"
	Сообщение от dl on 09-Сен-03, 13:29  (MSK)
	дык тормоза от вебалайзера. И чем меньше по времени он будет работать, тем будет лучше... Без ДНС'а он значительно быстрее работает.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.