URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID12
Нить номер: 733
[ Назад ]
Исходное сообщение
"sarg не создает отчеты"
Отправлено wex , 14-Апр-03 13:52 
Добрый день всем!
Помогите, может кто сталкивался, ситуация следующая
Sarg перестал создавать отчеты, просто повисает и можно ждать хоть сутки
При это процессор он загружает на все 100
Логи делаются понедельно, размер лога в среднем 140 мегов
машинка PII-300/128/UW-SCSI (40)
может мощности не хватает? хотя странно, поначалу за 4-5 минут делал отчеты sarg при таких же размерах логов.
да squid 2.5 stable1
sarg 1.2.2
Содержание
Сообщения в этом обсуждении
"sarg не создает отчеты"
Отправлено Михаил , 14-Апр-03 20:24 
>Добрый день всем!
>Помогите, может кто сталкивался, ситуация следующая
>Sarg перестал создавать отчеты, просто повисает и можно ждать хоть сутки
>При это процессор он загружает на все 100
>Логи делаются понедельно, размер лога в среднем 140 мегов
>машинка PII-300/128/UW-SCSI (40)
>может мощности не хватает? хотя странно, поначалу за 4-5 минут делал отчеты
>sarg при таких же размерах логов.
>да squid 2.5 stable1
>sarg 1.2.2

да, есть такая проблема...
у меня, правда, это случается очень редко, раз в одну-две недели при регулярном запуске каждые пять минут... но случается и иногда вдруг приходится искать внезапно возникшие тормоза :(
как замечено - от размера логов это не зависит

"sarg не создает отчеты"
Отправлено wex , 15-Апр-03 10:42 
>>Добрый день всем!
>>Помогите, может кто сталкивался, ситуация следующая
>>Sarg перестал создавать отчеты, просто повисает и можно ждать хоть сутки
>>При это процессор он загружает на все 100
>>Логи делаются понедельно, размер лога в среднем 140 мегов
>>машинка PII-300/128/UW-SCSI (40)
>>может мощности не хватает? хотя странно, поначалу за 4-5 минут делал отчеты
>>sarg при таких же размерах логов.
>>да squid 2.5 stable1
>>sarg 1.2.2
>
>да, есть такая проблема...
>у меня, правда, это случается очень редко, раз в одну-две недели при
>регулярном запуске каждые пять минут... но случается и иногда вдруг приходится
>искать внезапно возникшие тормоза :(
>как замечено - от размера логов это не зависит

А как с этим бороться не понятно? а то уменя всегда так
Причем на сквиде 2.4 и сарге 1.2 все было окей

"sarg не создает отчеты"
Отправлено wex , 15-Апр-03 12:17 
>>>Добрый день всем!
>>>Помогите, может кто сталкивался, ситуация следующая
>>>Sarg перестал создавать отчеты, просто повисает и можно ждать хоть сутки
>>>При это процессор он загружает на все 100
>>>Логи делаются понедельно, размер лога в среднем 140 мегов
>>>машинка PII-300/128/UW-SCSI (40)
>>>может мощности не хватает? хотя странно, поначалу за 4-5 минут делал отчеты
>>>sarg при таких же размерах логов.
>>>да squid 2.5 stable1
>>>sarg 1.2.2
>>
>>да, есть такая проблема...
>>у меня, правда, это случается очень редко, раз в одну-две недели при
>>регулярном запуске каждые пять минут... но случается и иногда вдруг приходится
>>искать внезапно возникшие тормоза :(
>>как замечено - от размера логов это не зависит
>
>
>
>А как с этим бороться не понятно? а то уменя всегда так
>
>Причем на сквиде 2.4 и сарге 1.2 все было окей


Поставил sarg 1.4 и все патчи. тоже самое

"sarg не создает отчеты"
Отправлено Michael , 15-Апр-03 12:41 
у меня squid 2.5.STABLE1 и sarg-1.2.2 03Apr2002
хотя вряд ли тут дело в версиях...

ты формат логов сквида не менял?
пробовал делать вывод в пустой каталог?
место в /tmp достаточно? sarg очень нехило ест /tmp

"sarg не создает отчеты"
Отправлено wex , 15-Апр-03 13:24 
>у меня squid 2.5.STABLE1 и sarg-1.2.2 03Apr2002
>хотя вряд ли тут дело в версиях...
>
>ты формат логов сквида не менял?
>пробовал делать вывод в пустой каталог?
>место в /tmp достаточно? sarg очень нехило ест /tmp

формат не трогал.
вывод в пустой каталог попробую
в /tmp места хватает

я запускаю sarg -z -x -d dd1/mm/2003-dd2/mm/2003 (что видеть всю инфу)
считавает лог файл, в /tmp/sarg появляются файлики unsort и на этом все, может действительно не хватает мощности

"sarg не создает отчеты"
Отправлено wex , 15-Апр-03 13:57 
>>у меня squid 2.5.STABLE1 и sarg-1.2.2 03Apr2002
>>хотя вряд ли тут дело в версиях...
>>
>>ты формат логов сквида не менял?
>>пробовал делать вывод в пустой каталог?
>>место в /tmp достаточно? sarg очень нехило ест /tmp
>
>формат не трогал.
>вывод в пустой каталог попробую
>в /tmp места хватает
>
>я запускаю sarg -z -x -d dd1/mm/2003-dd2/mm/2003 (что видеть всю инфу)
>считавает лог файл, в /tmp/sarg появляются файлики unsort и на этом все,
>может действительно не хватает мощности


вывод в пустую директорию тоже не помог

"sarg не создает отчеты"
Отправлено Michael , 15-Апр-03 14:18 
найди старый файл с логом, на котором точно работало, и попробуй на нем
может, ему что-то в логах не нравится...
а с какого момента перестало работать? что изменял в системе?
"sarg не создает отчеты"
Отправлено wex , 15-Апр-03 16:44 
>найди старый файл с логом, на котором точно работало, и попробуй на
>нем
>может, ему что-то в логах не нравится...
>а с какого момента перестало работать? что изменял в системе?


старых логов нет, есть только за последние 4-ре недели и ни один не хочет.
вроде ничего в системе не менял ... если только время правил
вообще у меня в сквиде какая то фигня со временем, показывает его на несколько часов вперед (в браузере если ошибка) и ограничения по времнеи не работают, типа
acl work time SMTWHTA 09:50-22:00
так днем не пускает, причем по date выдает точное время

"sarg не создает отчеты"
Отправлено Lia , 22-Май-03 17:50 
>
>старых логов нет, есть только за последние 4-ре недели и ни один
>не хочет.
>вроде ничего в системе не менял ... если только время правил
>вообще у меня в сквиде какая то фигня со временем, показывает его
>на несколько часов вперед (в браузере если ошибка) и ограничения по
>времнеи не работают, типа
>acl work time SMTWHTA 09:50-22:00
>так днем не пускает, причем по date выдает точное время

Привет всем !!!
Абсолютно таже проблема, поверьте у меня стоит матерый сервак
тока под прокси и отдал его, мощи достаточно, но sarg уже достает, то делает то нет отчеты, в последнее время вообще перестал, тупо висит в процессах и всё тут, хоть неделю жди.
я вот подумывал, мож он имеет проблемы с большими логами всё-таки ?
sarg-1.2.2.1
squid-2.5.Stable2

"sarg не создает отчеты"
Отправлено Skif , 22-Май-03 17:53 
Обновить до 1.4 на пробовали и поставить все патчи?
"sarg не создает отчеты"
Отправлено Lia , 22-Май-03 18:11 
>Обновить до 1.4 на пробовали и поставить все патчи?
Слыхал что и 1.4 не обделен траблами, лично я попробую
потом скажу

"sarg не создает отчеты"
Отправлено Mikhail , 22-Май-03 18:06 
были замечены проблемы
1) активно использует временные файлы: копирует куда указано (temporary_dir), долго обрабатывает с созданием еще более временных файлов - об'ем с'едается лихо. если места при этом не хватает - тихо умирает. если в это время с теми же (temporary_dir) настройками запустится еще один sarg - затрет своими временными файлами предыдущие, и т.д.
2) если включено resolve_ip, а хосты не определяются (например, раздача dhcp и reverse lookup не банален), процесс может продолжаться ОЧЕНЬ долго, а там - см. п. 1. Пример: у меня снимается (относительно)текущая статистика (за час) с одним конфигом, resolve_ip yes и др., а ночью проходит sarg с resolve_ip и другой temporary_dir.
"sarg не создает отчеты"
Отправлено Lia , 22-Май-03 18:24 
>были замечены проблемы
>1) активно использует временные файлы: копирует куда указано (temporary_dir), долго обрабатывает с
>созданием еще более временных файлов - об'ем с'едается лихо. если места
>при этом не хватает - тихо умирает. если в это время
>с теми же (temporary_dir) настройками запустится еще один sarg - затрет
>своими временными файлами предыдущие, и т.д.
>2) если включено resolve_ip, а хосты не определяются (например, раздача dhcp и
>reverse lookup не банален), процесс может продолжаться ОЧЕНЬ долго, а там
>- см. п. 1. Пример: у меня снимается (относительно)текущая статистика (за
>час) с одним конфигом, resolve_ip yes и др., а ночью проходит
>sarg с resolve_ip и другой temporary_dir.


хе-хе, я согласен, пускай он 1-2 часа страдает, но не больше же 10 часов
все твои замечания я знаю, здесь проблем лично у меня нет
щас буду пробовать с sarg-1.4

"sarg не создает отчеты"
Отправлено Lia , 22-Май-03 19:03 
>были замечены проблемы
>1) активно использует временные файлы: копирует куда указано (temporary_dir), долго обрабатывает с
>созданием еще более временных файлов - об'ем с'едается лихо. если места
>при этом не хватает - тихо умирает. если в это время
>с теми же (temporary_dir) настройками запустится еще один sarg - затрет
>своими временными файлами предыдущие, и т.д.
>2) если включено resolve_ip, а хосты не определяются (например, раздача dhcp и
>reverse lookup не банален), процесс может продолжаться ОЧЕНЬ долго, а там
>- см. п. 1. Пример: у меня снимается (относительно)текущая статистика (за
>час) с одним конфигом, resolve_ip yes и др., а ночью проходит
>sarg с resolve_ip и другой temporary_dir.

А вот поставил я sarg-1.4, подогнал конфу,
запустил и он так же заткнулся
тока появилась одна интересная опция в этой версии - show_read_statistics
типа показывать во времягенерации отчета небольшой процесс работы самого sarg, вот что он пишет :
SARG: Records in file=0 Reading=0 Rest=33743
И замирает на этом, что означает "Rest", мож отсюдова покапать ???

"sarg не создает отчеты"
Отправлено iiws , 23-Май-03 06:51 
обновил sarg до версии 1.4 , полет нормальный !
был трабл с логом самого сквида, в момент зависания в логе оказалась запись
с двойным временем такого вида :
1052108120.7691052108144.978    355 10.131.2.148 TCP_REFRESH_HIT/304 260 GET http://img.gismeteo.ru/weather/wp.css -
сарг вываливался с ошибкой - segmenatation fault   !

у сарга есть недокументированная опция -m , с ней сарг гнал на экран все записи лога сквида и после вываливания в fault на экране мне высевтилась эта сбойная запись, после ее исправления в логе  sarg все посчитал ! так я нашел ошибку в access.log
попробуйте и вы запустить:   sarg -m
может что и покажет вам на экран и наведет на дальнейшие мысли .

"sarg не создает отчеты"
Отправлено Lia , 23-Май-03 08:28 
>обновил sarg до версии 1.4 , полет нормальный !
>был трабл с логом самого сквида, в момент зависания в логе оказалась
>запись
>с двойным временем такого вида :
>1052108120.7691052108144.978    355 10.131.2.148 TCP_REFRESH_HIT/304 260 GET http://img.gismeteo.ru/weather/wp.css -
>сарг вываливался с ошибкой - segmenatation fault   !
>
>у сарга есть недокументированная опция -m , с ней сарг гнал на
>экран все записи лога сквида и после вываливания в fault на
>экране мне высевтилась эта сбойная запись, после ее исправления в логе
> sarg все посчитал ! так я нашел ошибку в access.log
>
>попробуйте и вы запустить:   sarg -m
>может что и покажет вам на экран и наведет на дальнейшие мысли
>.

Спасибо iiws !!!
Действительно крутая и полезная опция, я тоже нашел у ся косяк в access.log, а точнее проблема в том что есть записи офигенной длинны (8362 символа) :
ЪЪЪ% ........
Мож кто знает как это предотвратить в дальнейшем, чтобы сквид не писал эту чушь, или сарж заставить не смотреть на такое дело

"sarg не создает отчеты"
Отправлено Lia , 23-Май-03 09:53 
УРА_УРА !!!
Неужели sarg умеет делать отчёты ???!!!
Кстати говоря, с этими exclude и include в конфе тоже замута еще та
Спасибо всем !!!

"sarg не создает отчеты"
Отправлено Floy , 10-Июн-03 15:09 
Проблема !!!
Sarg в отчетах не пишет IP адреса пользователей, а сразу всю подсеть
т.е. 192.168.1.0 ???
Помогите !! Плиз
"sarg не создает отчеты"
Отправлено iiws , 10-Июн-03 15:18 
>Проблема !!!
>Sarg в отчетах не пишет IP адреса пользователей, а сразу всю подсеть
>
>т.е. 192.168.1.0 ???
>Помогите !! Плиз

указать client_netmask 255.255.255.255

"sarg глючит :((  плих хелп.."
Отправлено Camb , 11-Июн-03 10:23 
Млин! ни с того ни с сего глюконат кальция пошел у сарга :(
вот какой отчет он выдает...
Единстенное что сделал с squid.conf - это настроил pool_delays

Плиз! Хелп!

-
Camb
--- cut ---
1 date/time 172.16.0.145 249 82.738.300 79.91% 0.64% 99.36% 06:20:51 22.851.489 45.94%
2 date/time 172.14.0.8 3.252 10.736.309 10.37% 2.45% 97.55% 03:20:23 12.023.069 24.17%
3 date/time 172.16.0.63 960 10.017.445 9.67% 4.83% 95.17% 01:33:39 5.619.881 11.30%
4 date/time 192.168.83.121 30 25.958 0.03% 49.03% 50.97% 00:00:57 57.871 0.12%
5 date/time 000000000000001... 7.358 1.100 0.00% 668.91% 46.91% 00:00:00 0 0.00%
6 date/time 000000000000001... 1.689 1.001 0.00% 168.73% 19.18% 00:00:00 0 0.00%
7 date/time 000000000000004... 5.128 1.000 0.00% 512.80% 19.20% 00:00:00 0 0.00%
8 date/time 000000000000003... 40.594 702 0.00% 5782.62% 49.00% 00:00:00 0 0.00%
9 date/time 000000000000002... 25.351 702 0.00% 3611.25% 49.00% 00:00:00 0 0.00%
10 date/time 000000000000013... 59.062 663 0.00% 30114.03% 51.89% 00:00:52 52.628 0.11%
11 date/time 000000000000001... 0 585 0.00% 4490.09% 98.46% 00:00:00 0 0.00%
12 date/time 000000000000001... 10.401 530 0.00% 0.00% 72.45% 00:00:10 10.401 0.02%
13 date/time 000000000000018... 84.365 468 0.00% 18026.71% 36.75% 00:00:00 0 0.00%
14 date/time 000000000000013... 115.040 468 0.00% 24581.20% 41.03% 00:00:00 0 0.00%
15 date/time 000000000000012... 72.555 468 0.00% 15503.21% 36.75% 00:00:00 0
-------- cut -----------