URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID12
Нить номер: 1643
[ Назад ]

Исходное сообщение
"SARG долго формирует отчёт!!!(очень долго!!!)"

Отправлено Димарик , 10-Дек-03 11:50 
Привет всем! Кто нить знает почему сарг так долго формирует отчёт(неделю при размере лога 65mb)??? вроде не слабая машина(Cel 1700/DDR256)??? память он практически не использует(всего 1%), а вот процессор пашет во всю - 99,5%!!!! слышал у некоторых и на более слабых машинах быстрее делается!!! может настройки какие поправить???

Содержание

Сообщения в этом обсуждении
"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено ipmanyak , 10-Дек-03 12:22 
>Привет всем! Кто нить знает почему сарг так долго формирует отчёт(неделю при
>размере лога 65mb)??? вроде не слабая машина(Cel 1700/DDR256)??? память он практически
>не использует(всего 1%), а вот процессор пашет во всю - 99,5%!!!!
>слышал у некоторых и на более слабых машинах быстрее делается!!! может
>настройки какие поправить???

возможно деле не в сарге! проверь у себя работает ли UDMA
выдай команду :
hdparm /dev/hda   и смотри текущие опции
должно стоять
using_dma    =  1 (on)
затем жмакни :
hdparm -t /dev/hda1
и смотри скорость обмена с винтом, при UDMA4 должна быть в районе 20-35mb/s
можешь результат сюда показать


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено Димарик , 10-Дек-03 14:11 
>возможно деле не в сарге! проверь у себя работает ли UDMA
>выдай команду :
>hdparm /dev/hda   и смотри текущие опции
>должно стоять
> using_dma    =  1 (on)
так и есть, т.е. 1(on)
>затем жмакни :
>hdparm -t /dev/hda1
>и смотри скорость обмена с винтом, при UDMA4 должна быть в районе
>20-35mb/s
>можешь результат сюда показать
Вот результат: 34,78Mb/s - первый раз
               43.54mb/s - второй ...



"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено ipmanyak , 10-Дек-03 18:09 
>>возможно деле не в сарге! проверь у себя работает ли UDMA
>>выдай команду :
>>hdparm /dev/hda   и смотри текущие опции
>>должно стоять
>> using_dma    =  1 (on)
>так и есть, т.е. 1(on)
>>затем жмакни :
>>hdparm -t /dev/hda1
>>и смотри скорость обмена с винтом, при UDMA4 должна быть в районе
>>20-35mb/s
>>можешь результат сюда показать
>Вот результат: 34,78Mb/s - первый раз
>            
>   43.54mb/s - второй ...

тады ой!  наcчет udma усе рулез!
а сколько времени сарг пашет на твой лог ? и каков объем лога ?



"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено Димарик , 11-Дек-03 08:47 
>тады ой!  наcчет udma усе рулез!
>а сколько времени сарг пашет на твой лог ? и каков объем
>лога ?
Я же писАл в первом сообщении - лог 65 метров обрабатывался 6 СУТОК!!!!


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено ipmanyak , 11-Дек-03 10:44 
>>тады ой!  наcчет udma усе рулез!
>>а сколько времени сарг пашет на твой лог ? и каков объем
>>лога ?
>Я же писАл в первом сообщении - лог 65 метров обрабатывался 6
>СУТОК!!!!

офигеть !  :))


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено ipmanyak , 11-Дек-03 10:45 
покажи конфиг сарга, только плыз в чистом виде



"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено Димарик , 11-Дек-03 13:35 
>покажи конфиг сарга, только плыз в чистом виде
В каком смысле? полностью как есть или без закоментированных строк?

"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено slivarez , 11-Дек-03 14:43 
>>покажи конфиг сарга, только плыз в чистом виде
>В каком смысле? полностью как есть или без закоментированных строк?
Выложи конфиг сарга без закоментированных строк. У тебя сквид без авторизации? Чисто по IP?


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено Димарик , 11-Дек-03 15:04 
>Выложи конфиг сарга без закоментированных строк. У тебя сквид без авторизации? Чисто
>по IP?
авторизации нет, только IP

Вот не закоментированные строки конфига

language Russian_koi8
access_log /usr/local/squid/var/logs/access.log.1
temporary_dir /tmp
output_dir /var/www/html/squid
date_format e
max_elapsed 28800000
charset Koi8-r

всё остальное по умолчанию


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено slivarez , 11-Дек-03 15:13 
>авторизации нет, только IP
>
>Вот не закоментированные строки конфига
>
>language Russian_koi8
>access_log /usr/local/squid/var/logs/access.log.1
>temporary_dir /tmp
>output_dir /var/www/html/squid
>date_format e
>max_elapsed 28800000
>charset Koi8-r
>
>всё остальное по умолчанию
т.е. размер access.log.1=65М, а сарг думал 6 дней??? у меня к концу месяца 200М и он за 10 мин все делает... Какие у тебя еще файлы лежат в /usr/local/squid/logs/ и какой у них размер?

remove_temp_files yes
overwrite_reports yes
Эти теги стоят?

Какая у тебя ось? А что получаешь в /var/www/html/squid? там все нормально? отчет создается? если да то в каком он виде(т.е. все ли странички создаются)? а чего сарг пишет после завершения работы?


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено Димарик , 11-Дек-03 15:25 
>т.е. размер access.log.1=65М, а сарг думал 6 дней??? да
> у меня к концу
>месяца 200М и он за 10 мин все делает... Какие у
>тебя еще файлы лежат в /usr/local/squid/logs/ и какой у них размер?
access.log.0, access.log.2, access.log.3 по 13М(кстати с них отчёт сутки делается, т.е. с каждого)
>
>
>remove_temp_files yes
есть
>overwrite_reports yes
у меня overwrite_reports no
>Эти теги стоят?
>
>Какая у тебя ось?
RedHat 9.0
Sarg 1.4.1
А что получаешь в /var/www/html/squid? там все нормально?
>отчет создается? если да то в каком он виде(т.е. все ли
>странички создаются)? а чего сарг пишет после завершения работы?
Отчёт создаётся нормально(все страницы), после завершения пишет, что создан отчёт за такой-то период....


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено slivarez , 11-Дек-03 15:39 
На ум приходит только одно... попробуй скопировать access.log.1 в другой каталог например в /var, т.е. туда где больше нет никаких access.log'ов и пропиши соответственно access_log /var/access.log.1 Просто у меня когда то что-то похожее было, я анализировал /usr/local/squid/logs/access.log  и у меня там лежали логи за пару месяцев по 200-300 М, но почемуто получил отчет за весь период. Когда делаю с /var все работает нормально.

Если будет думать дольше 10мин напиши.


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено Димарик , 11-Дек-03 15:44 
>На ум приходит только одно... попробуй скопировать access.log.1 в другой каталог например
>в /var, т.е. туда где больше нет никаких access.log'ов и пропиши
>соответственно access_log /var/access.log.1 Просто у меня когда то что-то похожее было,
>я анализировал /usr/local/squid/logs/access.log  и у меня там лежали логи за
>пару месяцев по 200-300 М, но почемуто получил отчет за весь
>период. Когда делаю с /var все работает нормально.
а у меня период за 2 недели .... в отчёте тоже 2 недели
>
>Если будет думать дольше 10мин напиши.
Ладно спасибо .... буду пробовать!


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено Димарик , 11-Дек-03 16:08 
>На ум приходит только одно... попробуй скопировать access.log.1 в другой каталог например
>в /var, т.е. туда где больше нет никаких access.log'ов и пропиши
>соответственно access_log /var/access.log.1 Просто у меня когда то что-то похожее было,
>я анализировал /usr/local/squid/logs/access.log  и у меня там лежали логи за
>пару месяцев по 200-300 М, но почемуто получил отчет за весь
>период. Когда делаю с /var все работает нормально.
>
>Если будет думать дольше 10мин напиши.
Попробовал .... скачал небольшой лог (7,5М) .... так он уже больше 10мин сортируется .....

"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено akeeper , 11-Дек-03 16:15 
Гм.. у меня лог 143 мега, обсчитывается чуть меньше 2 минут.

wbr, akeeper.


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено slivarez , 11-Дек-03 16:17 
>>На ум приходит только одно... попробуй скопировать access.log.1 в другой каталог например
>>в /var, т.е. туда где больше нет никаких access.log'ов и пропиши
>>соответственно access_log /var/access.log.1 Просто у меня когда то что-то похожее было,
>>я анализировал /usr/local/squid/logs/access.log  и у меня там лежали логи за
>>пару месяцев по 200-300 М, но почемуто получил отчет за весь
>>период. Когда делаю с /var все работает нормально.
>>
>>Если будет думать дольше 10мин напиши.
>Попробовал .... скачал небольшой лог (7,5М) .... так он уже больше 10мин
>сортируется .....
Фиг его знает в чем дело, но скорее всего не в сарге. Я на линуксе не пробовал, но под FreeBSD (на Intel P4; даже на 128 DDR) работает быстро. Как вариант попробуй sarg пересобрать с другого источника, если хош я тебе пропатченный на мыло кину: обычный sarg токо +возможность делать include_users "path_to_file", работает нормально.


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено Димарик , 11-Дек-03 16:26 
>Фиг его знает в чем дело, но скорее всего не в сарге.
>Я на линуксе не пробовал, но под FreeBSD (на Intel P4;
>даже на 128 DDR) работает быстро. Как вариант попробуй sarg пересобрать
>с другого источника, если хош я тебе пропатченный на мыло кину:
>обычный sarg токо +возможность делать include_users "path_to_file", работает нормально.
Кинь если не сложно, попробую ...


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено akeeper , 11-Дек-03 16:32 
>Кинь если не сложно, попробую ...

Кстати, разумно - какая у тебя версия sarge? У меня он просто отчёты делает за текущий день каждый час и даже особой нагрузки не видно. Разве что раньше считал несколько секунд, а теперь минуту с копейками.

wbr, akeeper.


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено slivarez , 11-Дек-03 16:39 
>Кинь если не сложно, попробую ...

Кинул... Напиши что получится... Токо там в конфиге access_log /var/access.log, переименуй свой лог в /var/access.log


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено Димарик , 11-Дек-03 17:29 
>>Кинь если не сложно, попробую ...
>
>Кинул... Напиши что получится... Токо там в конфиге access_log /var/access.log, переименуй свой
>лог в /var/access.log

Всё поставил .... запустил ..... тоже самое, только теперь в списке процессов 2 процесса sort и они делят нагрузку процессора пополам ...


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено Димарик , 11-Дек-03 16:37 
Я говорил уже
Sarg 1.4.1


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено akeeper , 11-Дек-03 16:41 
>Я говорил уже
>Sarg 1.4.1

Обновиться что ли.. у меня Sarg 1.2.2

wbr, akeeper.


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено semen , 12-Дек-03 01:23 
sarg запускал от root'a
Если нет - попробуй


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено semen , 12-Дек-03 01:25 
sarg запускал от root'a ?
Если нет - попробуй

"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено ipmanyak , 15-Дек-03 08:04 
очисти каталог tmp от всякого мусора
очисти каталог с отчетами сарга
поставь в сарге такие опции :

user_ip yes
lastlog 2
remove_temp_files yes
overwrite_report yes
max_elapsed 0
long_url no

запусти сарг и проверь сколько будет считать времени


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено egor2fsys , 15-Дек-03 08:28 
такая же проблема и у меня ...

все очистил и поставил рекомендованные опции

не помогло, просто очень долго считает


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено ipmanyak , 15-Дек-03 08:56 
на сайте сарга есть патч к 1.4.1 и инфа о баге в  REDHAT 9:
http://web.onda.com.br/orso/sarg.html
в частнсти:

Patches How to apply: save the patch in sarg-1.4.1 directory, patch -p0 < _patch_name, make install
sarg-1.4.1-index.sort.patch
- sort fixed in index.html

RedHat 9 RH 9 have a bug in sort utility. Export the following variable before running sarg:
export LC_ALL=C

дума вам стоит пропатчить


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено egor2fsys , 15-Дек-03 16:26 
да действительно после применения патча и описания переменной все заработало как надо !

спасибо


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено Giokoed , 22-Июл-04 11:39 
Ребята ну помогите не опытному
Как мне пропатчить sarg-1.4.1
Я в директорию с исходником копирую index.c.diff
затем пишу
# patch -p0 < index.c.diff
#make
#make install
#export LC_ALL=C
запускаю сарг и он у меня опять висит что делать?

"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено Димарик , 16-Дек-03 08:42 
>на сайте сарга есть патч к 1.4.1 и инфа о баге в
> REDHAT 9:
>http://web.onda.com.br/orso/sarg.html
>в частнсти:
>
>Patches How to apply: save the patch in sarg-1.4.1 directory, patch -p0
>< _patch_name, make install
> sarg-1.4.1-index.sort.patch
> - sort fixed in index.html
>
>RedHat 9 RH 9 have a bug in sort utility. Export the
>following variable before running sarg:
> export LC_ALL=C
>
>дума вам стоит пропатчить

Спасибо большое за помощь!!! Теперь всё ОК!!!


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено ipmanyak , 15-Дек-03 09:09 
задайте вопрос разработчику сарга -  Pedro Lineu Orso <orso@onda.com.br>

"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено Havoc , 15-Дек-03 15:45 
А он не пытается разрезолвить все адреса?



"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено psg , 15-Дек-03 16:26 
>Привет всем! Кто нить знает почему сарг так долго формирует отчёт(неделю при
>размере лога 65mb)??? вроде не слабая машина(Cel 1700/DDR256)??? память он практически
>не использует(всего 1%), а вот процессор пашет во всю - 99,5%!!!!
>слышал у некоторых и на более слабых машинах быстрее делается!!! может
>настройки какие поправить???

У меня стал работать раза в 4 быстрее, для этого убери лишние поля в отчетах, например время, ну вообще все что не нужно.


"SARG долго формирует отчёт!!!(очень долго!!!)"
Отправлено ipmanyak , 16-Дек-03 08:51 
ну слава богу разобрались !