Привет всем! Кто нить знает почему сарг так долго формирует отчёт(неделю при размере лога 65mb)??? вроде не слабая машина(Cel 1700/DDR256)??? память он практически не использует(всего 1%), а вот процессор пашет во всю - 99,5%!!!! слышал у некоторых и на более слабых машинах быстрее делается!!! может настройки какие поправить???
>Привет всем! Кто нить знает почему сарг так долго формирует отчёт(неделю при
>размере лога 65mb)??? вроде не слабая машина(Cel 1700/DDR256)??? память он практически
>не использует(всего 1%), а вот процессор пашет во всю - 99,5%!!!!
>слышал у некоторых и на более слабых машинах быстрее делается!!! может
>настройки какие поправить???возможно деле не в сарге! проверь у себя работает ли UDMA
выдай команду :
hdparm /dev/hda и смотри текущие опции
должно стоять
using_dma = 1 (on)
затем жмакни :
hdparm -t /dev/hda1
и смотри скорость обмена с винтом, при UDMA4 должна быть в районе 20-35mb/s
можешь результат сюда показать
>возможно деле не в сарге! проверь у себя работает ли UDMA
>выдай команду :
>hdparm /dev/hda и смотри текущие опции
>должно стоять
> using_dma = 1 (on)
так и есть, т.е. 1(on)
>затем жмакни :
>hdparm -t /dev/hda1
>и смотри скорость обмена с винтом, при UDMA4 должна быть в районе
>20-35mb/s
>можешь результат сюда показать
Вот результат: 34,78Mb/s - первый раз
43.54mb/s - второй ...
>>возможно деле не в сарге! проверь у себя работает ли UDMA
>>выдай команду :
>>hdparm /dev/hda и смотри текущие опции
>>должно стоять
>> using_dma = 1 (on)
>так и есть, т.е. 1(on)
>>затем жмакни :
>>hdparm -t /dev/hda1
>>и смотри скорость обмена с винтом, при UDMA4 должна быть в районе
>>20-35mb/s
>>можешь результат сюда показать
>Вот результат: 34,78Mb/s - первый раз
>
> 43.54mb/s - второй ...тады ой! наcчет udma усе рулез!
а сколько времени сарг пашет на твой лог ? и каков объем лога ?
>тады ой! наcчет udma усе рулез!
>а сколько времени сарг пашет на твой лог ? и каков объем
>лога ?
Я же писАл в первом сообщении - лог 65 метров обрабатывался 6 СУТОК!!!!
>>тады ой! наcчет udma усе рулез!
>>а сколько времени сарг пашет на твой лог ? и каков объем
>>лога ?
>Я же писАл в первом сообщении - лог 65 метров обрабатывался 6
>СУТОК!!!!офигеть ! :))
покажи конфиг сарга, только плыз в чистом виде
>покажи конфиг сарга, только плыз в чистом виде
В каком смысле? полностью как есть или без закоментированных строк?
>>покажи конфиг сарга, только плыз в чистом виде
>В каком смысле? полностью как есть или без закоментированных строк?
Выложи конфиг сарга без закоментированных строк. У тебя сквид без авторизации? Чисто по IP?
>Выложи конфиг сарга без закоментированных строк. У тебя сквид без авторизации? Чисто
>по IP?
авторизации нет, только IPВот не закоментированные строки конфига
language Russian_koi8
access_log /usr/local/squid/var/logs/access.log.1
temporary_dir /tmp
output_dir /var/www/html/squid
date_format e
max_elapsed 28800000
charset Koi8-rвсё остальное по умолчанию
>авторизации нет, только IP
>
>Вот не закоментированные строки конфига
>
>language Russian_koi8
>access_log /usr/local/squid/var/logs/access.log.1
>temporary_dir /tmp
>output_dir /var/www/html/squid
>date_format e
>max_elapsed 28800000
>charset Koi8-r
>
>всё остальное по умолчанию
т.е. размер access.log.1=65М, а сарг думал 6 дней??? у меня к концу месяца 200М и он за 10 мин все делает... Какие у тебя еще файлы лежат в /usr/local/squid/logs/ и какой у них размер?remove_temp_files yes
overwrite_reports yes
Эти теги стоят?Какая у тебя ось? А что получаешь в /var/www/html/squid? там все нормально? отчет создается? если да то в каком он виде(т.е. все ли странички создаются)? а чего сарг пишет после завершения работы?
>т.е. размер access.log.1=65М, а сарг думал 6 дней??? да
> у меня к концу
>месяца 200М и он за 10 мин все делает... Какие у
>тебя еще файлы лежат в /usr/local/squid/logs/ и какой у них размер?
access.log.0, access.log.2, access.log.3 по 13М(кстати с них отчёт сутки делается, т.е. с каждого)
>
>
>remove_temp_files yes
есть
>overwrite_reports yes
у меня overwrite_reports no
>Эти теги стоят?
>
>Какая у тебя ось?
RedHat 9.0
Sarg 1.4.1
А что получаешь в /var/www/html/squid? там все нормально?
>отчет создается? если да то в каком он виде(т.е. все ли
>странички создаются)? а чего сарг пишет после завершения работы?
Отчёт создаётся нормально(все страницы), после завершения пишет, что создан отчёт за такой-то период....
На ум приходит только одно... попробуй скопировать access.log.1 в другой каталог например в /var, т.е. туда где больше нет никаких access.log'ов и пропиши соответственно access_log /var/access.log.1 Просто у меня когда то что-то похожее было, я анализировал /usr/local/squid/logs/access.log и у меня там лежали логи за пару месяцев по 200-300 М, но почемуто получил отчет за весь период. Когда делаю с /var все работает нормально.Если будет думать дольше 10мин напиши.
>На ум приходит только одно... попробуй скопировать access.log.1 в другой каталог например
>в /var, т.е. туда где больше нет никаких access.log'ов и пропиши
>соответственно access_log /var/access.log.1 Просто у меня когда то что-то похожее было,
>я анализировал /usr/local/squid/logs/access.log и у меня там лежали логи за
>пару месяцев по 200-300 М, но почемуто получил отчет за весь
>период. Когда делаю с /var все работает нормально.
а у меня период за 2 недели .... в отчёте тоже 2 недели
>
>Если будет думать дольше 10мин напиши.
Ладно спасибо .... буду пробовать!
>На ум приходит только одно... попробуй скопировать access.log.1 в другой каталог например
>в /var, т.е. туда где больше нет никаких access.log'ов и пропиши
>соответственно access_log /var/access.log.1 Просто у меня когда то что-то похожее было,
>я анализировал /usr/local/squid/logs/access.log и у меня там лежали логи за
>пару месяцев по 200-300 М, но почемуто получил отчет за весь
>период. Когда делаю с /var все работает нормально.
>
>Если будет думать дольше 10мин напиши.
Попробовал .... скачал небольшой лог (7,5М) .... так он уже больше 10мин сортируется .....
Гм.. у меня лог 143 мега, обсчитывается чуть меньше 2 минут.wbr, akeeper.
>>На ум приходит только одно... попробуй скопировать access.log.1 в другой каталог например
>>в /var, т.е. туда где больше нет никаких access.log'ов и пропиши
>>соответственно access_log /var/access.log.1 Просто у меня когда то что-то похожее было,
>>я анализировал /usr/local/squid/logs/access.log и у меня там лежали логи за
>>пару месяцев по 200-300 М, но почемуто получил отчет за весь
>>период. Когда делаю с /var все работает нормально.
>>
>>Если будет думать дольше 10мин напиши.
>Попробовал .... скачал небольшой лог (7,5М) .... так он уже больше 10мин
>сортируется .....
Фиг его знает в чем дело, но скорее всего не в сарге. Я на линуксе не пробовал, но под FreeBSD (на Intel P4; даже на 128 DDR) работает быстро. Как вариант попробуй sarg пересобрать с другого источника, если хош я тебе пропатченный на мыло кину: обычный sarg токо +возможность делать include_users "path_to_file", работает нормально.
>Фиг его знает в чем дело, но скорее всего не в сарге.
>Я на линуксе не пробовал, но под FreeBSD (на Intel P4;
>даже на 128 DDR) работает быстро. Как вариант попробуй sarg пересобрать
>с другого источника, если хош я тебе пропатченный на мыло кину:
>обычный sarg токо +возможность делать include_users "path_to_file", работает нормально.
Кинь если не сложно, попробую ...
>Кинь если не сложно, попробую ...Кстати, разумно - какая у тебя версия sarge? У меня он просто отчёты делает за текущий день каждый час и даже особой нагрузки не видно. Разве что раньше считал несколько секунд, а теперь минуту с копейками.
wbr, akeeper.
>Кинь если не сложно, попробую ...Кинул... Напиши что получится... Токо там в конфиге access_log /var/access.log, переименуй свой лог в /var/access.log
>>Кинь если не сложно, попробую ...
>
>Кинул... Напиши что получится... Токо там в конфиге access_log /var/access.log, переименуй свой
>лог в /var/access.logВсё поставил .... запустил ..... тоже самое, только теперь в списке процессов 2 процесса sort и они делят нагрузку процессора пополам ...
Я говорил уже
Sarg 1.4.1
>Я говорил уже
>Sarg 1.4.1Обновиться что ли.. у меня Sarg 1.2.2
wbr, akeeper.
sarg запускал от root'a
Если нет - попробуй
sarg запускал от root'a ?
Если нет - попробуй
очисти каталог tmp от всякого мусора
очисти каталог с отчетами сарга
поставь в сарге такие опции :user_ip yes
lastlog 2
remove_temp_files yes
overwrite_report yes
max_elapsed 0
long_url noзапусти сарг и проверь сколько будет считать времени
такая же проблема и у меня ...все очистил и поставил рекомендованные опции
не помогло, просто очень долго считает
на сайте сарга есть патч к 1.4.1 и инфа о баге в REDHAT 9:
http://web.onda.com.br/orso/sarg.html
в частнсти:Patches How to apply: save the patch in sarg-1.4.1 directory, patch -p0 < _patch_name, make install
sarg-1.4.1-index.sort.patch
- sort fixed in index.htmlRedHat 9 RH 9 have a bug in sort utility. Export the following variable before running sarg:
export LC_ALL=Cдума вам стоит пропатчить
да действительно после применения патча и описания переменной все заработало как надо !спасибо
Ребята ну помогите не опытному
Как мне пропатчить sarg-1.4.1
Я в директорию с исходником копирую index.c.diff
затем пишу
# patch -p0 < index.c.diff
#make
#make install
#export LC_ALL=C
запускаю сарг и он у меня опять висит что делать?
>на сайте сарга есть патч к 1.4.1 и инфа о баге в
> REDHAT 9:
>http://web.onda.com.br/orso/sarg.html
>в частнсти:
>
>Patches How to apply: save the patch in sarg-1.4.1 directory, patch -p0
>< _patch_name, make install
> sarg-1.4.1-index.sort.patch
> - sort fixed in index.html
>
>RedHat 9 RH 9 have a bug in sort utility. Export the
>following variable before running sarg:
> export LC_ALL=C
>
>дума вам стоит пропатчитьСпасибо большое за помощь!!! Теперь всё ОК!!!
задайте вопрос разработчику сарга - Pedro Lineu Orso <orso@onda.com.br>
А он не пытается разрезолвить все адреса?
>Привет всем! Кто нить знает почему сарг так долго формирует отчёт(неделю при
>размере лога 65mb)??? вроде не слабая машина(Cel 1700/DDR256)??? память он практически
>не использует(всего 1%), а вот процессор пашет во всю - 99,5%!!!!
>слышал у некоторых и на более слабых машинах быстрее делается!!! может
>настройки какие поправить???У меня стал работать раза в 4 быстрее, для этого убери лишние поля в отчетах, например время, ну вообще все что не нужно.
ну слава богу разобрались !