URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID12
Нить номер: 3227
[ Назад ]

Исходное сообщение
"Squid+SARG ! Help me ..... "

Отправлено Vlad , 26-Май-05 14:54 
Система RedHat Linix 9 Squid 2.5 Stable 9
Комп !! 2.4 Mhz Пень 40 Gb винт

Поставил SARG 2.0.7
маленькие логи достаточно быстро анализировал ... но вот лог разросся и
SARG висит .... причем считывет лог нормально далее я смотрю по процессам возникает процесс SORT текущих IP ... и вот на 2 IP где лог поболее и зависает ..... процесс длится долго оч .и загружает проц на 96 процентов .
читал что пишут ..писал ( export lc_all=c export lc_all=a) ничего не помогает .. после получаса -40 минут висения я вырубаю...
Буду оч благодарен за умные мысли ...... а то голова пухнет


Содержание

Сообщения в этом обсуждении
"Squid+SARG ! Help me ..... "
Отправлено Admin , 27-Май-05 02:53 
Не забивай винт тонами файлов SARGа. Возьми www.internet-office.kiev.ua, там для Squid есть хороший анализатор, ставить правда дольше (используется MySQL), но отчетов куча



"Squid+SARG ! Help me ..... "
Отправлено Junior , 27-Май-05 07:49 
>Не забивай винт тонами файлов SARGа. Возьми www.internet-office.kiev.ua, там для Squid есть
>хороший анализатор, ставить правда дольше (используется MySQL), но отчетов куча


Самый неумный совет какой только может быть по вопросу. "Купи другой анализатор". Зачем??? Если можно нормально разрулить и эту ситуацию.
Вы получаете процент с продажи? Уже не первый топик с этой дурацкой рекламой.


"Squid+SARG ! Help me ..... "
Отправлено Admin , 27-Май-05 14:16 
>Самый неумный совет какой только может быть по вопросу. "Купи другой анализатор".
>Зачем??? Если можно нормально разрулить и эту ситуацию.
>Вы получаете процент с продажи? Уже не первый топик с этой дурацкой
>рекламой.

Совет умный. У меня 3 Гб логов в месяц. Использовал SARG полгода. Но как дать статистику каждому пользователю отдельно, по отделам. К тому же объемы для SARG слишком большие. Пришлось поставить новую программу. Вот и решил посоветовать человеку как правильно делать, а Вы говорите "Зачем???"


"Squid+SARG ! Help me ..... "
Отправлено Junior , 27-Май-05 14:23 
>>Самый неумный совет какой только может быть по вопросу. "Купи другой анализатор".
>>Зачем??? Если можно нормально разрулить и эту ситуацию.
>>Вы получаете процент с продажи? Уже не первый топик с этой дурацкой
>>рекламой.
>
>Совет умный. У меня 3 Гб логов в месяц. Использовал SARG полгода.
>Но как дать статистику каждому пользователю отдельно, по отделам. К тому
>же объемы для SARG слишком большие. Пришлось поставить новую программу. Вот
>и решил посоветовать человеку как правильно делать, а Вы говорите "Зачем???"
>

Ерунда. У меня каждодневно обрабатывает многогиговый лог и ничего. Тот же сарг. Так что дело в железе и в руках. Посему - ерунда.


"Squid+SARG ! Help me ..... "
Отправлено ipmanyak , 27-Май-05 06:40 
>Система RedHat Linix 9 Squid 2.5 Stable 9
>Комп !! 2.4 Mhz Пень 40 Gb винт
>
>Поставил SARG 2.0.7
>маленькие логи достаточно быстро анализировал ... но вот лог разросся и
>SARG висит .... причем считывет лог нормально далее я смотрю по процессам
>возникает процесс SORT текущих IP ... и вот на 2 IP
>где лог поболее и зависает ..... процесс длится долго оч .и
>загружает проц на 96 процентов .
>читал что пишут ..писал ( export lc_all=c export lc_all=a) ничего не помогает
>.. после получаса -40 минут висения я вырубаю...
>Буду оч благодарен за умные мысли ...... а то голова пухнет
возможно не хватает места в tmp


"Squid+SARG ! Help me ..... "
Отправлено Junior , 27-Май-05 08:01 
>Система RedHat Linix 9 Squid 2.5 Stable 9
>Комп !! 2.4 Mhz Пень 40 Gb винт
>
>Поставил SARG 2.0.7
>маленькие логи достаточно быстро анализировал ... но вот лог разросся и
>SARG висит .... причем считывет лог нормально далее я смотрю по процессам
>возникает процесс SORT текущих IP ... и вот на 2 IP
>где лог поболее и зависает ..... процесс длится долго оч .и
>загружает проц на 96 процентов .
>читал что пишут ..писал ( export lc_all=c export lc_all=a) ничего не помогает
>.. после получаса -40 минут висения я вырубаю...
>Буду оч благодарен за умные мысли ...... а то голова пухнет

Как уже подсказал ipmanyak, посмотри сколько места в разделах.
# df
# du -sh
Если /tmp маловат для этого - измени в конфиге сарга временную папку на тот каталог, где достаточно места и включи опцию удаления временных файлов из этого каталога. Включи опцию перезаписи статистики за период, чтобы не плодить кучу каталогов для одного и того же дня. Тогда данные будут просто добавляться к существующим, а не создаваться новые. Ну и для контроля запусти сарг с опциями вывода отладочной информации и расширенного вывода в STDOUT (опции -z и -x).
Так же не мешало бы всё-таки делать регулярную ротацию логов, чтобы не создавать многие гигабайты логов. Лучше использовать данные из нескольких логов при необходимости составить отчёт за год, чем ежедневно мослать монстрообразный файл, имхо.


"Squid+SARG ! Help me ..... "
Отправлено Vlad , 27-Май-05 14:38 
В ТМP места предостаточно
а файл в 8 метров обрабатывается 1 час .... ну это же ерунда
когда я в тмп 1 Гиг свободно писал ......
эх что за муть


"Squid+SARG ! Help me ..... "
Отправлено Junior , 27-Май-05 14:55 
>В ТМP места предостаточно
>а файл в 8 метров обрабатывается 1 час .... ну это же
>ерунда
>когда я в тмп 1 Гиг свободно писал ......
>эх что за муть


Ну так запусти сарг с отладкой.


"Squid+SARG ! Help me ..... "
Отправлено ipmanyak , 27-Май-05 16:18 
должен заметить, это проблема рх9 с обработкой Unicode sort'ом.
фикс проблемы:
во первых буковки нада писать большие !
export LC_ALL=C  
#env LC_ALL=C /sbin/sarg
второе прочитай ветку http://www.opennet.me/openforum/vsluhforumID12/2117.html&nbs...
насчет программы сортировки  из кореутилс и текстутилс
цитата:
Проблема вообщем-то решилась:
проц 1.7
три пользователя
нагрузки нет
Опытным путем было установлено:
На серваке 9-я шапка у нее прога сорт из кореутилс
вот именно она и жрала ресурсы проца
вставил текстутилс обработала 21метр логов за 1 минуту


"Squid+SARG ! Help me ..... "
Отправлено Vlad , 27-Май-05 16:39 
>должен заметить, это проблема рх9 с обработкой Unicode sort'ом.
>фикс проблемы:
>во первых буковки нада писать большие !
>export LC_ALL=C
>#env LC_ALL=C /sbin/sarg
>второе прочитай ветку http://www.opennet.me/openforum/vsluhforumID12/2117.html
>насчет программы сортировки  из кореутилс и текстутилс
>цитата:
>Проблема вообщем-то решилась:
>проц 1.7
>три пользователя
>нагрузки нет
>Опытным путем было установлено:
>На серваке 9-я шапка у нее прога сорт из кореутилс
>вот именно она и жрала ресурсы проца
>вставил текстутилс обработала 21метр логов за 1 минуту


Писал Буковки большие ....
вот вданый момент собственно  и запустил LC_ALL=C /usr/bin/sarg -z
Файл 2 метра а делат он его 40 минут .... ну не хрень ли ..
>второе прочитай ветку http://www.opennet.me/openforum/vsluhforumID12/2117.html
>насчет программы сортировки  из кореутилс и текстутилс
а ветка уже удалена ...
<вставил текстутилс обработала>   -- а что надо сделать конкретно
может я что то и не понимаю ... подскажите плиз


"Squid+SARG ! Help me ..... "
Отправлено Vlad , 27-Май-05 17:33 

**********************

ТЕМУ СНИМАЮ !!! ДОБИЛСЯ нескольких секунд при объеме файла 200 метров

*******************
Решение
поставил текстутилс !!

ВСЕМ СПАСИБО !


"Squid+SARG ! Help me ..... "
Отправлено ipmanyak , 30-Май-05 08:37 
>
>
>**********************
>
>ТЕМУ СНИМАЮ !!! ДОБИЛСЯ нескольких секунд при объеме файла 200 метров
>
>*******************
>Решение
>поставил текстутилс !!
>
>ВСЕМ СПАСИБО !
поделись с обществом как поставил текстутилс !


"Squid+SARG ! Help me ..... "
Отправлено Vlad , 30-Май-05 11:03 

>поделись с обществом как поставил текстутилс !


Да всё оказалось проще чем я думал ... я скачал таровский архив textutils
разорхиваровал его ...далее проинтсталлил его
./configure
make
make install
он откомпилил все утилитки ..и я просто заменил старый SORT на данный ...
и всё запахало со свистом !

Удачи всем !