URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 37681
[ Назад ]

Исходное сообщение
"Каталог Программ: Free-SA - squid statistic analyzer"

Отправлено auto_prog , 16-Июн-07 10:53 
Новый анализатор лог файлов прокси сервера squid, написан на языке Си, по функциональности и назначению похожий на <a href="http://sarg.sourceforge.net/">SARG</a> и <a href="http://lightsquid.sf.net/">lightsquid</a>. Главное отличие - скорость формирования отчетов от 7 до 20 раз выше по сравнению с SARG (7х - для 50Мб файла access.log, 20x - для 1Гб). Присутствуют дополнительные отчеты (в т.ч. для оценки эффективности сервера), изменяемые "на-лету" темы оформления, имеется поддержка различных форматов файлов журналов (Squid, CLF, Postfix, Qmail, CGP).
<p>Цели Free-SA: контроль расхода трафика по пользователям;
контроль выполнения политик безопасности (в части доступа к ресурсам сети Internet) и информационная поддержка при служебных расследованиях некоторых инцидентов;
оценка эффективности работы серверов.


URL: http://free-sa.sourceforge.net/
Обсуждается: http://www.opennet.me/prog/info/3344.shtml


Содержание

Сообщения в этом обсуждении
"Free-SA - squid statistic analyzer"
Отправлено kottyara , 16-Июн-07 10:53 
Поставил, посмотрел...
после САРЖА скорость обработки access.log просто восхищает.Простая навигация по топам сайтов, зарегистрированных юзеров и т.п.
С отчетом эфф. работы сервера - потомразберусь ;-)

"Free-SA - squid statistic analyzer"
Отправлено guest , 25-Июн-07 11:29 
а есть ли чего почитать по конфигу?

"Free-SA - squid statistic analyzer"
Отправлено saper , 10-Авг-07 21:34 
В руководстве (man free-sa.conf) всегда описаны самые свежие опции.

"Free-SA - squid statistic analyzer"
Отправлено stufford , 10-Июл-07 01:06 
не ставится. при установке пишет
webserver# make install
"global.mk", line 57: Unassociated shell command "-O4 -pipe -march=$(GCCARCH) -fomit-frame-pointer                       -std=c99                            -W -Wall -Wextra -Wredundant-decls -Wnested-externs -Wstrict-prototypes  -Wmissing-prototypes -Wpointer-arith -Winline -Wcast-qual               -Wreturn-type -Wswitch -Wshadow -Wcast-align -Wuninitialized                 -Wchar-subscripts -Wuninitialized -Wbad-function-cast -Wwrite-strings"
"global.mk", line 75: Unassociated shell command "-AC99  +w1 +M2"
make: fatal errors encountered -- cannot continue


что делаю не так? я новичек. может в global.mk что-то не прописал?


"Free-SA - squid statistic analyzer"
Отправлено saper , 20-Июл-07 01:48 
> не ставится. при установке пишет
> webserver# make install
> "global.mk", line 57: Unassociated shell command "-O4 -pipe -march=$(GCCARCH...

О такой ошибке слышу уже второй раз, в новой версии исправлю. Нужно или раскомментировать строчку в которой содержится указанные "Unassociated shell command" или наоборот их закомментировать.


"Free-SA - squid statistic analyzer"
Отправлено Cyber , 06-Авг-07 16:33 
и как его устанавливать??
сделал
make
make install
и что дальше? где файл запуска и настройки?

"Free-SA - squid statistic analyzer"
Отправлено saper , 10-Авг-07 21:36 
После make install необходимо отредактировать free-sa.conf (путь его размещения смотрите согласно global.mk, документация на формат - man free-sa.conf) и запустить собственно free-sa (документация на параметры запуска - man free-sa или free-sa -h).

"Free-SA - squid statistic analyzer"
Отправлено DyaDya , 12-Сен-07 20:40 
Ну ты его запустил или нет если да то скажи блин как ето сделать, еде запускной файл
,всё есть, конфы все, а где сам запускной скрипт то


"Free-SA - squid statistic analyzer"
Отправлено lukas , 14-Авг-07 08:47 
всё установилось норм, поправил free-sa.conf = запускаю - выдаёт ошибку:
SAERROR: [SAfopenI] /usr/local/share/free-sa/LC.utf8. No such file or directory
И вообще не нашёл где настраивается руссификация... хэлп


"Free-SA - squid statistic analyzer"
Отправлено saper , 14-Авг-07 14:30 
>всё установилось норм, поправил free-sa.conf = запускаю - выдаёт ошибку:
>SAERROR: [SAfopenI] /usr/local/share/free-sa/LC.utf8. No such file or directory

Вы прислали на почту, что локаль у вас такая (это на будущее тем кто может столкнуться с подобным поведением программы):
LANG=
LC_CTYPE=ru_RU.UTF-8
LC_NUMERIC="POSIX"
LC_TIME="POSIX"
LC_COLLATE="POSIX"
LC_MONETARY="POSIX"
LC_MESSAGES="POSIX"
LC_PAPER="POSIX"
LC_NAME="POSIX"
LC_ADDRESS="POSIX"
LC_TELEPHONE="POSIX"
LC_MEASUREMENT="POSIX"
LC_IDENTIFICATION="P
Поправьте локаль (например, перед запуском free-sa: export LC_ALL=ru_RU.UTF8), если это не вариант, то пропишите ее в конфигурационный файл free-sa.conf (строка: locale="ru_RU.UTF8").


>И вообще не нашёл где настраивается руссификация... хэлп

Её не нужно настраивать (если очень необычная локаль, как в примере выше, то есть параметр locale в файле free-sa.conf), как и в большинстве приложений free-sa выбирает файл локализации автоматически, основываясь на установках текущей локали.


"Free-SA - squid statistic analyzer"
Отправлено simplefest , 30-Авг-07 13:23 
Такую софтину не грех использовать мелким операторам для предоставлении отчетов пользователям. Вот бы еще сделать в CGI автоопределение IP-пользователя и показывать ему его собственную статистику.

"Free-SA - squid statistic analyzer"
Отправлено saper , 30-Авг-07 16:17 
>Такую софтину не грех использовать мелким операторам для предоставлении отчетов пользователям. Вот
>бы еще сделать в CGI автоопределение IP-пользователя и показывать ему его
>собственную статистику.

В принципе такую возможность можно добавить, но обычно отчеты доступны для изучения всем, а в некоторых компаниях, где используют free-sa пользователь при запуске IE сразу попадает на корпоративный сайт с его статистикой (это кстати, отрезвляет многих от посещения ненужных сайтов, т.к. посещенные им сайты видит не только он сам, правда в этой статистике нет информации по руководству компании -  вырезается через опцию global_filter из free-sa.conf).


"Free-SA - squid statistic analyzer"
Отправлено Timka , 01-Окт-07 16:39 
что-то у меня не выходит :(
Подскажите плиз.
FreeBSD 6.2

office# free-sa -f /usr/local/etc/free-sa/free-sa.conf
SAERROR: [CS2TT] Error converting "" to time_t


free-sa.conf:

#########
# FILES #
#########
log="/usr/local/squid/logs/access.log"
#usertab="/usr/local/etc/free-sa/users"
downloads="/usr/local/etc/free-sa/downloads.sample"
#global_filter=""


###############
# DIRECTORIES #
###############
targetdir="/usr/local/www/data/free-sa"
tmpdir="/var/tmp/"


#####################
# REPORTS SELECTION #
#####################
ts="true"
paf="true"
saf="true"
pdn="true"
sdn="true"
cct="true"
pst="true"
dld="false"
fullurl="true"
users="true"
#email=""


##################
# REPORTS LIMITS #
##################
paf_limit="50"
saf_limit="50"
pdn_limit="50"
sdn_limit="50"
cct_limit="50"
pst_limit="50"
dld_limit="50"
url_limit="50"
rtr_timeout="5000"

####################
# OTHER PARAMETERS #
####################
name="free-sa.conf"
autorecords="5"
logformat="-1"
fulltraffic="false"
inameuser="true"
indicators="true"
overwrite="0"
resolveip="false"
showinfo="true"
site=""
logo=""
locale=""
rotate=""
divisor="b"


"Free-SA - squid statistic analyzer"
Отправлено saper , 01-Окт-07 19:38 
>что-то у меня не выходит :(
>Подскажите плиз.
>office# free-sa -f /usr/local/etc/free-sa/free-sa.conf
>SAERROR: [CS2TT] Error converting "" to time_t
>site=""
>logo=""
>locale=""
>rotate=""

Подобные строки нужно или удалить или закомментировать, то есть не должно быть параметров со значением "" в конфигурационном файле free-sa.conf.


"Free-SA - squid statistic analyzer"
Отправлено CaHuTaP , 02-Окт-07 15:45 
а как скормить сабжу логи за длительное время по маске logDDMMYY?

"Free-SA - squid statistic analyzer"
Отправлено saper , 02-Окт-07 16:10 
>а как скормить сабжу логи за длительное время по маске logDDMMYY?

Могу предложить штатный вполне Unix-way способ:
1. mkfifo /tmp/mine
2. cat log010106.log log020106.log log030106.log > /tmp/mine
и в другой консоли:
3. free-sa -l /tmp/mine
4. rm /tmp/mine

Замечания:
- в п.1 подумайте над безопасным размещением трубы (pipe), /tmp/mine дан для примера, но там доступ к нему может получить кто то еще (хотя бы делайте mkfifo -m 0600 /tmp/mine);
- в п.2 программа cat должна подавать журналы в трубу в порядке возрастания дат (т.е. записи должны идти в том же порядке, в котром они шли бы в одном большом файле журнала);
- в п.3 я не уверен насчет работоспособности опций программы free-sa по выбору диапазона дат, не тестировал;
- п.4 можно и не выполнять, если вы регуляно планируете эту трубу использовать;
- если у вас журналы сжаты gzip или bzip2, то вместо cat используйте zcat или bzcat соответственно.


"Free-SA - squid statistic analyzer"
Отправлено CaHuTaP , 31-Окт-07 10:42 
можно ли сделать "top sites" без вывода подробностей (users), просто со ссылкой "users" что б открывалась отдельно, а то получается очень громоздко и при большом списке браузер задумывается и может не ожить...
а для раздела downloads - что б инфу по файлам можно было получать отдельно по каждому юзеру, а не оптом для всех ибо проблема таже...

"Free-SA - squid statistic analyzer"
Отправлено saper , 31-Окт-07 14:29 
>можно ли сделать "top sites" без вывода подробностей (users), просто со ссылкой
>"users" что б открывалась отдельно, а то получается очень громоздко и
>при большом списке браузер задумывается и может не ожить...

В принципе это можно было бы реализовать (top sites в одном отчете, а все списки пользователей - в другом, такая идея была, но это несколько неудобно), либо пойти другим путем (почти как в SARG-е): ввести ts_limit - ограничение числа сайтов в отчете top sites, тогда при лимите в 100 или даже 1000 отчет станет легче (вряд ли часто просматриваются самые нижние строки отчета top sites).

>а для раздела downloads - что б инфу по файлам можно было
>получать отдельно по каждому юзеру, а не оптом для всех ибо
>проблема таже...

Этот отчет задумывался несколько с другими целями: как раз показать все (или не все, если dld_limit не изменялся или переопределен не в 0) закачки по всем пользователям. Чтобы посмотреть закачки по пользователям, нужно включить индикаторы (indicators="true", по-умолчанию включены) и смотрет отчет top users, там по индикаторам будут видны и пользователи и сайты, с которых были закачки.

Вы, как пользователь Free-SA, посоветуйте, какой вариант лучше с top sites (второй гораздо быстрее реализуем) и приемлим ли описанный вариант с downloads?


"Free-SA - squid statistic analyzer"
Отправлено CaHuTaP , 07-Ноя-07 11:33 
>[оверквотинг удален]
>
>Этот отчет задумывался несколько с другими целями: как раз показать все (или
>не все, если dld_limit не изменялся или переопределен не в 0)
>закачки по всем пользователям. Чтобы посмотреть закачки по пользователям, нужно включить
>индикаторы (indicators="true", по-умолчанию включены) и смотрет отчет top users, там по
>индикаторам будут видны и пользователи и сайты, с которых были закачки.
>
>
>Вы, как пользователь Free-SA, посоветуйте, какой вариант лучше с top sites (второй
>гораздо быстрее реализуем) и приемлим ли описанный вариант с downloads?

по topsites было бы конечно удобно регулировать число выводимых сайтов...имхо все-таки правое поле, в котором указаны юзера, посещавшие сайт, будет загромождать таблицу...было бы целесообразно, имхо, вывести их в отдельный файл, если возможно..

c dowloads пойдет, если вы имеете в виду "top user"->"user"->значек слева от url, но получается очень длинный список, я так понимаю, все обращения к сайтам, и те же проблемы с зависанием...


"Free-SA - squid statistic analyzer"
Отправлено saper , 13-Ноя-07 07:27 
>по topsites было бы конечно удобно регулировать число выводимых сайтов...

В вышедшем Free-SA 1.4.1 добавлена опция ts_limit для ограничения количества сайтов в отчете "Популярные сайты" (top sites).


"Free-SA - squid statistic analyzer"
Отправлено mnk , 01-Ноя-07 09:53 
Вот столкнулся с проблемой  зависания на команде sort при миграции на новый дистрибутив с Mandriva 2006 на 2008. С 2007 - на других серверах - проблем тоже не было. Не подскажете- как ее решить? Пробовал брать команду sort co старых дистров -не помогло - все равно зависает.

"Free-SA - squid statistic analyzer"
Отправлено saper , 01-Ноя-07 17:17 
>Вот столкнулся с проблемой  зависания на команде sort при миграции на
>новый дистрибутив с Mandriva 2006 на 2008. С 2007 - на
>других серверах - проблем тоже не было. Не подскажете- как ее
>решить? Пробовал брать команду sort co старых дистров -не помогло -
>все равно зависает.

Проблему немного рассматривали тут: http://www.linux.org.ru/view-message.jsp?msgid=2180292 и выяснили, что sort в новых, преимущественно RPM-based, дистрибутивах работает некорректно (по ссылке есть даже имя патча, который добавляется к coreutils).

Вариант решения: взять sort из вашего старого дистрибутива или из Slackware (там его не патчат "своими" патчами) и разместить его под другим именем в любой директории, например, как /usr/bin/sort.correct . После этого пересобрать Free-SA, перед сборкой в global.mk изменить переменную SORT на /usr/bin/sort.correct . Таким образом вы не меняете системный sort (возможно были еще изменения, нужные вашему дистрибутиву), но в тоже время получаете корректный sort для работы Free-SA.

Если есть навыки работы в 16-ричном редакторе и желание сделать всё быстро через "грязный" хак, то можно разместить новый sort как /usr/bin/Sort и заменить 1 байт в бинарнике free-sa (найти в нем /usr/bin/sort и поменять на /usr/bin/Sort).


"Free-SA - squid statistic analyzer"
Отправлено mnk , 02-Ноя-07 10:27 
>>Пробовал брать команду sort co старых дистров -не помогло -
>>все равно зависает.
>
>Проблему немного рассматривали тут: http://www.linux.org.ru/view-message.jsp?msgid=2180292 и выяснили, что sort в новых, преимущественно
>RPM-based, дистрибутивах работает некорректно (по ссылке есть даже имя патча, который
>добавляется к coreutils).

В инете все облазил по поводу этого зависания. Вот нашел еще одно обсуждение связанное с SARG http://www.opennet.me/openforum/vsluhforumID12/2246.html. Там вроде какой то патч ставится на SARG для решения этой проблемы.
>
>Вариант решения: взять sort из вашего старого дистрибутива или из Slackware (там
>его не патчат "своими" патчами) и разместить его под другим именем
>в любой директории, например, как /usr/bin/sort.correct . После этого пересобрать Free-SA,

Как раз это и сделал. Взял со старого дистра sort (Я же уже об этом писал - см выше). На нем все работало хорошо. Записал его в /usr/local/bin (сейчас даже пробовал переименовать в sort.correct), поправил global.mk, все пересобрал - и та же история - виснет на sort.correct. Правда машинка слабая- Athlon 1500 и памяти 256. Может как то с этим связано.


"Free-SA - squid statistic analyzer"
Отправлено saper , 02-Ноя-07 11:06 
>В инете все облазил по поводу этого зависания. Вот нашел еще одно
>обсуждение связанное с SARG http://www.opennet.me/openforum/vsluhforumID12/2246.html. Там вроде какой то патч ставится
>на SARG для решения этой проблемы.

Там, судя по описанию, проблема с самим SARG-ом. Когда я еще работал над ним, то подобные патчи были нормой (8192 на MAXLEN заменять).

>Как раз это и сделал. Взял со старого дистра sort (Я же
>уже об этом писал - см выше). На нем все работало
>хорошо. Записал его в /usr/local/bin (сейчас даже пробовал переименовать в sort.correct),
>поправил global.mk, все пересобрал - и та же история - виснет
>на sort.correct.

Можно взять sort (переименовав его в sort.correct) из этого пакета:
http://www.slackware.at/data/slackware-12.0/slackware/a/core...
Это почти обычный tar.gz, в mc он открывается, нужно взять из него
только /bin/sort.

>Правда машинка слабая- Athlon 1500 и памяти 256. Может
>как то с этим связано.

Нет.



"Free-SA - squid statistic analyzer"
Отправлено mnk , 02-Ноя-07 11:39 
>Можно взять sort (переименовав его в sort.correct) из этого пакета:
>http://www.slackware.at/data/slackware-12.0/slackware/a/core...
>Это почти обычный tar.gz, в mc он открывается, нужно взять из него
>
>только /bin/sort.

Вобщем поборол я это дело. Пробовал двумя способами. Оба рабочие.
1. Пересобрал пакет coreutils без coreutils-6.9-new-i18n.patch. Взял оттуда sort переименовал в sort.correct и положил в /usr/local/bin.
2. Как Вы и рекомендовали взял sort из http://www.slackware.at/data/slackware-12.0/slackware/a/core... и сделал с ним тоже самое.
Второй способ проще, тк в первом надо править spec файл и пересобирать пакет.
Пробовал просто скомпилять coreutils из исходников - не получилось- вылетало по ошибке, но разбираться не стал.

Вобщем большое спасибо за помощь.


"Free-SA - squid statistic analyzer"
Отправлено Cyber , 02-Ноя-07 15:35 
запускаю free-sa и он виснет, т.е завершается только по Ctr+z
настройки верные при команде free-sa -s выводит правильные данные.
Что делать?


"Free-SA - squid statistic analyzer"
Отправлено mnk , 02-Ноя-07 15:57 
>запускаю free-sa и он виснет, т.е завершается только по Ctr+z
>настройки верные при команде free-sa -s выводит правильные данные.
>Что делать?

Только ведь обсудили сотри выше.
Посмотри top. И если sort загружает проц на 90%, то замени его, как написано выше.


"Free-SA - squid statistic analyzer"
Отправлено Cyber , 02-Ноя-07 16:48 
>>запускаю free-sa и он виснет, т.е завершается только по Ctr+z
>>настройки верные при команде free-sa -s выводит правильные данные.
>>Что делать?
>
>Только ведь обсудили сотри выше.
>Посмотри top. И если sort загружает проц на 90%, то замени его,
>как написано выше.

спасибо, разобрался.
А еще вопрос!
Как правильно рассчитать эффективность сервера исходя из представленных данных:
Обработанный
Запрет на прокси (ACL)
Закэшированный
Другой локальный
Актуальный

я так понимаю Обработанный это общее количество запросов, а Закэшированный это запросы которые остались в кэше на винте прокси сервера и при последующем обращении они будут браться не из инета и из кеша.
т.е. при моих параметрах:
Обработанный 253.642
Закэшированный 71.828
эффективность составляет 28% ?
маловато...


"Free-SA - squid statistic analyzer"
Отправлено saper , 02-Ноя-07 19:03 
>Как правильно рассчитать эффективность сервера исходя из представленных данных:
>Обработанный

Это весь трафик.

>Запрет на прокси (ACL)

Это трафик заблокированный на прокси (его списками контроля доступа), чаще всего - вырезание баннеров или блокирование запрещенных сайтов или файлов.

>Закэшированный

То, что было отдано из кэша и не скачивалось извне (обычно из Internet).

>Другой локальный

Запросы аутентификации и запросы, которые прокси обработать не смог (некорректно сформированные, чаще всего червяками).

>Актуальный

Из обработанного вычесть все 3 предыдущие (закэшированный, другой локальный и актуальный). Т.е. это тот трафик, который пришел извне (обычно из Internet).

>я так понимаю Обработанный это общее количество запросов, а Закэшированный это запросы
>которые остались в кэше на винте прокси сервера и при последующем
>обращении они будут браться не из инета и из кеша.

Да.

>т.е. при моих параметрах:
>Обработанный 253.642
>Закэшированный 71.828
>эффективность составляет 28% ?

Почти, если использовать ACL для вырезания баннеров, то эти картинки не будут грузиться, соответственно трафик экономится. Поэтому более правильным я бы считал смотреть на отношение актуального и обработанного.

>маловато...

28% - это отличный результат. У нас от 7 до 13 где то по разным серверам.
Поспрашивайте в темах про Squid про ваши 28%, там подтвердят, что это отлично. Для увеличения показателя можно еще поменять политики работы кэша (см. LFU/LFUDA/GDSF и.т.п.), но тут можно переборщить и потерять во времени отдачи данных из кэша или из сети (эти показатели в отчете "Эффективность сервера" тоже есть, поэтому следите и за ними).


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено mnk , 05-Ноя-07 14:48 
Вообще может было бы не плохо, если бы еще выводились закачиваемые файлы размером больше определенного (например больше 1М) в файле конфигурации с именами пользователей.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 05-Ноя-07 15:59 
>Вообще может было бы не плохо, если бы еще выводились закачиваемые файлы
>размером больше определенного (например больше 1М) в файле конфигурации с именами
>пользователей.

Я не очень понял про файл конфигурации с именами пользователей :-\

Пока потенциально вижу 2 варианта, близкие к этой проблеме:
1. Ввести в фильтры параметр s/S, который будет отвечать за минимальный размер. Тогда можно или через глобальный для всех отчетов не учитывать ссылки/письма меньше этого размера или делать отдельный отчет в отчете локального фильтра.
2. Ввести опцию dld_min, чтобы ссылки/письма меньше указанного в этом параметре размера не попадали в отчет "Закачки".


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено mnk , 06-Ноя-07 14:55 

>Я не очень понял про файл конфигурации с именами пользователей :-\
>

Это пользователи из файла users.
>Пока потенциально вижу 2 варианта, близкие к этой проблеме:
>1. Ввести в фильтры параметр s/S, который будет отвечать за минимальный размер.
>Тогда можно или через глобальный для всех отчетов не учитывать ссылки/письма
>меньше этого размера или делать отдельный отчет в отчете локального фильтра.
>

Где нибудь есть описание, как эти фильтры настраивать? Если да - дайте, пожалуйста ссылку.

>2. Ввести опцию dld_min, чтобы ссылки/письма меньше указанного в этом параметре размера
>не попадали в отчет "Закачки".

Все обсмотрел, но не нашел, как создать или попасть в отчет "Закачки"
Мне понравился отчет ввиде - Файл - Размер - Пользователь(ip)



"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 06-Ноя-07 19:09 
>Где нибудь есть описание, как эти фильтры настраивать? Если да - дайте,
>пожалуйста ссылку.

В руководстве (man free-sa.conf) описано в секции "FILTER FILES". Если что то непонятно там - задавайте вопрос, я объясню и возможно поправлю руководство.

>Все обсмотрел, но не нашел, как создать или попасть в отчет "Закачки"

"Закачки" - это отчет, который в английском переводе именуется "Downloads".


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено mnk , 07-Ноя-07 08:44 
>В руководстве (man free-sa.conf) описано в секции "FILTER FILES". Если что то
>непонятно там - задавайте вопрос, я объясню и возможно поправлю руководство.

Может напишите поподробнее. Можно же положить для примера фалы глобального и локального фильтров, как файла downloads.sample.
Еще раз извиняюсь - нашел описание и пошел разбираться.

>"Закачки" - это отчет, который в английском переводе именуется "Downloads".

Извиняюсь, Downloads - был выключен, но туда входит куча файлов, и если бы был параметр dld_min было бы замечательно.
И еще, если бы был man`ы на русском языке - было бы вообще замечательно.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено mnk , 07-Ноя-07 10:12 
>В руководстве (man free-sa.conf) описано в секции "FILTER FILES". Если что то
>непонятно там - задавайте вопрос, я объясню и возможно поправлю руководство.

Вроде разобрался. Но там только политики для пользователей и URL. Удобно, например, когда хочешь, что бы не показывало статистику для каких нибудь пользователей и с определенных URL. Или наоборот.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 07-Ноя-07 16:08 
> Но там только политики для пользователей и URL.

Какие параметры еще стоит добавить?


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено mnk , 07-Ноя-07 16:48 
>Какие параметры еще стоит добавить?

dld_min так точно хотелось бы. И еще как пожелание в "закачках" может было бы не плохо расставить их в порядке уменьшения размеров файлов, но не обязательно.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 12-Ноя-07 13:55 
>dld_min так точно хотелось бы

Тогда сразу вопрос (уже пишу реализацию запрошенных тут dld_min и ограничителя кол-ва сайтов в top sites - ts_limit): dld_min должен влиять на индикатор закачек (зеленого цвета) или только на содержимое отчета "Закачки"? Если только отчета, тогда у некоторых пользователей/сайтов/ссылок будет стоять зеленый индикатор, хотя там не будет превышения dld_min (некоторые пользователи могут подумать, что в программе сбой), если же наоборот, тогда потенциально опасные объекты (dll, exe - они ведь маленькие, когда с червями) не будут помечены индикатором. Мне больше нравится более понятный вариант, когда dld_min целиком влияет на индикатор. Да, чтобы было понятнее: сначала вычисляется индикатор для каждой ссылки, а потом уже по нему формируется отчет "Закачки".

>И еще как пожелание в "закачках" может
>было бы не плохо расставить их в порядке уменьшения размеров файлов,
>но не обязательно.

С этим сильно сложнее :-( Закачки и все отчеты-индикаторы обабатываются единым набором функций внутри программы. Хотя сортировка к 2.0 должна появиться в других отчетах (уже сейчас код для этого готов).


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 13-Ноя-07 07:30 
>dld_min так точно хотелось бы.

В вышедшем Free-SA 1.4.1 добавлена опция dld_min для исключения ссылок меньших по размеру, чем указанное в этой опции значение. Влияет на индикаторы (и соответственно на отчет "Закачки" (downloads)).


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено mnk , 13-Ноя-07 11:39 
>В вышедшем Free-SA 1.4.1 добавлена опция dld_min для исключения ссылок меньших по
>размеру, чем указанное в этой опции значение. Влияет на индикаторы (и
>соответственно на отчет "Закачки" (downloads)).

Здорово - поставил -работает.
А Вы не хотите в будущем все это в базу данных запихнуть, тогда и отчетыбудет намного проще собирать?


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено ovg , 05-Дек-07 09:29 
Поставил, работает - великолепная альтернатива Sarg
Есть проблемка.
Обработал логи за предыдущие месяцы, все нормально. Стал за ноябрь вылетает - Segmentation fault.
Вычислил кусок лога на котором вылетает (830k) - готов выслать.
Причем Sarg обрабатывает без ошибок.
Железо нормальное. Стоит CentOs 5.0
/bin/sort менял, без изменений
Если пожелания еще принимаются хотелось бы следующее:
возможность менять формат даты (как в Sarg usa/europa)
кодовую страницу ru_RU.CP1251
во вкладке - Server efficiency - отдельная строчка эффективность кэша в процентах (соотношение Actual/Cached)

"'Каталог Программ: Free-SA - squid statistic analyzer'"
Отправлено saper , 05-Дек-07 14:38 
>Поставил, работает - великолепная альтернатива Sarg

Спасибо.

>Обработал логи за предыдущие месяцы, все нормально. Стал за ноябрь вылетает -
>Segmentation fault. Вычислил кусок лога на котором вылетает (830k) - готов выслать.

Присылайте или на xsov@mail.ru или создайте новый bug тут: http://sourceforge.net/tracker/?atid=937679&group_id=191513&...

>Если пожелания еще принимаются хотелось бы следующее:
>возможность менять формат даты (как в Sarg usa/europa)

Это вы можете сами попробовать сделать, перед запуском поменяйте переменную LC_TIME на желаемый формат для даты/времени и установите LC_ALL в пустое значение, например:
$ export LC_TIME=C
$ unset LC_ALL
$ free-sa

>кодовую страницу ru_RU.CP1251

Опять таки для этого достаточно сменить локаль перед запуском и добавить файл локализации в /usr/share/free-sa/ru.cp1251, создать его можно через iconv:
iconv -f koi8r -t cp1251 < /usr/share/free-sa/ru.koi8r > /usr/share/free-sa/ru.cp1251

>во вкладке - Server efficiency - отдельная строчка эффективность кэша в процентах
>(соотношение Actual/Cached)

В 2.0 это появится, там будет SVG графика, в том числе и для этого отчета с процентами.


"'Каталог Программ: Free-SA - squid statistic analyzer'"
Отправлено Ivan , 11-Дек-07 16:12 
>В 2.0 это появится, там будет SVG графика, в том числе и
>для этого отчета с процентами.

Хотелось бы иметь возможность считать по доменам второго уровня, например
xx.livejournal.com
yy.livejournal.com
объединить под
livejournal.com


"'Каталог Программ: Free-SA - squid statistic analyzer'"
Отправлено saper , 11-Дек-07 16:40 
>Хотелось бы иметь возможность считать по доменам второго уровня, например
>xx.livejournal.com, yy.livejournal.com объединить под livejournal.com

А для какого отчета или в каком отчете? И для чего это нужно?


"'Каталог Программ: Free-SA - squid statistic analyzer'"
Отправлено Ivan , 11-Дек-07 16:56 
>>Хотелось бы иметь возможность считать по доменам второго уровня, например
>>xx.livejournal.com, yy.livejournal.com объединить под livejournal.com
>
>А для какого отчета или в каком отчете? И для чего это
>нужно?

для отчета по трафику, например если интересует, сколько трафика и времени люди теряют на свои блоги на лж

или чтобы считать суммарно сколько идет трафика с определённого своего ресурса, а не
pics.rbc.ru      200м
pics.top.rbc.ru  100м
count.rbc.ru     5м

суммарно по всем и отдельным юзерам


"'Каталог Программ: Free-SA - squid statistic analyzer'"
Отправлено saper , 12-Дек-07 10:32 
>для отчета по трафику, например если интересует, сколько трафика и времени люди
>теряют на свои блоги на лж

Сейчас это можно реализовать через глобальный фильтр, правда потребуется еще один запуск free-sa. В 2.0 планируются настраиваемые пользователем отчеты через всё те же фильтры (т.е. тогда у вас будет отдельный отчет с, допустим, ЖЖ).


"'Каталог Программ: Free-SA - squid statistic analyzer'"
Отправлено Demon_ud , 13-Дек-07 08:50 
Использовал
http://www.volmed.org.ru/wiki/index.php/Настройка_программы_отображения_статистики_free-sa
Очень подробно и понятно... всё заработало, НО

Автоматический запуск из cron... так же прописал - не работает...
Цель - чтобы он сам автоматически собирал статистику каждые 15-20 минут
Заранее спасибо


"'Каталог Программ: Free-SA - squid statistic analyzer'"
Отправлено saper , 13-Дек-07 17:18 
>Автоматический запуск из cron... так же прописал - не работает...
>Цель - чтобы он сам автоматически собирал статистику каждые 15-20 минут

А что именно не работает, какие сообщения об ошибках? crond при неудачном запуске отправляет письмо в локальный почтовый ящик владельцу crontab-a.


"'Каталог Программ: Free-SA - squid statistic analyzer'"
Отправлено dima , 05-Сен-08 15:55 
У меня таже лажа с cron (FreeBSD 6.2).
сделал файлик
в /etc/script/free-sa.sh

#!/bin/sh
D=$(date +%m/%d/%y)
free-sa -d $D-$D
exit 0

если его запускаю рукими или через at то работает а в крон ни в какую
Sep  5 14:55:00 mail /usr/sbin/cron[17038]: (root) CMD (/etc/script/free-sa.sh)
free-sa: not found

И как с єтим боротся ???


"'Каталог Программ: Free-SA - squid statistic analyzer'"
Отправлено Олег , 05-Сен-08 21:51 
>[оверквотинг удален]
>D=$(date +%m/%d/%y)
>free-sa -d $D-$D
>exit 0
>
>если его запускаю рукими или через at то работает а в крон
>ни в какую
>Sep  5 14:55:00 mail /usr/sbin/cron[17038]: (root) CMD (/etc/script/free-sa.sh)
>free-sa: not found
>
>И как с єтим боротся ???

Я думаю сначала стоит полный путь в free-sa прописать в вашем скрипте, например: /usr/bin/free-sa, а не free-sa просто. Очевидно, что crond очень мало знает про переменную PATH и не передает ее своим потомкам (вашему скрипту).


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено madshu , 13-Янв-08 23:19 
Совершенно запутался. Ман читал. Пытаюсь сформировать статистику за период
root@main:/usr/local/bin# free-sa -d 01/12/07-31/12/07
SAERROR: [GetDZT] Can't convert date 31/12/07

И вот так ругается. Что делаю неправильно так и не понял.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 14-Янв-08 01:08 
>Совершенно запутался. Ман читал. Пытаюсь сформировать статистику за период
>root@main:/usr/local/bin# free-sa -d 01/12/07-31/12/07
>SAERROR: [GetDZT] Can't convert date 31/12/07
>
>И вот так ругается. Что делаю неправильно так и не понял.

Дата должна быть в формате вашей локали, наберите "date +%x", эта команда покажет как в вашей локали должна выглядеть дата (обратите внимание у crond как правило локаль C, она же POSIX).


"Free-SA - squid statistic analyzer"
Отправлено npomoH , 14-Янв-08 08:32 
А когда ждать второй версии?

"Free-SA - squid statistic analyzer"
Отправлено saper , 14-Янв-08 16:54 
>А когда ждать второй версии?

Вторая версия частями готова, т.е некоторые модули уже написаны, некоторые пишутся. По срокам: я думаю, что не позже годовщины с выхода 1.0.0.

Если чего то не хватает - пишите.


"Free-SA - squid statistic analyzer"
Отправлено zAz , 21-Янв-08 11:12 
А как правильно делать ежедневный отчет?
если делать отчёт на следующий день то получается :
root@eainet:~# free-sa -d -20.01.2008
SAERROR: [CollectLog] No records found
единственно возможный вариант получается поставить cron на 23.55 каждого дня
root@eainet:~# free-sa -d -21.01.2008
root@eainet:~#
и былобы неплохо видить небольшие инструкции по "правильному" созданию ежедневных\недельных\месячных отчетов.

"Free-SA - squid statistic analyzer"
Отправлено saper , 21-Янв-08 17:25 
> А как правильно делать ежедневный отчет?
>если делать отчёт на следующий день то получается :
>root@eainet:~# free-sa -d -20.01.2008
>SAERROR: [CollectLog] No records found
>единственно возможный вариант получается поставить cron на 23.55 каждого дня
>root@eainet:~# free-sa -d -21.01.2008

Очевидно, что Free-SA следует запускать перед ротацией журнала Squid, иначе отчет не по чему будет строить.

>root@eainet:~#
>и былобы неплохо видить небольшие инструкции по "правильному" созданию ежедневных\недельных\месячных отчетов.

Напишите небольшой скрипт с вызовом free-sa -d day, -d week, -d month. -d week следует выполнять тогда, когда `date +%u` = 1, а -d month тогда, когда `date +%d` = 1. Журнал при этом придется ротировать ежемесячно. Если это не устраивает, тогда можно оставить ежедневную ротацию и генерировать отчет из нескольких файлов (см. FAQ, раздел USING FREE-SA).


"Free-SA - squid statistic analyzer"
Отправлено npomoH , 23-Янв-08 09:33 
А нельзя ли сделать так, чтобы отчет topusers.html сохранялся в строго определенном месте (т.е. не в папке с названием ввиде даты отчета)? Просто у меня возникла идея разграничивать трафик пользователей с использованием free-sa и squidGuard. Мне кажеться получилось-бы очень даже неплохо.

"Free-SA - squid statistic analyzer"
Отправлено saper , 23-Янв-08 15:15 
>А нельзя ли сделать так, чтобы отчет topusers.html сохранялся в строго определенном
>месте (т.е. не в папке с названием ввиде даты отчета)?

Можно, но не стОит.

Вот такая строка будет всегда показывать имя директории с последним отчетом:
cat index.html|grep "<tr><td>"|cut -d \" -f 2|head -n 1|sed 's/\/index.html//'

Можно еще указать в конфигурационном файле email="-" или запускать free-sa с -e - и перенаправлять вывод в файл, например:
free-sa -e - > /constant_path_to_topuser_report/topuser.txt
В этом файле будет отчет topuser в текстовом виде, т.е. парсить HTML-тэги не придется.

> Просто у меня возникла идея разграничивать трафик пользователей с использованием free-sa и
>squidGuard. Мне кажеться получилось-бы очень даже неплохо.

А поподробнее? Можете отписать мне на почту? Хотелось бы добавить поддержку журнала SquidGuard (кажется в SARG-е она есть).


"Free-SA - squid statistic analyzer"
Отправлено npomoH , 24-Янв-08 13:48 
>А поподробнее?

Если бы заставить САБЖ собирать статистику по topuser, например за каждые 5 минут и сумму записывать в отдельный файл. А там уже не проблема написать скриптик на шелле, который будет следить за превышением траффика.
>Хотелось бы добавить поддержку журнала SquidGuard

Мне кажется что сколько-нибудь стоящей инфы в сквидгардовском логе днем с огнем не сыщешь.
Хотя, может кому и надо? :)


"Free-SA - squid statistic analyzer"
Отправлено saper , 24-Янв-08 15:57 
>Если бы заставить САБЖ собирать статистику по topuser, например за каждые 5
>минут и сумму записывать в отдельный файл. А там уже не
>проблема написать скриптик на шелле, который будет следить за превышением траффика.

Так, а в чем собственно сложность? Делаем free-sa.conf2 с ts="false", users="false" и.т.д. indicators="false" тоже выставляем, выключаем logo и showinfo. Запускаем free-sa -f free-sa.conf2 -e - > /constant_path/topuser.txt

Всё вроде?! Ну, можно еще директорию targetdir переопределить, чтобы в остальные отчеты не попадали эти временные, да и rotate выставить, скажем в 60.

>>Хотелось бы добавить поддержку журнала SquidGuard
>
>Мне кажется что сколько-нибудь стоящей инфы в сквидгардовском логе днем с огнем
>не сыщешь.
>Хотя, может кому и надо? :)

Можете мне на почту сбросить сжатый образец мегабайт-два?


"Free-SA - squid statistic analyzer"
Отправлено npomoH , 25-Янв-08 07:58 
>Так, а в чем собственно сложность? Делаем free-sa.conf2 с ts="false", users="false" и.т.д. indicators="false" тоже выставляем, выключаем logo и showinfo. Запускаем free-sa -f free-sa.conf2 -e - > /constant_path/topuser.txt

При вводе этой команды, у меня машина ничего не делает, вернее команда, как мне кажеться просто зависает (FreeBSD 6.2; free-sa 1.40). И если честно, я недопонял за какой период парсится access.log. Я имел ввиду возможность парсить, например, за последние 5 минут - и операция бы выполнялась быстро, и нагрузки на систему бы не было сильной.

>Можете мне на почту сбросить сжатый образец мегабайт-два?

Не знаю, может я смотрю не тот лог (хотя он вроде у сквидгарда всего один), но он если и будет у меня размером в 1-2 метра, то только лет через 10 :)! Дело в том, что у меня там логируется инфа только о старте сквидгарда и ничего более.



"Free-SA - squid statistic analyzer"
Отправлено saper , 25-Янв-08 15:15 
>>free-sa -f free-sa.conf2 -e - > /constant_path/topuser.txt
>
>При вводе этой команды, у меня машина ничего не делает, вернее команда,
>как мне кажеться просто зависает (FreeBSD 6.2; free-sa 1.40).

Странно.

>И если
>честно, я недопонял за какой период парсится access.log. Я имел ввиду
>возможность парсить, например, за последние 5 минут - и операция бы
>выполнялась быстро, и нагрузки на систему бы не было сильной.

А зачем за 5 минут? У вас ведь лимиты на день заданы или вы хотите сэкономить на повторяющемся парсинге всего дня и суммировать 5-минутные результаты работы Free-SA в скрипте?


"Free-SA - squid statistic analyzer"
Отправлено npomoH , 28-Янв-08 08:44 
>А зачем за 5 минут? У вас ведь лимиты на день заданы или вы хотите сэкономить на повторяющемся парсинге всего дня и суммировать 5-минутные результаты работы Free-SA в скрипте?

Вот именно! Это во-первых не будет грузить сервер, А во-вторых будет более своевременное отключение юзеров, привысивших лимит.


"Free-SA - squid statistic analyzer"
Отправлено zerghack007 , 31-Янв-08 09:59 
Решил попробовать анализатор логов для squid -> free-sa.
При установки возникает такая ошибка: Пишет типа не найден файл /usr/bin/sort
Я тупо скопировал sort из /bin в /usr/bin. Вроде установилось. Поправил конфиг (раскоментировал кое -какие строчки).
При запуске free-sa -d month он ругаеться:
[root@linux bin]# free-sa -d month -l /var/log/squid/access.log
Исключение в операции с плавающей точкой
[root@linux bin]#
Подскажите пожалуйста, что делать?

"Free-SA - squid statistic analyzer"
Отправлено saper , 31-Янв-08 15:55 
>Решил попробовать анализатор логов для squid -> free-sa.
>При установки возникает такая ошибка: Пишет типа не найден файл /usr/bin/sort
>Я тупо скопировал sort из /bin в /usr/bin. Вроде установилось. Поправил конфиг
>(раскоментировал кое -какие строчки).
>При запуске free-sa -d month он ругаеться:
>[root@linux bin]# free-sa -d month -l /var/log/squid/access.log
>Исключение в операции с плавающей точкой
>[root@linux bin]#
>Подскажите пожалуйста, что делать?

Странная ошибка. Попробуйте запустить так:
free-sa -d month -l /var/log/squid/access.log -f /dev/null

Повторится ли ошибка? И поделитесь парой строчек из вашего access.log, возможно дело в формате файла.

Возможно лучше перенести дискуссию в раздел ошибок, сюда: http://sourceforge.net/tracker/?group_id=191513&atid=937679


"Free-SA - squid statistic analyzer"
Отправлено saper , 31-Янв-08 15:52 
>>А зачем за 5 минут? У вас ведь лимиты на день заданы или вы хотите сэкономить на повторяющемся парсинге всего дня и суммировать 5-минутные результаты работы Free-SA в скрипте?
>
>Вот именно! Это во-первых не будет грузить сервер, А во-вторых будет более
>своевременное отключение юзеров, привысивших лимит.

Такая функция интересна, но требует более детальной проработки. Нужно время, чтобы подумать, да и на 2.0 хотелось бы сосредоточиться.


"Free-SA - squid statistic analyzer"
Отправлено Bad_UID , 31-Янв-08 19:09 
тоже отмечусь. есть проблема на FreeBSD 7.0.
после компиляции и запуска вываливается с ошибкой /bin/sh блабла.
чего-то в общем не нравится в вызове rm -rf.
Комментнул в сорцах вызов функции, стало нормально.

"Free-SA - squid statistic analyzer"
Отправлено saper , 01-Фев-08 00:02 
>тоже отмечусь. есть проблема на FreeBSD 7.0.
>после компиляции и запуска вываливается с ошибкой /bin/sh блабла.

Не могли бы вы уточнить, что именно выдает free-sa?

>чего-то в общем не нравится в вызове rm -rf.
>Комментнул в сорцах вызов функции, стало нормально.

Не могли бы вы также выполнить такую команду в оболочке Shell (1:1 как написано):
/bin/sh -c "/bin/ls -l /bin /"
и сообщить есть ли в этом случае сообщение об ошибке?


"Free-SA - squid statistic analyzer"
Отправлено Bad_UID , 01-Фев-08 10:21 
>[оверквотинг удален]
>
>Не могли бы вы уточнить, что именно выдает free-sa?
>
>>чего-то в общем не нравится в вызове rm -rf.
>>Комментнул в сорцах вызов функции, стало нормально.
>
>Не могли бы вы также выполнить такую команду в оболочке Shell (1:1
>как написано):
>/bin/sh -c "/bin/ls -l /bin /"
>и сообщить есть ли в этом случае сообщение об ошибке?

SADEBUG: [w_fs.c:19] (1) /usr/local/squid/logs/access_sa.log
SADEBUG: [w_log_operations.c:409] Checking for Squid 2.x native log format
SADEBUG: [w_log_operations.c:420] Detected Squid 2.x native log format with linear records order
SADEBUG: [w_system.c:60] Executing '/bin/sh' with next arguments:
SADEBUG: [w_system.c:62] 0. '/bin/sh'
SADEBUG: [w_system.c:62] 1. '-c'
SADEBUG: [w_system.c:62] 2. '/bin/rm -rf /var/cache/free-sa/*'
sh: environment corrupt; missing value for
SAERROR: [w_system.c:71] /bin/sh got signal

proxy:/usr/ports/www/free-sa/work/free-sa-1.4.0/src# /bin/sh -c "/bin/ls -l /bin /"
/:
total 51
-rw-r--r--   2 root  wheel      786 16 ноя 23:14 .cshrc
-rw-r--r--   2 root  wheel      253 16 ноя 23:14 .profile
drwxrwxr-x   2 root  operator   512 20 ноя 20:03 .snap
-r--r--r--   1 root  wheel     6188 16 ноя 23:14 COPYRIGHT
drwxr-xr-x   2 root  wheel     1024 20 ноя 20:03 bin
drwxr-xr-x   7 root  wheel      512 20 ноя 20:10 boot
..........

/bin:
total 1410
-r-xr-xr-x  2 root  wheel    7660 16 ноя 23:12 [
-r-xr-xr-x  1 root  wheel    8248 16 ноя 23:11 cat
-r-xr-xr-x  1 root  wheel    5232 16 ноя 23:11 chflags
-r-xr-xr-x  1 root  wheel   14180 16 ноя 23:11 chio
-r-xr-xr-x  1 root  wheel    5944 16 ноя 23:11 chmod
-r-xr-xr-x  1 root  wheel   15632 16 ноя 23:11 cp
-r-xr-xr-x  2 root  wheel  319364 16 ноя 23:12 csh
-r-xr-xr-x  1 root  wheel   14796 16 ноя 23:12 date
-r-xr-xr-x  1 root  wheel   19936 16 ноя 23:12 dd
-r-xr-xr-x  1 root  wheel   12052 16 ноя 23:12 df
-r-xr-xr-x  1 root  wheel    3768 16 ноя 23:12 domainname
-r-xr-xr-x  1 root  wheel    3852 16 ноя 23:12 echo
-r-xr-xr-x  2 root  wheel   48928 16 ноя 23:12 ed
-r-xr-xr-x  1 root  wheel   14628 16 ноя 23:12 expr
.............

proxy:/usr/ports/www/free-sa/work/free-sa-1.4.0/src# uname -a
FreeBSD proxy.mydomain.ru 7.0-BETA3 FreeBSD 7.0-BETA3 #0: Fri Nov 16 22:20:33 UTC 2007     root@logan.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC  i386


"Free-SA - squid statistic analyzer"
Отправлено saper , 01-Фев-08 19:59 
>SADEBUG: [w_system.c:60] Executing '/bin/sh' with next arguments:
>SADEBUG: [w_system.c:62] 0. '/bin/sh'
>SADEBUG: [w_system.c:62] 1. '-c'
>SADEBUG: [w_system.c:62] 2. '/bin/rm -rf /var/cache/free-sa/*'
>sh: environment corrupt; missing value for
>SAERROR: [w_system.c:71] /bin/sh got signal
>proxy:/usr/ports/www/free-sa/work/free-sa-1.4.0/src# uname -a
>FreeBSD proxy.mydomain.ru 7.0-BETA3 FreeBSD 7.0-BETA3 #0: Fri Nov 16 22:20:33 UTC 2007
> root@logan.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC  i386

Как я понимаю, это проблема в sed из FreeBSD с которым собиралась вся система, и исправляется она только обновлением sed-а до версии 1.30 с последующим buildworld всей системы. Более подробно дискуссию разработчиков FreeBSD на эту тему можно посмотреть тут: http://lists.freebsd.org/pipermail/freebsd-current/2007-July...


"Free-SA - squid statistic analyzer"
Отправлено saper , 01-Фев-08 20:02 
>>sh: environment corrupt; missing value for
>Как я понимаю, это проблема в sed из FreeBSD с которым собиралась
>вся система, и исправляется она только обновлением sed-а до версии 1.30
>с последующим buildworld всей системы. Более подробно дискуссию разработчиков FreeBSD на
>эту тему можно посмотреть тут: http://lists.freebsd.org/pipermail/freebsd-current/2007-July...

Ошибся немного, версия 1.30 должна быть у файла: src/usr.bin/sed/compile.c, см. тут: http://lists.freebsd.org/pipermail/freebsd-current/2007-July...


"Free-SA - squid statistic analyzer"
Отправлено Vlad , 27-Фев-08 19:32 
Пробую анализировать логи постфикса через free-sa.
Задание прописано в cron. Далее такая ситуация: если задание в кроне запускать руками, то оно проходит без проблем и в браузере видна нормальная статистика за день. При запуске автоматически (cron-ом) задание не отрабатывается и выдает такую ошибку на мыло:

SAERROR: [SAusage] Incorrect dates range specified '24.02.2007-24.02.2007'

скрипт задания

exec /usr/local/bin/free-sa \
          -f /usr/local/etc/free-sa/free-sa.postfix.conf \
          -d "$(date --date "1 day ago" +%d.%m.2007)-$(date --date "1 day ago" +%d.%m.2007)"
exit 0

Я долго ковырялся и дошел до такого вида скрипта

#!/bin/bash


if [ -f /etc/skel/.bashrc ];
then . /etc/skel/.bashrc
fi
PATH=$PATH:$HOME/bin
export PATH
unset USERNAME

exec /usr/local/bin/free-sa \
           -f /usr/local/etc/free-sa/free-sa.postfix.conf \

          -d `date --date "1 day ago" +%d.%m.%Y`-`date --date "1 day ago" +%d.%m.%Y`
          
exit 0

При этом скрипте и крон отрабатывает задание и вручную все нормально. Но теперь у меня дата всегда высвечивается от начала лога до текущего дня, т.е. 24.02.2007-27.02.2007, а по логике скрипта должна высвечиваться дата вчерашнего дня т.е. 26.02.2007-26.02.2007. Причем никакие манипуляции со строкой после -d не приносят результата. Напомню, что в первом варианте скрипта дата создавалась как надо, но только при запуске задания руками.

Я еще очень криворук в этом деле и потому мог много лишнего наковырять. Подскажите как быть. Спасибо.


"Free-SA - squid statistic analyzer"
Отправлено saper , 27-Фев-08 22:57 
>Пробую анализировать логи постфикса через free-sa.
>Задание прописано в cron. Далее такая ситуация: если задание в кроне запускать
>руками, то оно проходит без проблем и в браузере видна нормальная
>статистика за день. При запуске автоматически (cron-ом) задание не отрабатывается и
>выдает такую ошибку на мыло:
>
>SAERROR: [SAusage] Incorrect dates range specified '24.02.2007-24.02.2007'

Это стандартная ошибка при использовании crond. Дело в том, что crond запускает приложение сам, с системной локалью (чаще всего это C, она же POSIX). В локали C/POSIX дата задается в другом формате.

Чтобы решить проблему укажите:
export LC_ALL=ru_RU.KOI8-R
export LANG=ru_RU.KOI8-R

Локаль конечно можете задавать любую, т.е. если у вас UTF-8, то укажите ru_RU.UTF8, если вы на Украине, то укажите uk_UA.UTF8.

Чтобы самостоятельно разобраться:
1. Для просмотра текущей локали набирайте 'locale'.
2. Для смены текущей локали export LC_ALL и export LANG по образцу выше.
3. Для просмотра формата даты в текущей локали набирайте 'date +%x'. Именно так, с плюсом и процентом.

Ради интереса можете набрать:
export LC_ALL=C
export LANG=C
date +%x
и увидите в каком формате ожидает увидеть free-sa, запущенная через crond.


"Free-SA - squid statistic analyzer"
Отправлено Vlad , 28-Фев-08 14:58 
Проблема не исчезла. ЛОкаль у меня UTF8. Вот какую конструкцию я сочинил.

export LC_ALL=ru_RU.UTF8
export LANG=ru_RU.UTF8
exec /usr/local/bin/free-sa \
           -f /usr/local/etc/free-sa/free-sa.postfix.conf \

         -d "$(date --date "1 day ago" +%d.%m.2008)-$(date --date "1 day ago" +%d.%m.2008)"
exit 0

Этот скрипт выполняется и кроном и руками. Если закомментить экспорт локали, то крон перестает работать. Спасибо. Все ок. НО! Дата при прсомотре браузером результатов анализа все равно остается как 24.02.2008-28.02.2008. Если я завтра запущу это задание, то дата станет 24.02.2008-29.02.2008. Ни на какие манипуляции с кодом после -d скрипт не реагирует. Откуда он берет эту дату (24.02.2008-28.02.2008) и почему не слушается ключа -d? Спасибо.

з.ы. ошибок не выдает никаких

.


"Free-SA - squid statistic analyzer"
Отправлено Vlad , 28-Фев-08 20:38 
Отвечу сам себе, наверное.
Вообщем, путем всяких многочасовых манипуляций я, и не только, пришел к выводу, что при анализе логов постфикса free-sa подставляет в результат исключительно дату начала и конца лога, но никак не значение после ключика -d. Можно сделать вывод, что на постфиксовских логах он просто не работает. Если докажете мне обратно, буду очень рад.

"Free-SA - squid statistic analyzer"
Отправлено saper , 28-Фев-08 22:31 
>Отвечу сам себе, наверное.
>Вообщем, путем всяких многочасовых манипуляций я, и не только, пришел к выводу,
>что при анализе логов постфикса free-sa подставляет в результат исключительно дату
>начала и конца лога, но никак не значение после ключика -d.
>Можно сделать вывод, что на постфиксовских логах он просто не работает.
>Если докажете мне обратно, буду очень рад.

Влад, если вам не сложно, не могли бы прислать образец журнала postfix за 2-3 дня. У меня к сожалению самый большой журнал в этом формате - 1.5Мб, тестил на нем, в том числе с ручным исправлением дат в нем, чтобы -d проверить.

P.S. Моя почта указана тут, около ника.


"Free-SA - squid statistic analyzer"
Отправлено Vlad , 04-Мрт-08 13:39 
>[оверквотинг удален]
>>начала и конца лога, но никак не значение после ключика -d.
>>Можно сделать вывод, что на постфиксовских логах он просто не работает.
>>Если докажете мне обратно, буду очень рад.
>
>Влад, если вам не сложно, не могли бы прислать образец журнала postfix
>за 2-3 дня. У меня к сожалению самый большой журнал в
>этом формате - 1.5Мб, тестил на нем, в том числе с
>ручным исправлением дат в нем, чтобы -d проверить.
>
>P.S. Моя почта указана тут, около ника.

ЛОг, к сожалению, прислать не могу, конфиденциальность, так ее. Но я еще ковыряюсь с этим делом при наличии времени и, возможно, скоро отпишусь.



"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено Lameer , 26-Мрт-08 13:52 
Отличная вещь! Автору здоровья и творческих успехов.
Пробный отчет с Сквида 2.6 за четыре месяца занял 4 минуты.

"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 29-Мрт-08 19:15 
>Отличная вещь! Автору здоровья и творческих успехов.
>Пробный отчет с Сквида 2.6 за четыре месяца занял 4 минуты.

Спасибо! :-)


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено Maxkzt , 16-Апр-08 09:18 
Вопрос такой как Free-sa сказать чтоб несчитать трафик определенных сайтов в том числе и локальных
Зарание Спасибо

"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 19-Апр-08 03:18 
>Вопрос такой как Free-sa сказать чтоб несчитать трафик определенных сайтов в том
>числе и локальных
>Зарание Спасибо

Нужно определить файл глобального фильтра и в нем указать, какие сайты исключить. Например так:
1. В free-sa.conf прописываем global_filter="/somwhere/somefilter.conf"
2. В файле /somwhere/somefilter.conf прописываем:
U 1
u mydomain.ru
u www.somesite.ru

В этом случае free-sa не будет учитывать ссылки, в которых встречается mydomain.ru или www.somesite.ru. Обратите внимание, что наличие этих двух строк будет проверяться в любом месте ссылке, т.е. например ссылка вида http://www.searchsite.com?stext=http://www.mydomain.ru тоже не будет учтена. Чтобы этого избежать можно использовать регулярные выражения в фильтре, для этого укажите U 5 вместо U 1, а в строках с u используйте уже регулярные выражения. Более подробную информацию про регулярные выражения можно найти на этом сайте (opennet.ru).


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено nEwUR , 23-Апр-08 08:54 
выставляю в free-sa.conf
locale="ru_RU.CP1251"
создаётся отчёт... НО
в заголовке каждого html
<meta http-equiv="Content-Type" content="text/html; charset=CP1251">
хотя правильно указывать charset=windows-1251
в результате браузер у меня выбирает Турецкую CP1251

"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 26-Апр-08 00:17 
>выставляю в free-sa.conf
>locale="ru_RU.CP1251"
>создаётся отчёт... НО
>в заголовке каждого html
><meta http-equiv="Content-Type" content="text/html; charset=CP1251">
>хотя правильно указывать charset=windows-1251
>в результате браузер у меня выбирает Турецкую CP1251

Даже не знаю, что и сказать ...

1. Для Турции принята 1254 кодировка: http://www.microsoft.com/globaldev/nlsweb/default.mspx?OS=Wi...

2. В Linux кодировка указывается почему то как CP1251, возможно в Linux не соблюдается какой то стандарт... но есть ведь locale.alias, можно сделать символическую ссылку на /usr/lib/locale/ru_RU.cp1251 с /usr/lib/locale/ru_RU.WINDOWS1251 (не знаю будет это работать или нет).

Free-SA не имеет перекодировщиков в своем составе, она использует перекодировщик и данные о локалях из операционной системы. Если вам нужно, чтобы программа просто работала, то поменяйте браузер ... я только что проверил перечисленные ниже браузеры и все они нормально показали страницу с кодировкой "cp1251": Konqueror 3.5.9, Seamonkey 1.1.4, Opera 9.21, Internet Explorer 6.0.2800.1106.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено nEwUR , 28-Апр-08 07:24 
Это первое, что я сделал. Но как вы и говорите используется системная локаль поэтому
# SAERROR: [InitLocale] Can't initialize locale
ls -lFG
-rw-r--r--  1 root  wheel  656 18 дек 13:51 ru.cp1251
-rw-r--r--  1 root  wheel  656 18 дек 13:40 ru.koi8r
lrwxr-xr-x  1 root  wheel    9 28 апр 12:21 ru_RU.windows-1251@ -> ru.cp1251
Браузеры перечисленные выше ведут себя корректно, а вот IE тупит.  

"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено samodelkin , 02-Июн-09 11:36 
А если надо по ип фильтровать? Не планируете расширить функционал?

"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 02-Июн-09 21:24 
>А если надо по ип фильтровать? Не планируете расширить функционал?

Уже есть в невышедшей 2.0.0b2. Нужно man страницы серьезно перебить (практически все опции конфигурационного файла были переименованы).


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 02-Июн-09 21:25 
>А если надо по ип фильтровать? Не планируете расширить функционал?

Если хотите потестировать 2.0.0b2, то дайте e-mail. Но сам я ее еще сильно не тестировал, хотя все простые тесты она прошла.


"Free-SA - squid statistic analyzer"
Отправлено nEwUR , 28-Апр-08 07:35 
помогло вот так
#ls -lFG /usr/share/locale | grep ru
lrwxr-xr-x  1 root  wheel   12 28 апр 12:30 ru_RU.windows-1251@ -> ru_RU.CP1251

# daily.conf
locale="ru_RU.windows-1251"

ls -lFG /usr/local/share/free-sa/
lrwxr-xr-x  1 root  wheel    9 28 апр 12:21 ru.windows1251@ -> ru.cp1251
Тогда так как мне нужно :)


"Free-SA - squid statistic analyzer"
Отправлено Dimas , 30-Июл-08 12:58 
В статистике все указано в байтах, как мне получать статистику в мегабайтах для наглядности и удобства использования ?

"Free-SA - squid statistic analyzer"
Отправлено Олег , 06-Авг-08 10:07 
>В статистике все указано в байтах, как мне получать статистику в мегабайтах
>для наглядности и удобства использования ?

Установите divisor="M" в файле конфигурации free-sa.conf. Нужна версия Free-SA 1.4.1 или выше.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено himiq , 05-Авг-08 13:36 
FreeBSD 7.0-RELEASE-p3
Free-SA 1.4.4 (установлен из портов)
результат:
#free-sa -f /usr/local/etc/free-sa/free-sa.conf
#sh: environment corrupt; missing value for
#SAERROR: [SAsystem] /bin/sh got signal

Версию sed проверял, 1.30

Что может быть?


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено Олег , 06-Авг-08 10:26 
>FreeBSD 7.0-RELEASE-p3
>Free-SA 1.4.4 (установлен из портов)
>результат:
>#free-sa -f /usr/local/etc/free-sa/free-sa.conf
>#sh: environment corrupt; missing value for
>#SAERROR: [SAsystem] /bin/sh got signal
>
>Версию sed проверял, 1.30
>
>Что может быть?

В семерке эта проблема по прежнему существует. Самый простой вариант: в портах в исходниках free-sa в файле global.h исправить:
#define CMDSH                   "/bin/sh"
на
#define CMDSH                   "/usr/local/bin/bash"
и установить bash, если он не стоит.

Я поговорю с новым маинтейнером Free-SA для FreeBSD, чтобы он помог решить эту проблему (видимо он поможет устранить проблему в sh или добавит в зависимости bash).


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено Олег , 14-Дек-08 01:51 
>FreeBSD 7.0-RELEASE-p3
>Free-SA 1.4.4 (установлен из портов)
>#sh: environment corrupt; missing value for
>#SAERROR: [SAsystem] /bin/sh got signal

Проблема полностью устранена в Free-SA 1.5.1.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено slash , 06-Авг-08 13:23 
Шапка отчета dld
--------------------------------------------------------------------
                 Период: 01.08.2008-06.08.2008
Поле (порядок) сортировки: Пользователь, Дата и Время (убыв., возр.)
                              Закачки
--------------------------------------------------------------------

Шапка отчета topusers
----------------------------------------
       Период: 01.08.2008-06.08.2008
Поле (порядок) сортировки: Байты (убыв.)
             Пользователи
----------------------------------------

Где, каким образом можно задать порядок сортировки в данных очетах?
Хочется чтоб отчет закачки был так же отсортирован по размеру закаченных файлов.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено Олег , 07-Авг-08 00:51 
>Поле (порядок) сортировки: Пользователь, Дата и Время (убыв., возр.)
>Поле (порядок) сортировки: Байты (убыв.)
>Где, каким образом можно задать порядок сортировки в данных очетах?
>Хочется чтоб отчет закачки был так же отсортирован по размеру закаченных файлов.

Сортировка, заданная пользователем планируется к добавлению в 2.x.y. В 2.0.0 уже будет добавлена сортировка для некоторых отчетов.

Если нужен сейчас отчет по пользователям, отсортированный по объему сделанных ими закачек с подробными ссылками, то есть вариант - строить такой отчет с другим free-sa.conf, в котором определить global_filter, в последнем же указать расширения для закачек через регулярные выражения. Пример файла глобального фильтра для закачек:
U 4
u (\.(000|3gp|7z|aac|ace|amr|ape|arj|asf|avi|b5i|bat|bin|bwi|bwt|bz2|bzip|c2d|cab|ccd|cdi|cgz|cif|cmd|com|cpio|cue|daa|dao|dll|dmg|exe|flac|flv|gcd|gi|gz|gz|ha|ha|img|iso|lcd|lha|lnk|lzh|m2v|mdf|mds|mkv|mod|mov|movie|mp3|mp4|mpe|mpeg|mpg|mxu|ncd|nrg|ogg|pdi|pif|psx|qt|rar|raw|scr|sh|shs|src|sys|tao|tar|tgz|tta|vc4|vcd|vdi|vob|wav|wma|wmv|wv|xbx|Z|zip))$
B 0
b 100000

То есть весь отчет будет построен только по закачкам, без прочей информации. В отчете будут только файлы больше 100000 байт, если это не нужно, то удалите последние две строки в примере выше.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено Олег , 07-Авг-08 00:58 
Поехало форматирование, u и регулярное выражение должны быть на одной строке:
u (\.(000 и.т.д.

"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено slash , 08-Авг-08 16:03 
>Поехало форматирование, u и регулярное выражение должны быть на одной строке:
>u (\.(000 и.т.д.

спасибо. попробую


"Free-SA - squid statistic analyzer"
Отправлено Dimas , 06-Авг-08 15:53 
access.log 400Mb free-sa обрабтывает вот уже 6 часов, при этом процесс sort вызванный free-sa грузит проц на 98% Сам access.log как вижу был очищен и помещен в архив.
Вопрос как с этим бороться ? Логи меньшего объема обрабатываются просто влет

"Free-SA - squid statistic analyzer"
Отправлено Олег , 07-Авг-08 00:57 
>access.log 400Mb free-sa обрабтывает вот уже 6 часов, при этом процесс sort
>вызванный free-sa грузит проц на 98% Сам access.log как вижу был
>очищен и помещен в архив.
>Вопрос как с этим бороться ? Логи меньшего объема обрабатываются просто влет

У меня и большего объема "влёт" обрабатываются. Я думаю проблема в том, что sort ожидает ввода информации (?) и не видит конца файла. Совет простой - ротируйте access.log только после запуска Free-SA. Если это не поможет - пишите.

P.S. Чтобы разобраться в причине зависания попробуйте скопировать свой большой access.log в другое место и запустить Free-SA указав скопированный журнал через опцию командной строки -l. Также обязательно стоит проверить сам access.log (точнее его первые 1-2 строки и последние 1-2 строки), возможно начало или конец файла повреждены (например, конец файла, то есть последняя его строка, могла быть дописана не полностью из-за ротации).


"Free-SA - squid statistic analyzer"
Отправлено Dimas , 08-Авг-08 10:23 
Спасибо, проблема решилась

"Free-SA - squid statistic analyzer"
Отправлено Dimas , 03-Сен-08 11:08 
Возникала у кого либо задача, что бы пользователь сам мог заходить на страницу статистики, но при запросе логина и пароля ( логин и пасс вводятся исплзуемые при аунтификации на прокси сервере) попадает только на собственный лог статистики.
Возможно ли решение этой задачи при помощи free-sa)

"Free-SA - squid statistic analyzer"
Отправлено Олег , 03-Сен-08 21:54 
>Возникала у кого либо задача, что бы пользователь сам мог заходить на
>страницу статистики, но при запросе логина и пароля ( логин и
>пасс вводятся исплзуемые при аунтификации на прокси сервере) попадает только на
>собственный лог статистики.
>Возможно ли решение этой задачи при помощи free-sa)

Независимо от того, где вы выкладываете отчеты (samba, http, ftp), можно сделать так:
если отчеты строятся по пользователям, то их имена уже указаны в названиях файлов отчета Free-SA. Например, если имя пользователя petrov, и отчеты формируется с этими именами, то все отчеты Петрова будут называться *_petrov.html. Дальше я думаю можно догадаться :-) Напишите скрипт, который на *_USERNAME.html применяет соответствующую команду chown USERNAME *_USERNAME.html (и возможно chmod, чтобы другие пользователи не видели отчета). Если что то непонятно, то отпишите ответ на это сообщение.


"Free-SA - squid statistic analyzer"
Отправлено Dimas , 05-Сен-08 11:06 
Спасибо идея очень интересная, только интересно было бы увидеть пример скрипта, для того же Петрова, если не сложно...
Спасибо за совет )

"Free-SA - squid statistic analyzer"
Отправлено Олег , 05-Сен-08 22:12 
>Спасибо идея очень интересная, только интересно было бы увидеть пример скрипта, для
>того же Петрова, если не сложно...
>Спасибо за совет )

Как то так:
#!/bin/bash

REPDIR="/var/www/htdocs/free-sa/01.01.2008-31.01.2008"
cd ${REPDIR}

for F_NAME in `ls -1 u*.html`; do
U_NAME=`echo $F_NAME|sed -e 's/^u//' -e 's/.html$//'`
chown $U_NAME *${U_NAME}.html
chmod 0640 *${U_NAME}.html
done

Как то так, несколько замечаний:
1. Я настоятельно рекомендую использовать полные пути ко всем командам в скрипте (по соображениям безопасности).
2. В этом скрипте ничего не делается с общими файлами, такими как topuser.html или dld.html, а в них будут и пользователи и их ссылки. Это можно дописать в скрипт.
3. Этот способ не очень подойдет для Free-SA 2.0.0b с включенной SVG-графикой, потому что SVG-графики лежат в отдельных файлах и их имена не содержат имен пользователей.
4. Придется каждый раз прописывать переменную REPDIR перед запуском, но ее можно определять автоматически из этого же скрипта (как последнюю измененную директорию в директории со всеми отчетами).
5. Скрипт выше действителен для bash оболочки, насчет POSIX shell не уверен.
6. Скрипт естественно нужно будет запускать строго после запуска Free-SA. Никак ни до, ни во время =) В этом плане его можно добавить в скрипт, используемый для запуска Free-SA.


"Free-SA - squid statistic analyzer"
Отправлено BI_J , 30-Сен-08 18:40 
День добрый, сегодня поставит себе Free-SA - squid statistic analyzer
он запустился, и отчет выдал.Но почему он не такой красивый как скриншотах офсайта.
у меня выдает скромные ссылки на белом экране. А на http://sourceforge.net/projects/free-sa#item3rd-2 все разноцветное красивое. Почему так ??

"Free-SA - squid statistic analyzer"
Отправлено Олег , 03-Окт-08 20:11 
>День добрый, сегодня поставит себе Free-SA - squid statistic analyzer
>он запустился, и отчет выдал.Но почему он не такой красивый как скриншотах
>офсайта.
>у меня выдает скромные ссылки на белом экране. А на http://sourceforge.net/projects/free-sa#item3rd-2 все
>разноцветное красивое. Почему так ??

Видимо у вас не хватает директории themes и соответствующих символических ссылок. Посмотрите по ссылке, я подробно писал как это можно восстановить:
http://sourceforge.net/tracker/index.php?func=detail&aid=206...


"Free-SA - squid statistic analyzer"
Отправлено sm , 09-Окт-08 04:49 
Hi
поставил free-sa
но при формировании отчета выдает следующую ошибку:
*** glibc detected *** malloc(): memory corruption: 0x08069568 ***
SAERROR: [SAsystem] /usr/local/bin/sort got signal
Сделал как описано выше, но всеравно выдает эту ошибку

"Free-SA - squid statistic analyzer"
Отправлено Олег , 09-Окт-08 09:54 
>но при формировании отчета выдает следующую ошибку:
>*** glibc detected *** malloc(): memory corruption: 0x08069568 ***
>SAERROR: [SAsystem] /usr/local/bin/sort got signal

Понятно, sort падает.

>Сделал как описано выше, но всеравно выдает эту ошибку

А что именно делали? Пересобрали sort без i18n патча или установили sort из Slackware?


"Free-SA - squid statistic analyzer"
Отправлено strm , 09-Окт-08 19:28 
>>но при формировании отчета выдает следующую ошибку:
>>*** glibc detected *** malloc(): memory corruption: 0x08069568 ***
>>SAERROR: [SAsystem] /usr/local/bin/sort got signal
>
>Понятно, sort падает.
>
>>Сделал как описано выше, но всеравно выдает эту ошибку
>
>А что именно делали? Пересобрали sort без i18n патча или установили sort
>из Slackware?

установил из Slackware


"Free-SA - squid statistic analyzer"
Отправлено Олег , 11-Окт-08 00:19 
>>А что именно делали? Пересобрали sort без i18n патча или установили sort
>>из Slackware?
>установил из Slackware

А родной sort в вашем дистрибутиве точно не работает? Если нет, то тогда остается только самому собрать sort из исходников без упомянутого патча.


"Free-SA - squid statistic analyzer"
Отправлено himiq , 05-Ноя-08 13:24 
Обнаружил 2 проблемы при использовании:
1. Логи Postfix - анализатор _абсолютно_ не понимает какой на дворе год. Симптомы:
При скармливании ему стандартного лога в формате "Oct 30 bla-bla-bla" программа тупо приписывает год 2007. Но и то, что бы она это сделала - нужно указывать период именно из этого года - 2007-го. Если просто сделать -d month - нет данных в отчете.

2. Лог squid начинается примерно так:
Sep 29 00:00:00 my-host newsyslog[88535]: logfile turned over
1222665356.215    628 192.168.X.Y TCP_DENIED/407 2331 GET http://swupmf.adobe.com/manifest/50/win/reader8rdr-ru_RU.upd - NONE/- text/html
и заканчивается
Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over

Если руками убрать первую и последнюю строки - работает. Если не убирать - ошибка формата лог-файла.

Кто-нибудь может прояснить ситуацию?


"Free-SA - squid statistic analyzer"
Отправлено Олег , 05-Ноя-08 18:03 
>Обнаружил 2 проблемы при использовании:
>1. Логи Postfix - анализатор _абсолютно_ не понимает какой на дворе год.
>Симптомы:
>При скармливании ему стандартного лога в формате "Oct 30 bla-bla-bla" программа тупо
>приписывает год 2007. Но и то, что бы она это сделала
>- нужно указывать период именно из этого года - 2007-го. Если
>просто сделать -d month - нет данных в отчете.

Да, есть такая проблема. Для ее решения нужна идея, как из журнала Postfix/Syslog прочитать год.

>[оверквотинг удален]
>Sep 29 00:00:00 my-host newsyslog[88535]: logfile turned over
>1222665356.215    628 192.168.X.Y TCP_DENIED/407 2331 GET http://swupmf.adobe.com/manifest/50/win/reader8rdr-ru_RU.upd - NONE/-
>text/html
>и заканчивается
>Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over
>
>Если руками убрать первую и последнюю строки - работает. Если не убирать
>- ошибка формата лог-файла.
>
>Кто-нибудь может прояснить ситуацию?

Эти две записи не соответствуют формату журнала access.log Squid-а. Нужно сделать так, чтобы эти странные записи не появлялись. Видимо это делает какой то скрипт или logrotate (но никак не Squid).

P.S. Возможно в следующей версии будет экспериментальная опция для пропускания ошибочных записей.


"Free-SA - squid statistic analyzer"
Отправлено himiq , 05-Ноя-08 19:57 
>Да, есть такая проблема. Для ее решения нужна идея, как из журнала
>Postfix/Syslog прочитать год.

Если не ошибаюсь, лог-файлы почтовых серверов так или иначе подвергаются ротации. По своему опыту - периодичность существенно зависит от количества пользователей и интенсивности переписки (чаще от первого фактора, т.к. при существующем объеме спама даже при минимальном количестве пользователей объем лога существенен).
Следовательно можно было бы предположить, что можно работать хотя бы с годом создания файла. ИМХО в *nix системе можно получить именно дату создания. Не буду вдаваться в детали, но, кажется есть stat.
Это касательно идеи.
Попробовать надо покопаться там где "работает" конкретный 2007 год. Сам пока не нашел, точнее не искал. Завтра посмотрю.

>>Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over
>Эти две записи не соответствуют формату журнала access.log Squid-а. Нужно сделать так,
>чтобы эти странные записи не появлялись. Видимо это делает какой то
>скрипт или logrotate (но никак не Squid).

Это действительно демон newsyslog. Это достаточно корректно для ротации журналов (squid, Postfix и проч.). Кстати, при обработке логов Postfix данные строки проблем не вызывают, т.к. начало строки соответствует "формату лога" Postfix'а.
По повоу "не появлялись"...
Не все процессы хорошо понимают когда из-под них кто-то выдергивает открытие ими файлы (это я про ротацию). Может, я недостаточно разбираюсь, но если не информировать, например squid о ротации лога - он может сваливаться. У меня такое бывало.


>P.S. Возможно в следующей версии будет экспериментальная опция для пропускания ошибочных
>

Хорошо бы.
Временно, конечно проблемы мной решены - Perl рулит - вырезаем ненужное... Но при этом теряется сама идея скорости подготовки отчета: приходится достаточно ресурсоемко и долго производить предварительную обработку _копий_ логов.

P.S. За внимание - спасибо.



"Free-SA - squid statistic analyzer"
Отправлено Олег , 10-Ноя-08 01:15 
>Попробовать надо покопаться там где "работает" конкретный 2007 год. Сам пока не
>нашел, точнее не искал. Завтра посмотрю.

У вас наверняка не просто syslogd, а какой-нибудь продвинутый, который уже может год писать (это вполне разумно и это стоило сделать лет 20 назад разработчиках Unix), поэтому попробуйте включить протоколирование полных дат и покажите кусочек нового журнала. Тогда я просто добавлю новый формат, вроде Postfix/Syslog-NG и все будет работать корректно. Проблема в том, что невозможно узнать сколько времени журнал использовался и не использовался. Например, первая запись была оставлена в октябре 2007, а вторая в октябре 2008, и в этом случае невозможно уже ничего угадать. Это особенно проявит себя на журналах, которые несколько лет не ротировались (бывает и такое).

>>>Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over
>Это действительно демон newsyslog. Это достаточно корректно для ротации журналов (squid, Postfix
>Временно, конечно проблемы мной решены - Perl рулит - вырезаем ненужное... Но
>при этом теряется сама идея скорости подготовки отчета: приходится достаточно ресурсоемко
>и долго производить предварительную обработку _копий_ логов.

Опция 'b' в newsyslog.conf напротив access.log поможет не делать этой лишней работы. Но если все-таки очень хочется оставить эти строки, то можете попробовать подавать журналы через pipe (см. пример с mkfifo в Free-SA FAQ). В последнем случае придется делать что то вроде cat access.log|grep -v "my-host newsyslog">/tmp/free-sa-pipe &


"Free-SA - squid statistic analyzer"
Отправлено Олег , 10-Ноя-08 01:17 
Вот кусочек man newsyslog.conf:
B
indicates that the log file is a binary file, or has some special format. Usually newsyslog(8) in- serts an ASCII message into a log file during rotation. This message is used to indicate when, and sometimes why the log file was rotated. If B is specified, then that in- formational message will not be inserted into the log file.

"Free-SA - squid statistic analyzer"
Отправлено Олег , 25-Ноя-08 00:06 
>2. Лог squid начинается примерно так:
>Sep 29 00:00:00 my-host newsyslog[88535]: logfile turned over
>1222665356.215    628 192.168.X.Y TCP_DENIED/407 2331 GET http://swupmf.adobe.com/manifest/50/win/reader8rdr-ru_RU.upd - NONE/-
>text/html
>и заканчивается
>Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over
>Если руками убрать первую и последнюю строки - работает. Если не убирать
>- ошибка формата лог-файла.
>
>Кто-нибудь может прояснить ситуацию?

Попробуйте опцию 'skip_errors' в вышедшей сегодня Free-SA 1.5.0, как раз для вас и еще пары человек добавил.


"Free-SA - squid statistic analyzer"
Отправлено agsmorodin , 08-Дек-08 14:38 
возникает проблема при генерации отчетов: не формируется статистика за 23 час. в логе сквида данные за сутки. час просто пропускается. если же подсунуть в free-sa данные только за 23 час, статистика формируется.
генерирую отчет при помощи команды free-sa -l /лог

"Free-SA - squid statistic analyzer"
Отправлено Олег , 08-Дек-08 16:27 
>возникает проблема при генерации отчетов: не формируется статистика за 23 час. в
>логе сквида данные за сутки. час просто пропускается. если же подсунуть
>в free-sa данные только за 23 час, статистика формируется.
>генерирую отчет при помощи команды free-sa -l /лог

У вас время на сервере совпадает с вашим локальным временем? Возможно проблема в том, что у сервера часы не переведены и поэтому ему кажется, что день заканчивается раньше.


"Free-SA - squid statistic analyzer"
Отправлено agsmorodin , 08-Дек-08 20:06 
таймзона настроена правильно.  проверяю при помощи date.  может что-то нужно еще прописать?

"Free-SA - squid statistic analyzer"
Отправлено Олег , 08-Дек-08 20:40 
>таймзона настроена правильно.  проверяю при помощи date.  может что-то нужно
>еще прописать?

Можете поставить Free-SA 1.5.0 (именно ее) и собрать её с DEBUG=1 в global.mk, затем прислать вывод на экран после запуска free-sa?


"Free-SA - squid statistic analyzer"
Отправлено agsmorodin , 09-Дек-08 10:58 
>>таймзона настроена правильно.  проверяю при помощи date.  может что-то нужно
>>еще прописать?
>
>Можете поставить Free-SA 1.5.0 (именно ее) и собрать её с DEBUG=1 в
>global.mk, затем прислать вывод на экран после запуска free-sa?

free-sa  -l /var/statis/tcptrace/04.12.2008
SADEBUG: [work/w_config.c:786] Selected localisation file: /usr/local/share/free-sa/ru.koi8r
SADEBUG: [work/w_config.c:608] log="/var/statis/tcptrace/access.log"
SADEBUG: [work/w_config.c:608] usertab="/usr/local/etc/free-sa/users"
SADEBUG: [work/w_config.c:608] downloads="/usr/local/etc/free-sa/downloads"
SADEBUG: [work/w_config.c:608] global_filter="/usr/local/etc/free-sa/filters"
SADEBUG: [work/w_config.c:608] targetdir="/usr/local/www/free-sa"
SADEBUG: [work/w_config.c:608] tmpdir="/var/cache/free-sa"
SADEBUG: [work/w_config.c:608] ts="true"
SADEBUG: [work/w_config.c:608] paf="false"
SADEBUG: [work/w_config.c:608] saf="false"
SADEBUG: [work/w_config.c:608] pdn="false"
SADEBUG: [work/w_config.c:608] sdn="false"
SADEBUG: [work/w_config.c:608] cct="true"
SADEBUG: [work/w_config.c:608] pst="false"
SADEBUG: [work/w_config.c:608] dld="false"
SADEBUG: [work/w_config.c:608] fullurl="true"
SADEBUG: [work/w_config.c:608] users="true"
SADEBUG: [work/w_config.c:608] ufr_split="true"
SADEBUG: [work/w_config.c:608] cct_limit="0"
SADEBUG: [work/w_config.c:608] pst_limit="0"
SADEBUG: [work/w_config.c:608] url_limit="0""
SADEBUG: [work/w_config.c:608] ts_limit="0"
SADEBUG: [work/w_config.c:608] name="Statistics per users"
SADEBUG: [work/w_config.c:608] logformat="0"
SADEBUG: [work/w_config.c:608] fulltraffic="true"
SADEBUG: [work/w_config.c:608] indicators="false"
SADEBUG: [work/w_config.c:608] overwrite="1"
SADEBUG: [work/w_config.c:608] showinfo="true"
SADEBUG: [work/w_config.c:608] locale=""
SADEBUG: [work/w_config.c:608] rotate="7776000"
SADEBUG: [work/w_config.c:608] divisor="k"
...
SADEBUG: [work/w_config.c:314] 1        No
SADEBUG: [work/w_config.c:314] 2        Пользователь
SADEBUG: [work/w_config.c:314] 3        Запросы
SADEBUG: [work/w_config.c:314] 4        Секунды
SADEBUG: [work/w_config.c:314] 5        Байты
SADEBUG: [work/w_config.c:314] 6        Адрес
SADEBUG: [work/w_config.c:314] 7        Период
SADEBUG: [work/w_config.c:314] 8        Поле (порядок) сортировки
SADEBUG: [work/w_config.c:314] 9        Пользователи
SADEBUG: [work/w_config.c:314] 10       Обработанный
SADEBUG: [work/w_config.c:314] 11       Актуальный
SADEBUG: [work/w_config.c:314] 12       Закэшированный
SADEBUG: [work/w_config.c:314] 13       Тип трафика
SADEBUG: [work/w_config.c:314] 14       Другой локальный
SADEBUG: [work/w_config.c:314] 15       Пользователи
SADEBUG: [work/w_config.c:314] 16       Популярные сайты
SADEBUG: [work/w_config.c:314] 17       Эффективность сервера
SADEBUG: [work/w_config.c:314] 18        в реальном времени
SADEBUG: [work/w_config.c:314] 19       Дата и Время
SADEBUG: [work/w_config.c:314] 20       Дата\Время
SADEBUG: [work/w_config.c:314] 21       День месяца
SADEBUG: [work/w_config.c:314] 22       возр.
SADEBUG: [work/w_config.c:314] 23       убыв.
SADEBUG: [work/w_config.c:314] 24       ВСЕГО
SADEBUG: [work/w_config.c:314] 25       СРЕДНЕЕ
SADEBUG: [work/w_config.c:314] 26       МАКСИМУМ
SADEBUG: [work/w_config.c:314] 27       Код
SADEBUG: [work/w_config.c:314] 28       Сформирован
SADEBUG: [work/w_config.c:314] 29       Конфигурация
SADEBUG: [work/w_config.c:314] 30       Дата создания
SADEBUG: [work/w_config.c:314] 31       Страница выбора периода
SADEBUG: [work/w_config.c:314] 32       Ошибки аутентификации на прокси
SADEBUG: [work/w_config.c:314] 33       Ошибки аутентификации на сайтах
SADEBUG: [work/w_config.c:314] 34       Запрет на прокси (ACL)
SADEBUG: [work/w_config.c:314] 35       Запрет на сайтах
SADEBUG: [work/w_config.c:314] 36       Метод прямого соединения CONNECT
SADEBUG: [work/w_config.c:314] 37       Метод отправки данных PUT/POST
SADEBUG: [work/w_config.c:314] 38       Закачки
SADEBUG: [work/w_config.c:314] 39       Локальный фильтр
SADEBUG: [work/w_config.c:314] 40       П
SADEBUG: [work/w_config.c:314] 41       Т
SADEBUG: [work/w_config.c:314] 42       Г
SADEBUG: [work/w_config.c:314] 43       М
SADEBUG: [work/w_config.c:314] 44       к
SADEBUG: [work/w_config.c:314] 45       Отправитель
SADEBUG: [work/w_config.c:314] 46       Письма
SADEBUG: [work/w_config.c:314] 47       Получатель
SADEBUG: [work/w_config.c:314] 48       Отправители
SADEBUG: [work/w_config.c:314] 49       Получатели
SADEBUG: [work/w_config.c:314] 50       Отказ в приеме
SADEBUG: [work/w_config.c:314] 51       Отказ в доставке
...
SADEBUG: [work/w_log_operations.c:302] Last date seen: 1228423885, i.e. 04.12.2008 22:51:25

наводит на мысль последняя строка.  но почему только 22:51? данные за 23 час в файле есть. проверял неоднократно



"Free-SA - squid statistic analyzer"
Отправлено agsmorodin , 09-Дек-08 12:10 
взял файл с данными только за 23 час. отображает  Last date seen: 23:10:25
после этого удаляю все записи в логе кроме первой и последней:
Last date seen: 1228427485, i.e. 04.12.2008 23:51:25
я так понимаю какие-то записи в файле заставляют free-sa отрабатывать некорректно.
хронологическая последовательность данных правильная


после продолжительного колдунства оказалось, что если free_sa натыкается на некорректную строку,  дальше лог он не обрабатывает. почему у меня в логе это было в 23 часе неясно.

спасибо за помощь.  


"Free-SA - squid statistic analyzer"
Отправлено Олег , 09-Дек-08 12:34 
>взял файл с данными только за 23 час. отображает  Last date
>seen: 23:10:25
>после этого удаляю все записи в логе кроме первой и последней:
>Last date seen: 1228427485, i.e. 04.12.2008 23:51:25
>я так понимаю какие-то записи в файле заставляют free-sa отрабатывать некорректно.
>хронологическая последовательность данных правильная

Именно так. Какие то записи некорректны и чтобы их определить и была добавлена эта DEBUG информация. Команда "cat access.log|grep -A1 -B1 1228427485" выдаст список из нескольких записей и одна из них будет та, которая заставляет Free-SA останавливаться.

>после продолжительного колдунства оказалось, что если free_sa натыкается на некорректную строку,  
>дальше лог он не обрабатывает. почему у меня в логе это
>было в 23 часе неясно.

Если у вас лог не совсем стандартный и подобные ошибки часто возникают, то попробуйте новую экспериментальную опцию skip_errors="true", добавленную начиная с версии 1.5.0. Количество пропущенных записей при включенной этой опции программа выдаст на экран.


"Free-SA - squid statistic analyzer"
Отправлено BadWar , 12-Дек-08 14:56 
Такой вопрос, как сделать, фри учитывал трафик только залогиненых пользователей, т.е. когда человек прошёл аутентификацию, а то он у меня выводит трафик пользователя и ip того же пользователя, как 2 разных объекта.

"Free-SA - squid statistic analyzer"
Отправлено Олег , 12-Дек-08 23:36 
>Такой вопрос, как сделать, фри учитывал трафик только залогиненых пользователей, т.е. когда
>человек прошёл аутентификацию, а то он у меня выводит трафик пользователя
>и ip того же пользователя, как 2 разных объекта.

Если так, как вы спросили, то нужно сделать файл глобального фильтра с таким содержимым:
C 1
c 407

И прописать этот файл в free-sa.conf через опцию global_filter.

Если вам нужно убрать весь локальный трафик (включая кэш), то укажите fulltraffic="false". Только учтите, в 2.x этой опции не будет, но можно будет делать тоже самое через global_filter.


"обновление страницы со статистикой"
Отправлено agsmorodin , 23-Дек-08 18:47 
добрый день. проблема в следующем:  если пользователь просматривает статистику и заходит на какую-либо страницу, а после этого free-sa перестраивает отчеты, то приходится постоянно возвращаться на главную страницу index.html и обновлять ее, так как ссылки на файлы изменяются. надеюсь понятно описал суть проблемы.  
например:
в папке с html-контентом была папка 15.12.2008-15.12.2008-1, после перестройки отчетов она становится 15.12.2008-15.12.2008-2.  Каким образом можно обойти эту проблему?
Дополнительyый индекс генерируется при имеющейся уже там папке. можно конечно удалять вначале директорию, но это уж как-то не кошерно.
  заранее спасибо.

"обновление страницы со статистикой"
Отправлено Олег , 23-Дек-08 23:44 
>например:
>в папке с html-контентом была папка 15.12.2008-15.12.2008-1, после перестройки отчетов она становится
>15.12.2008-15.12.2008-2.  Каким образом можно обойти эту проблему?

А что за версию Free-SA вы используете? В 1.5.1 я такой проблемы не нашел. Возможно в какой то весьма старой Free-SA эта проблема и была...


"Free-SA - squid statistic analyzer"
Отправлено Виктор , 28-Дек-08 18:40 
Ошибка при запуске Free-SA
bizon# /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa2.conf
SAERROR: [InitConfig] Error parsing confuguration file, line was:

Имеем Free-SA v1.40, FreeBSD 6.3

free-sa2.conf

#log="/var/log/squid/access.log"
log="/usr/local/squid/logs/access.log"
#usertab="/usr/local/etc/free-sa/users"
#downloads="/usr/local/etc/free-sa/downloads.sample"
#local_filter=""
#global_filter=""


###############
# DIRECTORIES #
###############
targetdir="/usr/local/www/data/free-sa"
tmpdir="/var/cache/free-sa"
    
    
#####################
# REPORTS SELECTION #
#####################
ts="true"
paf="true"
saf="true"
pdn="true"
sdn="true"
cct="true"
pst="true"
dld="false"
fullurl="true"
#users="true"
#email=""


##################
# REPORTS LIMITS #
##################
paf_limit="50"
saf_limit="50"
pdn_limit="50"
sdn_limit="50"
cct_limit="50"
pst_limit="50"
dld_limit="50"
lcf_limit="50"
url_limit="50"
rtr_timeout="5000"


####################
# OTHER PARAMETERS #
####################
name="free-sa2.conf"
autorecords="5"
#logformat="-1"
logformat="0"
fulltraffic="false"
#inameuser="true"
#indicators="true"
overwrite="0"
resolveip="false"
showinfo="true"
#site=""
#logo=""
#locale=""
#rotate=""
divisor="b"

Попытка закоментировать/раскоментировать опции дает тот же результат. Где тут грабли?


"Free-SA - squid statistic analyzer"
Отправлено Олег , 28-Дек-08 23:10 
>Ошибка при запуске Free-SA
>bizon# /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa2.conf
>SAERROR: [InitConfig] Error parsing confuguration file, line was:
>targetdir="/usr/local/www/data/free-sa"
>tmpdir="/var/cache/free-sa"
>
>
>#####################
># REPORTS SELECTION #

Вот те 2 пустые строки кажется содержат пробелы. К сожалению Free-SA такие строки не может пока что правильно обрабатывать. Использовать сторонние библиотеки не хотелось бы, так как я не знаю насколько они портируемы на другие платформы. Также рекомендую перейти на Free-SA 1.5.1, т.к. там были важные изменения для FreeBSD 7.x. 1.5.1 уже в портах должна быть.


"Free-SA - squid statistic analyzer"
Отправлено Виктор , 29-Дек-08 16:24 
>[оверквотинг удален]
>>
>>#####################
>># REPORTS SELECTION #
>
>Вот те 2 пустые строки кажется содержат пробелы. К сожалению Free-SA такие
>строки не может пока что правильно обрабатывать. Использовать сторонние библиотеки не
>хотелось бы, так как я не знаю насколько они портируемы на
>другие платформы. Также рекомендую перейти на Free-SA 1.5.1, т.к. там были
>важные изменения для FreeBSD 7.x. 1.5.1 уже в портах должна быть.
>

Спасибо,
конфиг прошел.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено mnk , 13-Янв-09 15:56 
При запуске
free-sa -d 13.01.2009-13.01.2009
SAERROR: [CS2SI] Value -12288 is out of range from 0 to -1
bash: SAERROR:: command not found
версия 1.5.1
Раньше такого не было - устанавливал различные версии


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено Олег , 13-Янв-09 20:10 
>При запуске
>free-sa -d 13.01.2009-13.01.2009
> SAERROR: [CS2SI] Value -12288 is out of range from 0 to -1
>версия 1.5.1
>Раньше такого не было - устанавливал различные версии

То есть только с -d так выскакивает? А можете прислать на почту ваш free-sa.conf?


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено mnk , 14-Янв-09 08:48 
>То есть только с -d так выскакивает? А можете прислать на почту
>ваш free-sa.conf?

Все нашел. Была ошибка в free-sq.conf. Извините за безпокойство и спасибо за программу. Уже на 5 серверах работает.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено Роман , 20-Фев-09 13:32 
free-sa -d 20.02.2009-20.02.2009 не ругается, но и ничего нигде не создает. Какой web-server использует free-sa: свой или уже имеющийся?
free-sa 1.5.1, Ubuntu 8.10, начинающий пользователь :)

И как установить free-sa-1.5.1 patch?


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено Роман , 20-Фев-09 15:38 
Разобрался. Действительно нужно было поднять web-server. А потом его директорию www, которую он использует для публикаций, прописать в global.mk (потом сделать make install) и затем в free-sa.conf



"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено Олег , 20-Фев-09 23:53 
>free-sa -d 20.02.2009-20.02.2009 не ругается, но и ничего нигде не создает. Какой
>web-server использует free-sa: свой или уже имеющийся?

Уже имеющийся, я думаю в те несколько десятков килобайт, которые "весит" Free-SA, web сервер просто не поместится :)

>free-sa 1.5.1, Ubuntu 8.10, начинающий пользователь :)

Добро пожаловать!

>И как установить free-sa-1.5.1 patch?

Его не нужно ставить, если вы уже скачали free-sa-1.5.1.tar.gz. Этот патч нужен, чтобы обновить 1.5.0 до 1.5.1.


"Смена темы оформления"
Отправлено Anton , 23-Фев-09 22:22 
Прошу прощения за свою тупость, но я не нашел где меняется тема оформления отчета...
Проблема в вот в чем:
если я выполняю команду free-sa -d day от имени пользователя или через sudo - то отчет отображается нормально, на русском
если таже команда выполняется через crontab - результаты на английском.

unbunty 8.10 Server, локаль UTF8, в конфиге free-sa locale=ru_RU.UTF8 прописана.


"Смена темы оформления"
Отправлено Олег , 24-Фев-09 10:36 
>unbunty 8.10 Server, локаль UTF8, в конфиге free-sa locale=ru_RU.UTF8 прописана.

Уточните, locale="ru_RU.UTF8" или locale=ru_RU.UTF8 ?



"Смена темы оформления"
Отправлено anton , 24-Фев-09 12:03 
>>unbunty 8.10 Server, локаль UTF8, в конфиге free-sa locale=ru_RU.UTF8 прописана.
>
>Уточните, locale="ru_RU.UTF8" или locale=ru_RU.UTF8 ?

Спасибо, все заработало - locale="ru_RU.UTF8"


"Смена темы оформления"
Отправлено гость , 02-Мрт-09 17:53 
free-sa отрабатывает без проблем, подскажите как сделать что б , например каждый день делал отчет только за день , т.е. например в лайтсквиде создается каждый раз новый день и сколько было использовано траффика за день, во free-sa создается с начало создания файла access.log по сегодняшний день.
запускается /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf
пробывал /usr/local/bin/free-sa -d 02.03.2009-02.03.2009
SAERROR: [SAusage] Incorrect dates range specified '02.03.2009-02.03.2009'
Спасибо.

"Смена темы оформления"
Отправлено Олег , 02-Мрт-09 20:41 
>free-sa отрабатывает без проблем, подскажите как сделать что б , например каждый
>день делал отчет только за день , т.е. например в лайтсквиде
>создается каждый раз новый день и сколько было использовано траффика за
>день, во free-sa создается с начало создания файла access.log по сегодняшний
>день.
>запускается /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf
>пробывал /usr/local/bin/free-sa -d 02.03.2009-02.03.2009
>SAERROR: [SAusage] Incorrect dates range specified '02.03.2009-02.03.2009'
>Спасибо.

Это известная проблема. При запуске Free-SA (особенно через crond) важно указывать даты в локали, в которой вы запускаете программу. В вашем примере вы указали даты в русской локали, тогда как локаль запуска скорее всего C. Команда date +%x подскажет, как должна выглядеть дата в вашей текущей локали. Для локали C это: ММ/ДД/ГГ, т.е. 2 марта 2009 будет 03/02/09 и скорее всего команда /usr/local/bin/free-sa -d 03/02/09-03/02/09 отработает нормально.


"Смена темы оформления"
Отправлено гость , 03-Мрт-09 08:11 
Олег, спасибо, помогло. Тогда возникает следующий вопрос, а как тогда же в Cron правильно оформить, что б формировалось ежедневно такое?

"Смена темы оформления"
Отправлено Олег , 03-Мрт-09 08:23 
>Олег, спасибо, помогло. Тогда возникает следующий вопрос, а как тогда же в
>Cron правильно оформить, что б формировалось ежедневно такое?

Есть 2 варианта:
1. Сделать скрипт, в котором менять локаль до запуска Free-SA (обычно через скрипт и делают, т.к. нужно еще и дату рассчитать):
#!/bin/sh
export LC_ALL=ru_RU.KOI8-R
export LANG=ru_RU.KOI8-R
/usr/bin/free-sa -d 03.03.2009-03.03.2009

2. Запускать free-sa напрямую из crond, указывая даты в формате C (она же POSIX) локали:
/usr/bin/free-sa -d 03/03/09-03/03/09

Во втором варианте можно указать локаль через опцию locale в free-sa.conf. Это полезно, чтобы отчет был на русском. Учтите, что опция locale не влияет на формат даты, указываемой в командной строке, т.е. чтобы вы не указывали в опции locale, все равно придется даты указывать в локали запуска.


"научите помогите"
Отправлено AVSen , 13-Мрт-09 11:08 
Сильно не бейте новичка.

Пытаюсь поставить free-sa.
ubuntu server 8.10 на vmware
было установлено squid squidGuard apache sarg
что-то неочень разобрался с sarg-ом, но статистику он давал.
узнал что есть free-sa, решил установить но не получается.
Что нужно иметь до установки free-sa?

на запрос
free-sa -s
получаю ответ
-bash: free-sa: command not found


"научите помогите"
Отправлено Anton , 13-Мрт-09 13:00 
>[оверквотинг удален]
>ubuntu server 8.10 на vmware
>было установлено squid squidGuard apache sarg
>что-то неочень разобрался с sarg-ом, но статистику он давал.
>узнал что есть free-sa, решил установить но не получается.
>Что нужно иметь до установки free-sa?
>
>на запрос
>free-sa -s
>получаю ответ
>-bash: free-sa: command not found

в Ubuntu server нет комплятора с/gcc, соответсвенно без него ни одну программу идущую в исходниках не установить.
sudo apt-get install gcc (должен быть доступ к репозиторию)
далее устанавливаешь стандартно по ридми


"научите помогите"
Отправлено AVSen , 13-Мрт-09 14:42 
>в Ubuntu server нет комплятора с/gcc, соответсвенно без него ни одну программу
>идущую в исходниках не установить.
>sudo apt-get install gcc (должен быть доступ к репозиторию)
>далее устанавливаешь стандартно по ридми

спасибо, установил.

теперь на запрос
free-sa -s
получаю ответ
SAERROR: [LoadDownloads] Downloads report enabled, but no downloads file specified

Что-то где-то не работает
как исправить?


"научите помогите"
Отправлено Олег , 13-Мрт-09 23:04 
>теперь на запрос
>free-sa -s
>получаю ответ
>SAERROR: [LoadDownloads] Downloads report enabled, but no downloads file specified
>
>Что-то где-то не работает
>как исправить?

Или укажите файл с расширениями (в комплекте идет образец) в параметре downloads или отключите отчет о закачках через dld="false" в free-sa.conf файле.


"научите помогите"
Отправлено AVSen , 16-Мрт-09 10:47 
спасибо!!!
Очередной косяк.

free-sa -d 12.03.2009-13.03.2009
отрабатывает нормально
файл 12.03.2009-13.03.2009 на проксе формируется.

у себя на компе набираю
http://192.168.1.214/free-sa

а в ответ получаю
Not Found
The requested URL /free-sa was not found on this server.
Apache/2.2.9 (Ubuntu) PHP/5.2.6-2ubuntu4.1 with Suhosin-Patch Server at 192.168.1.214 Port 80
:-(


"научите помогите"
Отправлено Олег , 16-Мрт-09 10:55 
>[оверквотинг удален]
>файл 12.03.2009-13.03.2009 на проксе формируется.
>
>у себя на компе набираю
>http://192.168.1.214/free-sa
>
>а в ответ получаю
>Not Found
>The requested URL /free-sa was not found on this server.
>Apache/2.2.9 (Ubuntu) PHP/5.2.6-2ubuntu4.1 with Suhosin-Patch Server at 192.168.1.214 Port 80
>:-(

Посмотрите, какую директорию apache использует как корень. Скорее всего targetdir в free-sa.conf указывает не на нее.


"научите помогите"
Отправлено AVSen , 16-Мрт-09 13:30 
>
>Посмотрите, какую директорию apache использует как корень. Скорее всего targetdir в free-sa.conf
>указывает не на нее.

отчетные файлы формируются:
/usr/local/var/www/html/free-sa/12.03.2009-16.03.2009-1

в free-sa.conf
targetdir="/usr/local/var/www/html/free-sa"

в файле
/etc/apache2/sites-enabled/000-default
DocumentRoot /var/www/
....
значит, как корень apache использует директорию /var/www/??


"научите помогите"
Отправлено Олег , 16-Мрт-09 13:43 
>[оверквотинг удален]
>/usr/local/var/www/html/free-sa/12.03.2009-16.03.2009-1
>
>в free-sa.conf
>targetdir="/usr/local/var/www/html/free-sa"
>
>в файле
>/etc/apache2/sites-enabled/000-default
>DocumentRoot /var/www/
>....
>значит, как корень apache использует директорию /var/www/??

Да, все правильно.

Скорее всего вам будет достаточно просто переместить /usr/local/var/www/html/free-sa в /var/www, т.е. должна появиться /var/www/free-sa. Не забудьте поправить targetdir в free-sa.conf на будущее.


"научите помогите"
Отправлено AVSen , 16-Мрт-09 15:40 
>Скорее всего вам будет достаточно просто переместить /usr/local/var/www/html/free-sa в /var/www, т.е. должна
>появиться /var/www/free-sa. Не забудьте поправить targetdir в free-sa.conf на будущее.

ура, ура.
заработало.

когда подключаю
usertab="/etc/squid/users"

в файле /etc/squid/users
192.168.1.1 Фамилия Имя Отчество

На запрос
free-sa -d 12.03.2009-16.03.2009
получаю ответ
SAERROR: [LoadUsertab] Incorrect file format


"научите помогите"
Отправлено Олег , 16-Мрт-09 15:50 
>[оверквотинг удален]
>когда подключаю
>usertab="/etc/squid/users"
>
>в файле /etc/squid/users
>192.168.1.1 Фамилия Имя Отчество
>
>На запрос
>free-sa -d 12.03.2009-16.03.2009
>получаю ответ
>SAERROR: [LoadUsertab] Incorrect file format

Возможно в конце файла не хватает перевода строки, т.е. файл должен заканчиваться одной пустой строкой.


"научите помогите"
Отправлено AVSen , 16-Мрт-09 16:04 
>Возможно в конце файла не хватает перевода строки, т.е. файл должен заканчиваться
>одной пустой строкой.

Огромное спасибо. Всё заработало


"научите помогите cron"
Отправлено AVSen , 17-Мрт-09 15:07 
создаю файл
/etc/squid/free-sa_day.sh
#!/bin/bash
# Программа создания отчетов по журналам SQUID
#set -x
export LANG=ru_RU.UTF-8
export LC_ALL=
path1=/var/www/html/volmed/free-sa
free_sa=/usr/local/bin/free-sa
date1=`date +%x`
$free_sa -d $date1-

далее
crontab -e
# m h  dom mon dow   command
10,20,30,40,50  *  *  *  *       root    /etc/squid/free-sa_day.sh

далее
service cron restart

жду Хчасов10минут,Хчасов20минут - отчет не формируется


"научите помогите cron"
Отправлено saper , 17-Мрт-09 22:31 
>[оверквотинг удален]
>далее
>crontab -e
># m h  dom mon dow   command
>10,20,30,40,50  *  *  *  *    
>   root    /etc/squid/free-sa_day.sh
>
>далее
>service cron restart
>
>жду Хчасов10минут,Хчасов20минут - отчет не формируется

Посмотрите журналы и локальную почту, а лучше перепишите строку так:
10,20,30,40,50  *  *  *  *       root    /etc/squid/free-sa_day.sh 2>/tmp/free-sa.log

По прошествии времени X смотрите /tmp/free-sa.log.


"научите помогите cron"
Отправлено AVSen , 18-Мрт-09 10:27 
>Посмотрите журналы и локальную почту, а лучше перепишите строку так:
>10,20,30,40,50  *  *  *  *       root    /etc/squid/free-sa_day.sh 2>/tmp/free-sa.log
>
>По прошествии времени X смотрите /tmp/free-sa.log.

Формируется файл /tmp/free-sa.log
пустой размером 0 байт


"научите помогите cron"
Отправлено saper , 18-Мрт-09 10:36 
>>Посмотрите журналы и локальную почту, а лучше перепишите строку так:
>>10,20,30,40,50  *  *  *  *       root    /etc/squid/free-sa_day.sh 2>/tmp/free-sa.log
>>
>>По прошествии времени X смотрите /tmp/free-sa.log.
>
>Формируется файл /tmp/free-sa.log
>пустой размером 0 байт

Судя по всему это означает, что free-sa нормально отработал. Отчетов в заданной через targetdir директории точно нет?


"научите помогите cron"
Отправлено AVSen , 18-Мрт-09 10:47 
>Судя по всему это означает, что free-sa нормально отработал. Отчетов в заданной
>через targetdir директории точно нет?

в
targetdir="var/www/free-sa"
файл отчета не формируется

sh /etc/squid//free-sa_day.sh
в var/www/free-sa/18.03.2009-18.03.2009-1
файл отчета не формируется


"научите помогите cron"
Отправлено AVSen , 18-Мрт-09 10:58 
>>Судя по всему это означает, что free-sa нормально отработал. Отчетов в заданной
>>через targetdir директории точно нет?
>

серех Х времени в файл отчета не формируется
в free-sa.conf
targetdir="var/www/free-sa"

выполняю вручную
sh /etc/squid//free-sa_day.sh
в var/www/free-sa/18.03.2009-18.03.2009-1
формируется файл отчета



"научите помогите cron"
Отправлено AVSen , 18-Мрт-09 14:22 
черех Х времени файл отчета не формируется

в free-sa.conf
targetdir="var/www/free-sa"

выполняю вручную
sh /etc/squid//free-sa_day.sh

формируется файл отчета /var/www/free-sa/18.03.2009-18.03.2009-1

что, где не так?


"научите помогите cron"
Отправлено saper , 18-Мрт-09 21:48 
>[оверквотинг удален]
>
>в free-sa.conf
>targetdir="var/www/free-sa"
>
>выполняю вручную
>sh /etc/squid//free-sa_day.sh
>
>формируется файл отчета /var/www/free-sa/18.03.2009-18.03.2009-1
>
>что, где не так?

Попробуйте все же указать targetdir="/var/www/free-sa" и в скрипте исправить строку с командой free-sa на такую:
$free_sa -d $date1- > /tmp/free-sa-1.log 2>/tmp/free-sa-2.log


"научите помогите cron"
Отправлено AVSen , 19-Мрт-09 09:04 
скрипт:
#!/bin/bash
# Программа создания отчетов по журналам SQUID
#set -x
export LANG=ru_RU.UTF-8
export LC_ALL=ru_RU.UTF-8
#path1=/var/www/html/volmed/free-sa
free_sa=/usr/local/bin/free-sa
date1=`date +%x`
$free_sa -d $date1- > /tmp/free-sa-1.log 2>/tmp/free-sa-2.log
#$free_sa -d $date1-

формируется только /tmp/free-sa.log


"научите помогите cron"
Отправлено saper , 19-Мрт-09 10:46 
Давайте упростим и доработаем ваш скрипт /etc/squid/free-sa_day.sh до:
#!/bin/bash
export LANG=ru_RU.UTF-8
export LC_ALL=ru_RU.UTF-8
/usr/local/bin/free-sa -d `date +%x`- > /tmp/free-sa-1.log 2>/tmp/free-sa-2.log
/bin/ls -l /bin > /tmp/ls-1.log

И в crontab запишем старое:
10,20,30,40,50  *  *  *  *       root    /etc/squid/free-sa_day.sh


"научите помогите cron"
Отправлено AVSen , 19-Мрт-09 09:07 
у меня так и записано
targetdir="/var/www/free-sa"

"научите помогите cron"
Отправлено AVSen , 20-Мрт-09 09:28 
каким образом можно получить такие графики?
http://sourceforge.net/project/stats/detail.php?group_id=191...

какие пакеты надо поставить?


"научите помогите cron"
Отправлено saper , 20-Мрт-09 22:55 
>каким образом можно получить такие графики?
>http://sourceforge.net/project/stats/detail.php?group_id=191...
>
>какие пакеты надо поставить?

Не знаю, это вопрос к sourceforge.net :) Можете посмотреть версию Free-SA 2.0.0b, там SVG графика (более точная и два вида графиков).


"Ubuntu 8.10"
Отправлено palvvv , 17-Мрт-09 15:09 
Доброго дня!
Когда в Убунту делаю make
пишет

./global.h:12:19: error: stdio.h: No such file or directory
../global.h:14:20: error: stdlib.h: No such file or directory
../global.h:15:20: error: unistd.h: No such file or directory
../global.h:16:20: error: string.h: No such file or directory
../global.h:17:19: error: ctype.h: No such file or directory
../global.h:18:20: error: locale.h: No such file or directory
../global.h:19:22: error: langinfo.h: No such file or directory
../global.h:20:19: error: errno.h: No such file or directory
../global.h:21:19: error: netdb.h: No such file or directory
../global.h:22:23: error: arpa/inet.h: No such file or directory
../global.h:23:24: error: netinet/in.h: No such file or directory
../global.h:24:24: error: sys/socket.h: No such file or directory
../global.h:25:22: error: sys/stat.h: No such file or directory
../global.h:26:23: error: sys/types.h: No such file or directory
../global.h:27:22: error: sys/wait.h: No such file or directory
../global.h:28:18: error: time.h: No such file or directory
../global.h:29:18: error: math.h: No such file or directory
../global.h:30:20: error: dirent.h: No such file or directory
../global.h:31:19: error: regex.h: No such file or directory
In file included from ../global.h:81,

В дистрибутиве таких фалов действительно нет



"Ubuntu 8.10"
Отправлено saper , 17-Мрт-09 22:37 
>Доброго дня!
>Когда в Убунту делаю make
>пишет
>./global.h:12:19: error: stdio.h: No such file or directory
>../global.h:14:20: error: stdlib.h: No such file or directory
>../global.h:15:20: error: unistd.h: No such file or directory
>../global.h:16:20: error: string.h: No such file or directory
>../global.h:17:19: error: ctype.h: No such file or directory

Почти все эти файлы есть в DOS, они нужны для сборки любой, даже самой простой программы.

>В дистрибутиве таких фалов действительно нет

Я не могу подсказать где взять для Ubuntu эти файлы, скорее всего нужен какой то *devel* пакет. Лучше спросить на форуме, посвященном Ubuntu.

В первой ссылке Google рекомендуют:
sudo aptitude update && sudo aptitude upgrade && sudo aptitude install build-essentials


"Ubuntu 8.10"
Отправлено AVSen , 18-Мрт-09 11:34 
>Доброго дня!
>Когда в Убунту делаю make
>пишет
>
>./global.h:12:19: error: stdio.h: No such file or directory
>../global.h:14:20: error: stdlib.h: No such file or directory
>../global.h:15:20: error: unistd.h: No such file or directory
>../global.h:16:20: error: string.h: No such file or directory
>..

возможно надо установить

apt-get install libpcre3-dev
apt-get install libmysqlclient15-dev
apt-get install php5-gd


"Ubuntu 8.10"
Отправлено palvvv , 18-Мрт-09 12:43 
>[оверквотинг удален]
>>../global.h:14:20: error: stdlib.h: No such file or directory
>>../global.h:15:20: error: unistd.h: No such file or directory
>>../global.h:16:20: error: string.h: No such file or directory
>>..
>
>возможно надо установить
>
>apt-get install libpcre3-dev
>apt-get install libmysqlclient15-dev
>apt-get install php5-gd

Спасибо помог пакет libpcre3-dev

Подскажите а как заставить его работать с логами CGP
а то выдает ошибку
root@gw:/tmp/free-sa-1.5.1# free-sa -d 17.03.2009-17.03.2009
SAERROR: [main] No records found

в CONF указан путь к файлу за одно число



"Ubuntu 8.10"
Отправлено saper , 18-Мрт-09 21:43 
>>>../global.h:14:20: error: stdlib.h: No such file or directory
>>>../global.h:15:20: error: unistd.h: No such file or directory
>>>../global.h:16:20: error: string.h: No such file or directory
>>возможно надо установить
>>apt-get install libpcre3-dev
>>apt-get install libmysqlclient15-dev
>>apt-get install php5-gd
>Спасибо помог пакет libpcre3-dev

Странно. Free-SA не нужен ни один из приведенных выше пакетов.

>Подскажите а как заставить его работать с логами CGP
>а то выдает ошибку
>root@gw:/tmp/free-sa-1.5.1# free-sa -d 17.03.2009-17.03.2009
>SAERROR: [main] No records found
>в CONF указан путь к файлу за одно число

Поддержка журналов CGP очень экспериментальная, про нее никто ни разу спрашивал, поэтому не было возможности как следует протестировать. Как с вами связаться, чтобы обсудить эту поддержку и протестировать?


"Ubuntu 8.10"
Отправлено palvvv , 19-Мрт-09 09:33 
>[оверквотинг удален]
>
>>Подскажите а как заставить его работать с логами CGP
>>а то выдает ошибку
>>root@gw:/tmp/free-sa-1.5.1# free-sa -d 17.03.2009-17.03.2009
>>SAERROR: [main] No records found
>>в CONF указан путь к файлу за одно число
>
>Поддержка журналов CGP очень экспериментальная, про нее никто ни разу спрашивал, поэтому
>не было возможности как следует протестировать. Как с вами связаться, чтобы
>обсудить эту поддержку и протестировать?

напишите на pal283@mail.ru
или icq 159537000


"Ubuntu 8.10"
Отправлено saper , 18-Мрт-09 21:44 
Возможно для CGP вы забыли указать правильный аргумент в опции logformat?

"Установка free-sa"
Отправлено AVSen , 20-Мрт-09 14:50 
А можно поросить порядок установки free-sa?
Какие пакеты надо ставить перед установкой free-sa и как их настроить?

"Установка free-sa"
Отправлено saper , 20-Мрт-09 22:58 
>А можно поросить порядок установки free-sa?
>Какие пакеты надо ставить перед установкой free-sa и как их настроить?

В принципе для сборки free-sa не нужно никакой экзотики из пакетов. Пакеты нужны те же, что и для сборки любой самой простой программы (hello world) на C. Сборка проста, поэтому в файле INSTALL не так много чего написано.


"Установка free-sa"
Отправлено AVSen , 24-Мрт-09 11:18 
>В принципе для сборки free-sa не нужно никакой экзотики из пакетов. Пакеты
>нужны те же, что и для сборки любой самой простой программы
>(hello world) на C. Сборка проста, поэтому в файле INSTALL не
>так много чего написано.

а как насчет графиков? какие пакеты надо поставить?


"Установка free-sa"
Отправлено saper , 24-Мрт-09 11:29 
>>В принципе для сборки free-sa не нужно никакой экзотики из пакетов. Пакеты
>>нужны те же, что и для сборки любой самой простой программы
>>(hello world) на C. Сборка проста, поэтому в файле INSTALL не
>>так много чего написано.
>
>а как насчет графиков? какие пакеты надо поставить?

Никакие дополнительные пакеты не нужны. Графики в 1.6.0 очень простые, нажмите на правую иконку в списке пользователей - увидите. В 2.0.0b1 есть SVG графики, они более красивые и точные, а еще их там несколько видов. Скоро будет 2.0.0b2 с некоторыми обновлениями по функциональной части (2.0.0b1 уже год не обновлялся, поэтому отстал даже от 1.6.0).


"Установка free-sa"
Отправлено AVSen , 24-Мрт-09 11:45 
>Никакие дополнительные пакеты не нужны. Графики в 1.6.0 очень простые, нажмите на
>правую иконку в списке пользователей - увидите. В 2.0.0b1 есть SVG
>графики, они более красивые и точные, а еще их там несколько
>видов. Скоро будет 2.0.0b2 с некоторыми обновлениями по функциональной части (2.0.0b1
>уже год не обновлялся, поэтому отстал даже от 1.6.0).

у меня отображаются только числа, нет никаких линий, таблиц


"Установка free-sa"
Отправлено saper , 24-Мрт-09 11:47 
>у меня отображаются только числа, нет никаких линий, таблиц

То чего то подобного: http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/... у вас нет?


"Установка free-sa"
Отправлено AVSen , 24-Мрт-09 12:02 

>То чего то подобного: http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/... у вас нет?

нет, только числа


"Установка free-sa"
Отправлено saper , 24-Мрт-09 12:18 
>>То чего то подобного: http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/... у вас нет?
>
>нет, только числа

А стили оформления есть или всё черно-белое? Если последнее, то значит темы установлены не в ту директорию, где лежат сейчас отчеты или проблема с правами на директорию с темами. Можете куда-нибудь выложить снимок экрана страницы с графиками и сюда выложить ссылку на картинку?


"Установка free-sa"
Отправлено AVSen , 24-Мрт-09 12:26 
>>>То чего то подобного: http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/... у вас нет?
>>
>>нет, только числа
>
>А стили оформления есть или всё черно-белое? Если последнее, то значит темы
>установлены не в ту директорию, где лежат сейчас отчеты или проблема
>с правами на директорию с темами. Можете куда-нибудь выложить снимок экрана
>страницы с графиками и сюда выложить ссылку на картинку?

всё черно-белое


"Установка free-sa"
Отправлено AVSen , 24-Мрт-09 12:28 
>>А стили оформления есть или всё черно-белое? Если последнее, то значит темы
>>установлены не в ту директорию, где лежат сейчас отчеты или проблема
>>с правами на директорию с темами. Можете куда-нибудь выложить снимок экрана
>>страницы с графиками и сюда выложить ссылку на картинку?
>
>всё черно-белое

Спасибо, решил проблему.
оказывается забыл темы скопировать


"Floating point error"
Отправлено Роман , 26-Мрт-09 13:38 
Второй раз устанавливаю free-sa, но теперь уже на Ubuntu-server.
При запуске free-sa -d period получаю SUBJ. При этом в /www/free-sa папки создаются, но отсутствует index.html

Тогда вместо 1.5.1 установил 2.0.0b. Стала ругаться, что не может автоматически определить тип лога - у меня squid 2.7 (потому что в free-sa.conf от 1.5.1 это закомментировано: #"0", хотя и работало!) Раскомментировал - и SUBJ остался.

Еще такой нюанс: Ubuntu работает на ESX 3i 3.5. Прозрачный прокси работает...  


"Floating point error"
Отправлено saper , 26-Мрт-09 21:08 
>При запуске free-sa -d period получаю SUBJ. При этом в /www/free-sa папки
>создаются, но отсутствует index.html

Только index.html?

>Тогда вместо 1.5.1 установил 2.0.0b. Стала ругаться, что не может автоматически определить
>тип лога - у меня squid 2.7 (потому что в free-sa.conf
>от 1.5.1 это закомментировано: #"0", хотя и работало!) Раскомментировал - и
>SUBJ остался.

Free-SA 1.6.0 выдает ту же ошибку?

>Еще такой нюанс: Ubuntu работает на ESX 3i 3.5. Прозрачный прокси работает...

Покажите образец журнала (одну-две строки).


"Floating point error"
Отправлено Роман , 27-Мрт-09 11:54 
>Только index.html?

Да.

>Покажите образец журнала (одну-две строки).

А журнал-то был пуст :) Это у меня правила редиректа в iptables не загружены были. Все заработало! Спасибо.



"Free-SA - squid statistic analyzer"
Отправлено MaxJet , 24-Апр-09 22:27 
Планируете создание deb пакетов, если да то когда ожидать?

у меня Ubuntu 8.04, выдаёт следующее:
Installing directory: /usr/local/etc/free-sa
../SAinstall.sh: 52: let: not found

я новичек, в форуме не нашол подобного, помогите, очень хочется поюзать Free-SA


"Free-SA - squid statistic analyzer"
Отправлено MaxJet , 24-Апр-09 22:36 
Дополняю:
выполнил make
         make install
то что выше, на все директории, в общем многократно


"Free-SA - squid statistic analyzer"
Отправлено MaxJet , 24-Апр-09 23:50 
>Дополняю:
>выполнил make
>         make install
>то что выше, на все директории, в общем многократно

Выполнил:
root@maxjet-dut:/home/maxjet/free-sa-1.6.2# free-sa -v
Free-SA 1.6.2 (http://free-sa.sourceforge.net)
Copyright (C) 1997, 2006-2009 Oleg Sapon <xsov@mail.ru>
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This program comes with ABSOLUTELY NO WARRANTY.
This is free software, and you are welcome to redistribute it under certain conditions.
For details please read the file named COPYING.

Значит установилась, а почему тогда ругается? Ничего не понимаю...


"Free-SA - squid statistic analyzer"
Отправлено saper , 25-Апр-09 00:18 
>Планируете создание deb пакетов, если да то когда ожидать?

Кто то как то брался, но потом от него не было новостей.

>у меня Ubuntu 8.04, выдаёт следующее:
>Installing directory: /usr/local/etc/free-sa
>../SAinstall.sh: 52: let: not found
>я новичек, в форуме не нашол подобного, помогите, очень хочется поюзать Free-SA

Попробуйте выставить OSTYPE=altlinux-i586-gcc4 в global.mk перед сборкой и установкой.


"Free-SA - squid statistic analyzer"
Отправлено MaxJet , 25-Апр-09 19:27 
Вот что получается:

root@cat-gw:/home/master/free-sa-1.6.2# free-sa -f /etc/free-sa/free-sa.conf
SAERROR: [SAsystem] Can't execute /bin/sort.correct
SAERROR: [SAsystem] /bin/sort.correct returned 1

собрал с bin/sort.correct как предлогалось выше, скопировал из покета. ??



"Free-SA - squid statistic analyzer"
Отправлено keeper2k7 , 26-Апр-09 07:09 
Такой вопрос по free-sa. Есть шлюз, работает на ubuntu server. Крутится squid как прозрачный прокси, а весь остальной траффик который идет в обход squid'а фиксируется ipcad'ом и раз в 2 минуты сбрасывается в логи сквида.
Получается что то типо:
...
1240709821.000 1 192.168.0.46 TCP_MISS/200 3861 CONNECT 92.112.48.137:65535 - DIRECT/92.112.48.137 -
1240709821.000 1 192.168.0.110 TCP_MISS/200 981236 CONNECT 92.84.20.95:65535 - DIRECT/92.84.20.95 -
1240709821.000 1 192.168.0.110 TCP_MISS/200 80 CONNECT 82.162.77.50:65535 - DIRECT/82.162.77.50 -
1240709844.690    885 192.168.0.68 TCP_MISS/200 11420 GET http://love.sasisa.ru/my/edit_home.phtml?afolder=albums - DIRECT/194.67.27.125 text/html
1240709844.750     59 192.168.0.68 TCP_HIT/200 6129 GET http://62.105.135.100/images/default/default/mediahosting/st... - NONE/- text/css
1240709844.839     88 192.168.0.68 TCP_HIT/200 39697 GET http://62.105.135.100/images/default/default/js/Core.js - NONE/- application/x-javascript
...
Установил туда free-sa 1.6.1, работает вроде бы хорошо, но при прослушивании например радио или закачке через торрент в отчете вижу кучу одинаковых линков, например:
...
    38.111.6.175:65535    1    4М    
    38.111.6.175:65535    1    4М    
    89.121.213.102:65535    1    3М    
    89.121.213.102:65535    1    3М    
    89.121.213.102:65535    1    3М    
    89.121.213.102:65535    1    3М
...
На сколько понимаю он берет отдельные строчки и не суммирует траффик по ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам и не плодить миллион маленьких ссылок.

"Free-SA - squid statistic analyzer"
Отправлено saper , 26-Апр-09 11:06 
>[оверквотинг удален]
> 38.111.6.175:65535 1 4М
> 38.111.6.175:65535 1 4М
> 89.121.213.102:65535 1 3М
> 89.121.213.102:65535 1 3М
> 89.121.213.102:65535 1 3М
> 89.121.213.102:65535 1 3М
>...
>На сколько понимаю он берет отдельные строчки и не суммирует траффик по
>ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам
>и не плодить миллион маленьких ссылок.

А это какой отчет, там где короткие ссылки пользователя (т.е. тот отчет, который появляется когда сделали 1 клик по имени пользователя) или там где все ссылки для указанного сайта?


"Free-SA - squid statistic analyzer"
Отправлено keeper2k7 , 27-Апр-09 00:46 
>>На сколько понимаю он берет отдельные строчки и не суммирует траффик по
>>ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам
>>и не плодить миллион маленьких ссылок.
>
>А это какой отчет, там где короткие ссылки пользователя (т.е. тот отчет,
>который появляется когда сделали 1 клик по имени пользователя) или там
>где все ссылки для указанного сайта?

Да, это отчет пользователя. Отчет=>Пользователи=>Имя пользователя и там офигенный список


"Free-SA - squid statistic analyzer"
Отправлено saper , 27-Апр-09 01:47 
>Да, это отчет пользователя. Отчет=>Пользователи=>Имя пользователя и там офигенный список

Странно как то. Я попробовал ваши 2 строчки повторяющиеся с методом CONNECT и 1.6.2 сделала нормальный отчет (был один сайт в пользовательском отчете). Можете выложить screenshot отчета куда-нибудь?


"Free-SA - squid statistic analyzer"
Отправлено keeper2k7 , 27-Апр-09 11:27 
http://82.162.77.50/free-sa/. Расшарил доступ к этим отчетам чтобы вы могли наглядно это посмотреть. Зайдите в отчет пользователя keeper.vpes.local и вы увидите что там творится... уйма повторяющихся записей. Хотя и у других пользователей их хватает.

"Free-SA - squid statistic analyzer"
Отправлено saper , 27-Апр-09 11:51 
>http://82.162.77.50/free-sa/. Расшарил доступ к этим отчетам чтобы вы могли наглядно это посмотреть.
>Зайдите в отчет пользователя keeper.vpes.local и вы увидите что там творится...
>уйма повторяющихся записей. Хотя и у других пользователей их хватает.

Закрывайте доступ. Я посмотрел.


"Free-SA - squid statistic analyzer"
Отправлено saper , 27-Апр-09 12:14 
>http://82.162.77.50/free-sa/. Расшарил доступ к этим отчетам чтобы вы могли наглядно это посмотреть.
>Зайдите в отчет пользователя keeper.vpes.local и вы увидите что там творится...
>уйма повторяющихся записей. Хотя и у других пользователей их хватает.

Похоже сортировка не выполняется до конца. Попробуйте сделать так:
1. Скачать этот tar.gz архив http://www.slackware.at/data/slackware-12.2/slackware/a/core...
2. Скопируйте /bin/sort из архива к себе в /bin/sort.correct.
3. Запустите этот /bin/sort.correct. Тут эта команда должна "зависнуть", это хорошо - значит бинарник работает.
4. В исходниках Free-SA 1.6.2 зайдите в /configs и исправьте переменную SORT на /bin/sort.correct.
5. make install можно не делать, т.к. у вас уже стоит Free-SA 1.6.2, просто запустите free-sa из free-sa-1.6.2/src/free-sa.

Если всё выше поможет - обязательно отпишите сюда с версией вашего Ubuntu server.


"Free-SA - squid statistic analyzer"
Отправлено saper , 27-Апр-09 12:17 
>Похоже сортировка не выполняется до конца. Попробуйте сделать так:
>1. Скачать этот tar.gz архив http://www.slackware.at/data/slackware-12.2/slackware/a/core...
>2. Скопируйте /bin/sort из архива к себе в /bin/sort.correct.
>3. Запустите этот /bin/sort.correct. Тут эта команда должна "зависнуть", это хорошо -
>значит бинарник работает.
>4. В исходниках Free-SA 1.6.2 зайдите в /configs и исправьте переменную SORT
>на /bin/sort.correct.
>5. make install можно не делать, т.к. у вас уже стоит Free-SA
>1.6.2, просто запустите free-sa из free-sa-1.6.2/src/free-sa.

Естественно, между 4 и 5 нужно сделать make в директории free-sa-1.6.2/src (этого будет достаточно). В п.4 исправлять нужно тот файл с расширением .mk, который вы обычно выбираете в global.mk через OSTYPE. Не забудьте отписать о результатах.


"Free-SA - squid statistic analyzer"
Отправлено keeper2k7 , 28-Апр-09 00:57 
>[оверквотинг удален]
>2. Скопируйте /bin/sort из архива к себе в /bin/sort.correct.
>3. Запустите этот /bin/sort.correct. Тут эта команда должна "зависнуть", это хорошо -
>значит бинарник работает.
>4. В исходниках Free-SA 1.6.2 зайдите в /configs и исправьте переменную SORT
>на /bin/sort.correct.
>5. make install можно не делать, т.к. у вас уже стоит Free-SA
>1.6.2, просто запустите free-sa из free-sa-1.6.2/src/free-sa.
>
>Если всё выше поможет - обязательно отпишите сюда с версией вашего Ubuntu
>server.

Последний Ubuntu Server. Версия 9.04. Локаль UTF8. Подмена на sort.correct не дала результата. Повторения до сих пор присутствуют. И еще вопрос в догонку. Как сделать чтобы free-sa сохранял статистику по дням? Выполняется команда - /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf -d $D-$D (/usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf имеет такой же результат) и при наступлении нового дня отчет за предыдущий день куда-то бесследно пропадает(( Пробовал overwrite 1 и 2, а хотелось бы иметь отчеты за каждые сутки а потом за месяц, И при этом генерировать из каждых 20 минут например, чтобы не пропадали в небытиё.


"Free-SA - squid statistic analyzer"
Отправлено saper , 28-Апр-09 01:42 
>Последний Ubuntu Server. Версия 9.04. Локаль UTF8. Подмена на sort.correct не дала
>результата. Повторения до сих пор присутствуют.

Попробуйте с локалью ru_RU.KOI8-R, если ошибка уйдет, то отпишите обязательно.

>Как сделать чтобы free-sa сохранял статистику по дням? Выполняется команда -
>/usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf -d $D-$D (/usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf имеет такой же
>результат) и при наступлении нового дня отчет за предыдущий день куда-то
>бесследно пропадает(( Пробовал overwrite 1 и 2, а хотелось бы иметь
>отчеты за каждые сутки а потом за месяц, И при этом
>генерировать из каждых 20 минут например, чтобы не пропадали в небытиё.

То есть вы хотите иметь отчеты по дням и месяцам. При этом отчеты по последнему дню хотите генерировать каждые 20 минут, чтобы на текущий день иметь последнюю статистику. Так?

Если так, то overwrite="1".


"Free-SA - squid statistic analyzer"
Отправлено keeper2k7 , 28-Апр-09 02:59 
>[оверквотинг удален]
>>результат) и при наступлении нового дня отчет за предыдущий день куда-то
>>бесследно пропадает(( Пробовал overwrite 1 и 2, а хотелось бы иметь
>>отчеты за каждые сутки а потом за месяц, И при этом
>>генерировать из каждых 20 минут например, чтобы не пропадали в небытиё.
>
>То есть вы хотите иметь отчеты по дням и месяцам. При этом
>отчеты по последнему дню хотите генерировать каждые 20 минут, чтобы на
>текущий день иметь последнюю статистику. Так?
>
>Если так, то overwrite="1".

Не помогает. Если у вас есть аська, то постучитесь 2 1 9 0 0 8 7 3 8. Так быстрее удасться разобраться в чем дело



"Free-SA - squid statistic analyzer"
Отправлено keeper2k7 , 28-Апр-09 03:53 
>[оверквотинг удален]
>>
>>То есть вы хотите иметь отчеты по дням и месяцам. При этом
>>отчеты по последнему дню хотите генерировать каждые 20 минут, чтобы на
>>текущий день иметь последнюю статистику. Так?
>>
>>Если так, то overwrite="1".
>
>Не помогает. Если у вас есть аська, то постучитесь 2 1 9
>0 0 8 7 3 8. Так быстрее удасться разобраться в
>чем дело

Могу предоставить весь файл access.log для анализа. При обработке которого собственно и получаются повторяющиеся строки...


"Free-SA - squid statistic analyzer"
Отправлено saper , 28-Апр-09 04:14 
>Могу предоставить весь файл access.log для анализа. При обработке которого собственно и
>получаются повторяющиеся строки...

Да, пожалуй этого достаточно, даже слишком. Vmware образ Ubuntu 9.04 (правда desktop) я уже выкачал.

Чтобы мегабайтами интернет на засорять, попробуйте сделать журнал поменьше, на котором эта ошибка себя проявляет. Можно даже так:
# cat access.log|grep CONNECT > access-test.log
# free-sa -l access-test.log

Если после последней команды в хотя бы в одном пользовательском отчете будут опять чередования одинаковых сайтов, то присылайте такой обрезанный access-test.log, только не забудьте пожать bzip2 -9 :)


"Free-SA - squid statistic analyzer"
Отправлено keeper2k7 , 28-Апр-09 07:00 
>[оверквотинг удален]
>я уже выкачал.
>
>Чтобы мегабайтами интернет на засорять, попробуйте сделать журнал поменьше, на котором эта
>ошибка себя проявляет. Можно даже так:
># cat access.log|grep CONNECT > access-test.log
># free-sa -l access-test.log
>
>Если после последней команды в хотя бы в одном пользовательском отчете будут
>опять чередования одинаковых сайтов, то присылайте такой обрезанный access-test.log, только не
>забудьте пожать bzip2 -9 :)

Чередуются... http://rapidshare.com/files/226573004/access-test.log.bz2.html


"Free-SA - squid statistic analyzer"
Отправлено saper , 28-Апр-09 14:40 
>Чередуются... http://rapidshare.com/files/226573004/access-test.log.bz2.html

Ошибку признаю. Временное решение: заменить "7,7d" в r_users.c на "5,7d". Это решение не окончательное, так как с таким исправлением ftp://www.site.com и http://www.site.com станут разными сайтами, то есть будет 2 строки в пользовательском отчете.


"Free-SA - squid statistic analyzer"
Отправлено keeper2k7 , 29-Апр-09 01:34 
>>Чередуются... http://rapidshare.com/files/226573004/access-test.log.bz2.html
>
>Ошибку признаю. Временное решение: заменить "7,7d" в r_users.c на "5,7d". Это решение
>не окончательное, так как с таким исправлением ftp://www.site.com и http://www.site.com станут
>разными сайтами, то есть будет 2 строки в пользовательском отчете.

Это хорошо что помог найти баг... Но у меня еще одна проблема... overwrite=1 не работает, отчеты за предыдущий день все равно пропадают, по крайней мере из списка в индексном файле. Остается только текущий день. отчеты генерируются каждые */20 минут. В чем может быть проблема?


"Free-SA - squid statistic analyzer"
Отправлено keeper2k7 , 27-Апр-09 01:01 
>>На сколько понимаю он берет отдельные строчки и не суммирует траффик по
>>ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам
>>и не плодить миллион маленьких ссылок.
>
>А это какой отчет, там где короткие ссылки пользователя (т.е. тот отчет,
>который появляется когда сделали 1 клик по имени пользователя) или там
>где все ссылки для указанного сайта?

Да, это отчет пользователя. Отчет=>Пользователи=>Имя пользователя и там офигенный список


"Free-SA - squid statistic analyzer"
Отправлено keeper2k7 , 01-Май-09 01:43 
>>>На сколько понимаю он берет отдельные строчки и не суммирует траффик по
>>>ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам
>>>и не плодить миллион маленьких ссылок.
>>
>>А это какой отчет, там где короткие ссылки пользователя (т.е. тот отчет,
>>который появляется когда сделали 1 клик по имени пользователя) или там
>>где все ссылки для указанного сайта?
>
>Да, это отчет пользователя. Отчет=>Пользователи=>Имя пользователя и там офигенный список

Еще по поводу генерации отчета на каждый день с overwrite=1... Не генерирует, за предыдущие сутки отчета нет в списке. Файл access.log не ротируется


"Free-SA - squid statistic analyzer"
Отправлено saper , 26-Апр-09 11:03 
>Вот что получается:
>root@cat-gw:/home/master/free-sa-1.6.2# free-sa -f /etc/free-sa/free-sa.conf
>SAERROR: [SAsystem] Can't execute /bin/sort.correct
>SAERROR: [SAsystem] /bin/sort.correct returned 1
>собрал с bin/sort.correct как предлогалось выше, скопировал из покета. ??

Файл /bin/sort.correct должен быть, похоже его нет. Посмотрите есть ли он в /bin.

А вы с родным sort пробовали или в Ubuntu он тоже зависает? Вроде беда с sort только у RedHat* систем...


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено mnk , 17-Июн-09 09:23 
Поставил 1.6.2. Если запускать от root в консоли, то права на все файлы в WEB директории 600. После этого приходится делать
chown -R apache /var/www/html/free-sa
Можно сделать, что бы файлы создавались с правами 644?

"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 17-Июн-09 10:19 
>Поставил 1.6.2. Если запускать от root в консоли, то права на все
>файлы в WEB директории 600. После этого приходится делать
>chown -R apache /var/www/html/free-sa
>Можно сделать, что бы файлы создавались с правами 644?

Самый простой, штатный и стандартный вариант: перед запуском free-sa выполнить umask 0022


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено cyberelk , 13-Июл-09 19:23 
Добрый день подскажите в чем может быть проблема, использую AltLinux Server + squid + free-SA 1.3.3 при задании любого из диапазонов чисел месяца, строится отчет непосредственно за сегодня, без каких-либо доп. сообщений, в отчетном каталоге создается папка типа 13.07.2009-13.07.2009-1 и все, в ней статистика за сегодня хотя задавал диапазон за последние 5 дней как в виде: #free-sa -d 07/08/09-13/08/09 так и подобным образом: #free-sa -d 07/08/09-

free-sa.conf:

#########
# FILES #
#########
log="/var/log/squid/access.log"
usertab="/etc/free-sa/users"
downloads="/etc/free-sa/downloads.sample"
#global_filter=""


###############
# DIRECTORIES #
###############
targetdir="/var/www/html/free-sa"
tmpdir="/var/cache/free-sa"


#####################
# REPORTS SELECTION #
#####################
ts="true"
paf="true"
saf="true"
pdn="true"
sdn="true"
cct="true"
pst="true"
dld="true"
fullurl="true"
users="true"
#email=""


##################
# REPORTS LIMITS #
##################
paf_limit="50"
saf_limit="50"
pdn_limit="50"
sdn_limit="50"
cct_limit="50"
pst_limit="50"
dld_limit="50"
url_limit="50"
rtr_timeout="5000"


####################
# OTHER PARAMETERS #
####################
name="free-sa.report"
#autorecords="5"
logformat="0"
fulltraffic="true"
inameuser="true"
indicators="true"
overwrite="2"
#resolveip="false"
showinfo="true"
#site=""
#logo=""
locale="ru_RU.UTF8"
rotate="month"
#divisor="b"


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено cyberelk , 13-Июл-09 19:26 
Ремарка ибо диапазон задавал правильно опечатался постом выше.
>#free-sa -d 07/08/09-07/13/09 так и подобным образом: #free-sa -d 07/08/09-

"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 13-Июл-09 21:44 
>Ремарка ибо диапазон задавал правильно опечатался постом выше.
>>#free-sa -d 07/08/09-07/13/09 так и подобным образом: #free-sa -d 07/08/09-

Наверное уже можно обновиться до 1.6.x или даже 2.0.0b2 (только DEBUG=0 в global.mk для этой версии поставьте).

Даты нужно задавать в формате, который выводит команда date +%x прямо перед запуском Free-SA. Если эта команда выдаст 08.07.2009, то даты нужно указывать именно так.

И еще мне кажется, что у вас журналы Squid-а ротируются каждый день, посмотрите даты в начале и конце журнала командами head и tail. Даты будут в первой колонке каждой строки в Unix формате (кол-во секунд с 1970), сконвертировать можно даже online через web-сайт.


"заCATеные логи... корректно-ли считает?"
Отправлено shraibikus , 23-Авг-09 01:06 
У меня на серванте логи от ipcad catятся в access.log squid'a. После этого оно считается.
Но тут, при создании так-ой-же схемы на другой конторе, столкнулся с такой ботвой.
Вобщем там уже давным-давно стоял и работал squid но ничем не считался.
Решил я их трафик посчитать и разжал старые логи в сCATив их в один файл. Но сделал это задом наперед, т.е. от нового к старому.
После этого, я сделал
free-sa -l /home/user/access/access.log -d 08/01/09-08/31/09 -s
и он мне сказал вот так:
Log file information:
File name: /home/user/access/access.log
File size: 61521238
Start date and time: 09.08.2009 09:01:36
End date and time: 01.08.2009 04:03:24

Гм... непонятно. Как так, дата конца меньше даты начала...

Причем такой-же период в итоге показывает в списке выбора периода.
А вообще-то лог по 20 число этого месяца, причем в детализации-то видно, что посчитало ВООБЩЕ по 20-ое.

Внимание вопрос.

А правильно-ли CATить файлы логов без соблюдения последовательности дат?
(Ведь ipcad у меня пишет отдельно, а squid отдельно - в итоге, когда эти два лога объеденяются, получается непоследовательность в датах).

И как быть?


"заCATеные логи... корректно-ли считает?"
Отправлено saper , 23-Авг-09 01:28 
>[оверквотинг удален]
>File name: /home/user/access/access.log
>File size: 61521238
>Start date and time: 09.08.2009 09:01:36
>End date and time: 01.08.2009 04:03:24
>
>Гм... непонятно. Как так, дата конца меньше даты начала...
>
>Причем такой-же период в итоге показывает в списке выбора периода.
>А вообще-то лог по 20 число этого месяца, причем в детализации-то видно,
>что посчитало ВООБЩЕ по 20-ое.

Новая версия будет вылетать с ошибкой в такой ситуации.

>А правильно-ли CATить файлы логов без соблюдения последовательности дат?
>(Ведь ipcad у меня пишет отдельно, а squid отдельно - в итоге,
>когда эти два лога объеденяются, получается непоследовательность в датах).

Неправильно. Рекомендую делать sort -k 1,1n на файл после слияния. Можно даже делать mkfifo /tmp/mycombined
sort -k 1,1n -m <список всех файлов журналов> > /tmp/mycombined &

Посмотрите FAQ, там описан случай с несколькими файлами, правда там без sort, так как заранее рекомендуется файлы подавать на cat в порядке их дат. Вот тут патчик на последнюю версию, с улучшениями при работе с FIFO и необработкой файлов, у которых даты задом наперед: https://sourceforge.net/tracker/download.php?group_id=191513...


"заCATеные логи... корректно-ли считает?"
Отправлено shraibikus , 24-Авг-09 16:00 
saper, спасибо.
Правда sort -k 1,1n -m <список всех файлов журналов> > /tmp/mycombined
у меня не вышел, т.к. не получается делать вывод в FIFO, если указывать -o - тоже получаем ошибку.
Но при работе со стандартными файлами, все получилось.

З.Ы. дистриб, на всякий случай: Linux [censored] 2.6.18-std-smp-alt12 #1 SMP Mon Feb 11 00:44:54 MSK 2008 i686 GNU/Linux



"заCATеные логи... корректно-ли считает?"
Отправлено saper , 24-Авг-09 16:16 
>saper, спасибо.
>Правда sort -k 1,1n -m <список всех файлов журналов> > /tmp/mycombined
>у меня не вышел, т.к. не получается делать вывод в FIFO, если
>указывать -o - тоже получаем ошибку.
>Но при работе со стандартными файлами, все получилось.
>
>З.Ы. дистриб, на всякий случай: Linux [censored] 2.6.18-std-smp-alt12 #1 SMP Mon Feb
>11 00:44:54 MSK 2008 i686 GNU/Linux

Может быть с sort в дистрибутиве намудрили что то. У меня такая команда работает корректно. Может отпишитесь, какая ошибка выдается при sort -k 1,1n -m <список> > /tmp/myfifo
?


"заCATеные логи... корректно-ли считает?"
Отправлено shraibikus , 24-Авг-09 16:36 
>Может быть с sort в дистрибутиве намудрили что то. У меня такая команда работает >корректно. Может отпишитесь, какая ошибка выдается при sort -k 1,1n -m <список> > >/tmp/myfifo
>?

Если делаем так
mkfifo /tmp/myfifo
sort -k 1,1n -m /usr/local/etc/squid.log /usr/local/etc/ipcad.log > /tmp/myfifo
в том-то и дело, что ни о каких ошибках не сообщает, процесс просто становится безконечным.
Причем, что через >/tmp/myfifo, что через параметр -o/tmp/myfifo
Если-же сделать без mkfifo /tmp/myfifo то все работает на ура (т.е. с регулярным файлом эта-же команда работает).
А в бэкраунде, я не думаю, что будет работать лучше, т.к. после того как сложили два файла нужно в скрипте по крону запускать free-sa.



"заCATеные логи... корректно-ли считает?"
Отправлено saper , 24-Авг-09 16:45 
>Если делаем так
>mkfifo /tmp/myfifo
>sort -k 1,1n -m /usr/local/etc/squid.log /usr/local/etc/ipcad.log > /tmp/myfifo
>в том-то и дело, что ни о каких ошибках не сообщает, процесс
>просто становится безконечным.

Все правильно, он и должен "зависнуть", потому что FIFO так устроен (он не пишет результат на диск и в память его не помещает, он ждет, когда из файла начнут читать). Как только эта команда "зависнет", так сразу делаете free-sa -l /tmp/myfifo в другой консоли и будет вам отчет. Если будете использовать 2.0.0b2 с патчем, который я привел выше, то free-sa будет корректно отрабатывать опцию -d с FIFO файлом в качестве журнала.

Если не нравится, что команда sort "зависает", то в конце строки с sort наберите &


"опять Segmentation fault"
Отправлено Константин , 01-Сен-09 10:52 
FreeBSD 7.0-RELEASE-p11
Free-SA 1.6.0
отчет /usr/local/bin/free-sa -d 01.05.2009-31.05.2009
формируется отлично

а вот /usr/local/bin/free-sa -d 01.06.2009-30.06.2009
Segmentation fault (core dumped)


"опять Segmentation fault"
Отправлено saper , 01-Сен-09 12:22 
>FreeBSD 7.0-RELEASE-p11
>Free-SA 1.6.0
>отчет /usr/local/bin/free-sa -d 01.05.2009-31.05.2009
>формируется отлично
>
>а вот /usr/local/bin/free-sa -d 01.06.2009-30.06.2009
>Segmentation fault (core dumped)

У вас 64 бита платформа? Можете попробовать 2.0.0b2 с патчем https://sourceforge.net/tracker/download.php?group_id=191513... ?


"опять Segmentation fault"
Отправлено Константин , 01-Сен-09 13:45 
>>FreeBSD 7.0-RELEASE-p11
>>Free-SA 1.6.0
>>отчет /usr/local/bin/free-sa -d 01.05.2009-31.05.2009
>>формируется отлично
>>
>>а вот /usr/local/bin/free-sa -d 01.06.2009-30.06.2009
>>Segmentation fault (core dumped)
>
>У вас 64 бита платформа? Можете попробовать 2.0.0b2 с патчем https://sourceforge.net/tracker/download.php?group_id=191513... ?
>

платформа 32 бита
на 2.0.0b2 не пробовал еще


вычислил строку на которой валится free-sa
1244430990.999    454 192.168.2.70 TCP_DENIED/403 1374 CONNECT sb-ssl.google.com:443  username NONE/- text/html

вероятно из-за   перед именем пользователя.

может есть вариант обойти ошибку в 1.6.0?


"опять Segmentation fault"
Отправлено Константин , 01-Сен-09 13:52 
пытался код пробела (% 20) вставить в предыдущий пост..
1244430990.999    454 192.168.2.70 TCP_DENIED/403 1374 CONNECT sb-ssl.google.com:443 % 20username NONE/- text/html

в общем в строке лога перед username код пробела почему-то...
вероятно из-за этого валится free-sa.


"опять Segmentation fault"
Отправлено saper , 01-Сен-09 15:06 
>пытался код пробела (% 20) вставить в предыдущий пост..
>1244430990.999    454 192.168.2.70 TCP_DENIED/403 1374 CONNECT sb-ssl.google.com:443 % 20username
>NONE/- text/html
>
>в общем в строке лога перед username код пробела почему-то...
>вероятно из-за этого валится free-sa.

Ошибку вижу, у меня воспроизводится (правда с floating point exception), буду разбираться. Спасибо за сообщение о ней. Сразу скажу, что двух пробелов быть не должно, это похоже на проблему внутри Squid, но Free-SA не должна падать от таких ошибок. Поэтому как минимум падения Free-SA исправлю.


"опять Segmentation fault"
Отправлено Константин , 01-Сен-09 15:12 
>Ошибку вижу, у меня воспроизводится (правда с floating point exception), буду разбираться.

у меня если в конфиге user_unescape="1" тогда Segmentation fault
если в конфиге user_unescape="0" тогда floating point exception

есть ли смысл ставить 2.0.0b5? или там тоже самое будет


"опять Segmentation fault"
Отправлено saper , 01-Сен-09 15:16 
>>Ошибку вижу, у меня воспроизводится (правда с floating point exception), буду разбираться.
>
>у меня если в конфиге user_unescape="1" тогда Segmentation fault
>если в конфиге user_unescape="0" тогда floating point exception
>
>есть ли смысл ставить 2.0.0b5? или там тоже самое будет

Думаю там будет тоже самое. Спасибо за наводку на место ошибки.


"опять Segmentation fault"
Отправлено saper , 01-Сен-09 15:17 
>есть ли смысл ставить 2.0.0b5? или там тоже самое будет

Там тоже самое с floating point exception.


"опять Segmentation fault"
Отправлено Константин , 01-Сен-09 15:19 
>>есть ли смысл ставить 2.0.0b5? или там тоже самое будет
>
>Там тоже самое с floating point exception.

тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.


"опять Segmentation fault"
Отправлено saper , 01-Сен-09 15:49 
>тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.

Ok, но 2.0.0b2 бояться тоже не стоит.


"опять Segmentation fault"
Отправлено Константин , 10-Сен-09 08:17 
>>тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.
>
>Ok, но 2.0.0b2 бояться тоже не стоит.

а патчик ждать тут, или на http://sourceforge.net/projects/free-sa/ ?


"опять Segmentation fault"
Отправлено saper , 10-Сен-09 19:35 
>>>тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.
>>
>>Ok, но 2.0.0b2 бояться тоже не стоит.
>
>а патчик ждать тут, или на http://sourceforge.net/projects/free-sa/ ?

Я написал патч для 2.0.0b2 для устарнения Segmentation fault со строкой приведенной выше, но последующие игры с unescape не принесли результатов.


"заCATеные логи... корректно-ли считает?"
Отправлено shraibikus , 01-Сен-09 13:18 
>[оверквотинг удален]
>Все правильно, он и должен "зависнуть", потому что FIFO так устроен (он
>не пишет результат на диск и в память его не помещает,
>он ждет, когда из файла начнут читать). Как только эта команда
>"зависнет", так сразу делаете free-sa -l /tmp/myfifo в другой консоли и
>будет вам отчет. Если будете использовать 2.0.0b2 с патчем, который я
>привел выше, то free-sa будет корректно отрабатывать опцию -d с FIFO
>файлом в качестве журнала.
>
>Если не нравится, что команда sort "зависает", то в конце строки с
>sort наберите &

может быть я не прав, но мне классика файловая приглянулась больше, кроме того такие собранные логи я храню (на всякий случай, т.к. удаляю те из которых собираю), а с FIFO, как я понял это было-бы не реально.


"заCATеные логи... корректно-ли считает?"
Отправлено saper , 01-Сен-09 14:38 
>может быть я не прав, но мне классика файловая приглянулась больше, кроме
>того такие собранные логи я храню (на всякий случай, т.к. удаляю
>те из которых собираю), а с FIFO, как я понял это
>было-бы не реально.

Я не совсем понял ваш ответ, но ... FIFO - это не хранилище данных, это всего лишь канал их передачи. Если вы храните файлы в сжатом виде, то для создания FIFO вместо cat нужно использовать zcat (для .gz) или bzcat (для .bz2).


"заCATеные логи... корректно-ли считает?"
Отправлено shraibikus , 01-Сен-09 15:52 
>>может быть я не прав, но мне классика файловая приглянулась больше, кроме
>>того такие собранные логи я храню (на всякий случай, т.к. удаляю
>>те из которых собираю), а с FIFO, как я понял это
>>было-бы не реально.
>
>Я не совсем понял ваш ответ, но ... FIFO - это не
>хранилище данных, это всего лишь канал их передачи. Если вы храните
>файлы в сжатом виде, то для создания FIFO вместо cat нужно
>использовать zcat (для .gz) или bzcat (для .bz2).

Да, спасибо. Мне как раз нужно хранить данные =)
Еще раз попытаюсь объяснить топологию своих логов.
Сервер ALT-Linux 4.0 Office Server. Его-же штатный squid + ipcad.
IPCAD раз в 10 минут сбрасывает логи по cron'у в squid-формат.
Затем я лог сквида и лог ipcad'а раз в час свожу вместе (по примерно Вашей технологии через sort, только не в FIFO, а в обычный файл).
Исходники сведенных логов удаляю, что-бы их не было (зачем лишний груз).
После этих операций провожу free-sa -d XX.XX.XX-XX.XX.XX
И раз в сутки делаю примерно вот так:
MMM=$(date +*.%m.%Y)
yesterday=$(date --date "1 day ago" +%d.%m.%Y)
dirs=$ls( -d /var/www/apache2/html/$MMM-$yesterday*)
rm -r -d -f $dirs
/usr/local/bin/free-sa -F

Получается все.


"заCATеные логи... корректно-ли считает?"
Отправлено saper , 01-Сен-09 18:55 
>[оверквотинг удален]
>Исходники сведенных логов удаляю, что-бы их не было (зачем лишний груз).
>После этих операций провожу free-sa -d XX.XX.XX-XX.XX.XX
>И раз в сутки делаю примерно вот так:
>MMM=$(date +*.%m.%Y)
>yesterday=$(date --date "1 day ago" +%d.%m.%Y)
>dirs=$ls( -d /var/www/apache2/html/$MMM-$yesterday*)
>rm -r -d -f $dirs
>/usr/local/bin/free-sa -F
>
>Получается все.

Спасибо. Ок тогда.


"Free-SA - squid statistic analyzer"
Отправлено andrey , 17-Сен-09 10:50 
Скачал версию 2.0.0.b2.У меня ASPLinux Server V надо ли мне в файле global.mk что-то раскомментровать?
Попробовал раскомментировать RedHat но при компиляции полезли ошибки. По дефолту прошло но при запуске free-sa на консоли выводятся  сообщения [SADEBUG] .....  куча строк. так и должно быть?. Я еще новичок в этом деле. Может что-то не так делаю. И еще вопрос как убрать программу - rpm не видит её.

"Free-SA - squid statistic analyzer"
Отправлено saper , 20-Сен-09 17:53 
>Скачал версию 2.0.0.b2.У меня ASPLinux Server V надо ли мне в файле
>global.mk что-то раскомментровать?

В принципе стоит выбрать что то похожее на вашу систему. Если сделаете правильный файл для ASPLinux, то включу его со следующей версии.

>Попробовал раскомментировать RedHat но при компиляции полезли ошибки. По дефолту прошло но при запуске free-sa на консоли выводятся  сообщения [SADEBUG] .....  
>куча строк. так и должно быть?.

Отладку можно отключить выставив DEBUG = 0 в global.mk

> И еще вопрос как убрать программу - rpm не видит её.

К сожалению пока только вручную.


"Free-SA - squid statistic analyzer"
Отправлено andrey , 18-Сен-09 06:11 
После долгих экспериментов я обнаружил очень интересную особенность. Итак
1.
  -Распаковываем архив
  -запускаем MAKE install
  -после запускаем free-sa
  -получаем "Can't execute /bin/sort"
2.
  -Распаковываем архив
  -входим в global.mk
  -комментируем строчку generic-any-cc
  -раскомментируем строчку redhat-native-gcc4
  -запускаем MAKE
  -появляется ошибка компиляции
  -входим в global.mk
  -меняем комментарии назад (коменнтируем redhat- native-gcc4 и раскомментируем generic-any-cc)
  -запускаем MAKE INSTALL
  -запускаем free-sa
ВСЕ работае во как

"Free-SA - squid statistic analyzer"
Отправлено saper , 20-Сен-09 17:54 
>После долгих экспериментов я обнаружил очень интересную особенность. Итак ...
>ВСЕ работае во как

Такое может быть, если при вы делали не совсем корректно make или make install (в разных директориях).


"Free-SA - squid statistic analyzer"
Отправлено andrey , 21-Сен-09 06:20 
можно по шагам что я делаю неправильно (система ASPLinux Server V)
1.с помощью МС копирую каталог в /root (мой дом. каталог)
2.исправляю в файле global.mk DEBUG=0 и сохраняю
3.запускаю MAKE INSTALL
4.создаю /usr/local/etc/free-sa/free-sa.conf из free-sa.samples
И...не работает
  "can't excecute /usr/bin/sort"
  "/usr/bin/sort returned 1"

"Free-SA - squid statistic analyzer"
Отправлено saper , 21-Сен-09 10:32 
>можно по шагам что я делаю неправильно (система ASPLinux Server V)
>1.с помощью МС копирую каталог в /root (мой дом. каталог)
>2.исправляю в файле global.mk DEBUG=0 и сохраняю

2,5. Тут лучше выбрать профиль, наиболее близкий к вашей системе.

>3.запускаю MAKE INSTALL
>4.создаю /usr/local/etc/free-sa/free-sa.conf из free-sa.samples
>И...не работает
>  "can't excecute /usr/bin/sort"
>  "/usr/bin/sort returned 1"

В принципе с такой ошибкой самый простой рецепт - это "ln -s /bin/sort /usr/bin/sort".


"Free-SA - squid statistic analyzer"
Отправлено andrey , 21-Сен-09 06:55 
1.Нашел у меня в каталоге /usr/bin нет sort
он находится в /bin
2. Интересно у меня на работе PIII SMP 2 проца при изменении в global.mk на redHat при компиляции выдается ошибка а дома старенький Athlon там проходи все ок система одна и та же ASPLinux SERVER V но как я понимаю это 100% русифицированный RedHat/ Интересня ситуация.
3. И иногда при инсталяции программа меняет каталоги т.е. иногда прописывается в /etc/free-sa иногда /usr/local/etc/free-sa с чем это связано или это зависит от настроек global.mk

"Free-SA - squid statistic analyzer"
Отправлено saper , 21-Сен-09 10:31 
>1.Нашел у меня в каталоге /usr/bin нет sort
>он находится в /bin

Поэтому в профиле redhat-native-gcc4 прописан /bin/sort

>2. Интересно у меня на работе PIII SMP 2 проца при изменении
>в global.mk на redHat при компиляции выдается ошибка а дома старенький
>Athlon там проходи все ок система одна и та же ASPLinux
>SERVER V но как я понимаю это 100% русифицированный RedHat/ Интересня
>ситуация.

Возможно ошибки возникают на одной машине из-за того, что на ней не установлены последние патчи от ASPLinux.

>3. И иногда при инсталяции программа меняет каталоги т.е. иногда прописывается в
>/etc/free-sa иногда /usr/local/etc/free-sa с чем это связано или это зависит от
>настроек global.mk

Директории, куда ставится программа выбираются согласно информации в профиле операционной системы (OSTYPE).


"Free-SA - squid statistic analyzer"
Отправлено andrey , 23-Сен-09 03:37 
Спасибо сейчас все работает.
В том то и дело что на рабочем и домашнем компьютере установка идет с одного и того же диска. Пока я работаю в тестовом режиме (устанавливаю переустанавливаю) и обновлений с инета не качаю.
Пока до конца не разобрался со структурой config файла
в man описана в основном командная строка free-sa  

"Free-SA - squid statistic analyzer"
Отправлено saper , 23-Сен-09 07:47 
>Пока до конца не разобрался со структурой config файла
>в man описана в основном командная строка free-sa

Посмотрите man free-sa.conf :)


"Free-SA - squid statistic analyzer"
Отправлено andrey , 23-Сен-09 04:09 
Еще один вопрос. Извините я только начинаю а как мне увидеть статистику не с консоли а с удаленного компа. HTTPd я поднял и при наборе в строке IE http://192.1681.1.1 вроде выводится страница а дальше я не знаю. сформированные файлы сохраняются в /usr/local/var/www/htdocs/free-sa

"Free-SA - squid statistic analyzer"
Отправлено andrey , 23-Сен-09 04:45 
разобрался путь сервера на /var/www/html. Перенес туда и все. Начал анализировать и обнаружил что в группе Downloads неправильно показан объем скачанного файла. Я знаю что файл был рамером 49907454 байт (показал DM) в группе Downloads указывает на этот файл размер 650251 байт а в группе Пользователи с этого же адреса 49929352 байт.

"Free-SA - squid statistic analyzer"
Отправлено saper , 23-Сен-09 07:48 
>разобрался путь сервера на /var/www/html. Перенес туда и все. Начал анализировать и
>обнаружил что в группе Downloads неправильно показан объем скачанного файла. Я
>знаю что файл был рамером 49907454 байт (показал DM) в группе
>Downloads указывает на этот файл размер 650251 байт а в группе
>Пользователи с этого же адреса 49929352 байт.

В downloads попадают только файлы с определенными расширениями. Сделайте детальные отчеты и сравните ссылки в Downloads и в пользовательском отчете.


"Free-SA - squid statistic analyzer"
Отправлено doctor , 24-Сен-09 15:59 
Ubuntu 8.04 server
free-sa 2.0.0b
инсталлировалась нормально (после раскоммент ostype = altlinux...)
Но!
При просмотре нет цветных полосок, которые задаются в html файле через class=c2 (c3 ... )
А если прописать как в старой версии ( class=pdn (sdn ... )), то все ОК!
Не выключается дебаггер, хотя я перетранслировал с DEBUG 0
Какие соображения?


"Free-SA - squid statistic analyzer"
Отправлено doctor , 24-Сен-09 16:54 
Прошу прощения, с первой частью разобрался (free-sa.cgi старый затесался!)
но с дебаггером пока вопрос. При анализе логфайла выдает SADEBUG [w_config.c 235] этак строчек 40. Оно, конечно, на результат не влияет (?), но ...
Или это не дебаггер?
Хотя free-sa -V дает дебаг левел 1



"Free-SA - squid statistic analyzer"
Отправлено saper , 24-Сен-09 21:36 
>Прошу прощения, с первой частью разобрался (free-sa.cgi старый затесался!)
>но с дебаггером пока вопрос. При анализе логфайла выдает SADEBUG [w_config.c 235]
>этак строчек 40. Оно, конечно, на результат не влияет (?), но
>...
>Или это не дебаггер?
>Хотя free-sa -V дает дебаг левел 1

Простите, забыл выключить эту опцию перед релизом. Установите DEBUG = 0 в global.mk и пересоберите Free-SA, только через make clean && make в free-sa-2.0.0b2 директории, не в src. Потом можете только 2 бинарника free-sa и free-sa.cgi заменить.


"Free-SA - squid statistic analyzer"
Отправлено doctor , 25-Сен-09 10:47 
>Простите, забыл выключить эту опцию перед релизом. Установите DEBUG = 0 в
>global.mk и пересоберите Free-SA, только через make clean && make в
>free-sa-2.0.0b2 директории, не в src. Потом можете только 2 бинарника free-sa
>и free-sa.cgi заменить.

Не получается.
И debug=0 поставил, и пересобрал (размер exe-шников уменьшился),и скопировал куда надо,  а результат прежний.



"Free-SA - squid statistic analyzer"
Отправлено saper , 25-Сен-09 11:47 
>>Простите, забыл выключить эту опцию перед релизом. Установите DEBUG = 0 в
>>global.mk и пересоберите Free-SA, только через make clean && make в
>>free-sa-2.0.0b2 директории, не в src. Потом можете только 2 бинарника free-sa
>>и free-sa.cgi заменить.
>
>Не получается.
>И debug=0 поставил, и пересобрал (размер exe-шников уменьшился),и скопировал куда надо,  
>а результат прежний.

А что говорит следующая команда в директории сборки free-sa-2.0.0b2/src:
./free-sa -V


"Free-SA - squid statistic analyzer"
Отправлено doctor , 25-Сен-09 13:13 
>А что говорит следующая команда в директории сборки free-sa-2.0.0b2/src:
>./free-sa -V

Free-SA 2.0.0b2 (http://free-sa.sourceforge.net)
Copyright (C) 1997, 2006-2009 Oleg Sapon <xsov@mail.ru>
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This program comes with ABSOLUTELY NO WARRANTY.
This is free software, and you are welcome to redistribute it under certain conditions.
For details please read the file named COPYING.

PREFIX            /usr/local
ETCDIR            /usr/local/etc/free-sa
WWWDIR            /usr/local/var/www/htdocs/free-sa
CACHEDIR        /usr/local/var/cache/free-sa
LOCDIR            /usr/local/share/free-sa
DOCDIR            /usr/local/share/doc/free-sa-2.0.0b2
LOGFILE            /var/log/squid/access.log
CFLAGS            -I. -I..
LDFLAGS            
LIBS            -lm
Thousands separator    no
Large file support    yes
Debug level        1
C compiler        cc
Install command        ./SAinstall.sh
Sort command        /usr/bin/sort


"Free-SA - squid statistic analyzer"
Отправлено saper , 25-Сен-09 16:29 
>>А что говорит следующая команда в директории сборки free-sa-2.0.0b2/src:
>>./free-sa -V
>Debug level  1

Отладка все еще включена. Проверьте, действительно ли в global.mk указано DEBUG = 0? По действию make clean должен удаляться файл src/config.h и соответственно по make этот файл должен был создаться заново, но уже с #define DEBUG 0. Возможно вы пропустили make clean?


"Free-SA - squid statistic analyzer"
Отправлено doctor , 28-Сен-09 08:06 
>
>Отладка все еще включена. Проверьте, действительно ли в global.mk указано DEBUG =
>0? По действию make clean должен удаляться файл src/config.h и соответственно
>по make этот файл должен был создаться заново, но уже с
>#define DEBUG 0. Возможно вы пропустили make clean?

Да нет, я проверял...
Ну вот сейчас, ставлю debug = 7 ( в /ets/config.h DEBUG 7 переносится), и после трансляции
новый файл src/free-sa -V сообщает: Debug level 1. Наваждение какое-то..
Все равно, спасибо, программка изумительная, и работает..


"Free-SA - squid statistic analyzer"
Отправлено saper , 28-Сен-09 08:47 
>[оверквотинг удален]
>>Отладка все еще включена. Проверьте, действительно ли в global.mk указано DEBUG =
>>0? По действию make clean должен удаляться файл src/config.h и соответственно
>>по make этот файл должен был создаться заново, но уже с
>>#define DEBUG 0. Возможно вы пропустили make clean?
>
>Да нет, я проверял...
>Ну вот сейчас, ставлю debug = 7 ( в /ets/config.h DEBUG 7
>переносится), и после трансляции
>новый файл src/free-sa -V сообщает: Debug level 1. Наваждение какое-то..
>Все равно, спасибо, программка изумительная, и работает..

Попробуйте тогда распаковать исходники из архива и сразу исправить DEBUG на 0. Возможно еще, что у вас стоит где то в путях free-sa, собранная с DEBUG=1 и набирая free-sa вы выполняете её, а не ту, которая собрана с DEBUG=0.


"Free-SA - squid statistic analyzer"
Отправлено doctor , 28-Сен-09 12:18 

>Возможно еще, что у вас стоит где то в путях free-sa,
>собранная с DEBUG=1 и набирая free-sa вы выполняете её, а не
>ту, которая собрана с DEBUG=0.

Тут Вы оказались правы. Я почему-то думал, что находясь в ../src и запуская свежескомпилированную программу, выполнится именно она. В общем, обновив /usr/local/bin получил то, что надо. Огромное спасибо.


"Free-SA - squid statistic analyzer"
Отправлено andrey , 27-Сен-09 12:52 
А как сделать детальные отчеты

"Free-SA - squid statistic analyzer"
Отправлено saper , 27-Сен-09 14:10 
>А как сделать детальные отчеты

Вот пример детального отчета, там все ссылки с байтами.
http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/...

В 1.x такой отчет формируется при fullurl="true", в 2.x при users_fullurl_report="yes".


"Free-SA - squid statistic analyzer"
Отправлено andrey , 28-Сен-09 03:32 
>>А как сделать детальные отчеты
>
>Вот пример детального отчета, там все ссылки с байтами.
>http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/...
>
>В 1.x такой отчет формируется при fullurl="true", в 2.x при users_fullurl_report="yes".

Спасибо у меня и стоит так же


"Free-SA - squid statistic analyzer"
Отправлено Fedor_SPb , 08-Окт-09 09:58 
Помогите пожалуйста новичку.
Free-SA 1.6.2 ( в global.mk OSTYPE = redhat-native-gcc4 )  при установке в CentOS 5.3 выдает такие ошибки :

...
make[2]: Entering directory `/var/ftp/Free-SA/src/logformats'
gcc -I. -I.. -O4 -pipe -march=native -fomit-frame-pointer -std=c99 -W -Wall -Wextra -Wredundant-decls -Wnested-externs -Wstrict-prototypes -Wmissing-prototypes -Wpointer-arith -Winline -Wcast-qual -Wreturn-type -Wswitch -Wshadow -Wcast-align -Wuninitialized -Wchar-subscripts -Wuninitialized -Wbad-function-cast -Wwrite-strings   -c -o l_squid_native.o l_squid_native.c
l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -march
l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -mtune=
make[2]: *** [l_squid_native.o] Ошибка 1
make[2]: Leaving directory `/var/ftp/Free-SA/src/logformats'
make[1]: *** [logformats/l_cgp_native.o] Ошибка 2
make[1]: Leaving directory `/var/ftp/Free-SA/src'
...

Подскажите пожалуйста в чем накосячил.

Заранее благодарен.


"Free-SA - squid statistic analyzer"
Отправлено saper , 08-Окт-09 10:12 
>Free-SA 1.6.2 ( в global.mk OSTYPE = redhat-native-gcc4 )  при установке
>в CentOS 5.3 выдает такие ошибки :
>gcc -I. -I.. -O4 -pipe -march=native -fomit-frame-pointer -std=c99 -W -Wall -Wextra -

... l_squid_native.o l_squid_native.c
>l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -march
>l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -mtune=
>make[2]: *** [l_squid_native.o] Ошибка 1
>make[1]: *** [logformats/l_cgp_native.o] Ошибка 2

Странно, я думал, что в CentOS 5.3 версия GCC >= 4.0 (а значит должен поддерживать значение native для march). Измените в файле configs/redhat-native-gcc4.mk значение переменной SARCH с native на что-нибудь близкое процессору на той системе, где вы будете использовать Free-SA. Самое простое - поставить i586 вместо native.


"Free-SA - squid statistic analyzer"
Отправлено Fedor_SPb , 08-Окт-09 10:18 
>
>Странно, я думал, что в CentOS 5.3 версия GCC >= 4.0 (а значит должен поддерживать значение native для march). Измените в файле configs/redhat-native-gcc4.mk значение переменной SARCH с native на что-нибудь близкое процессору на той системе, где вы будете использовать Free-SA. Самое простое - поставить i586 вместо native.

Спасибо огромное!


"Free-SA - squid statistic analyzer"
Отправлено Fedor_SPb , 08-Окт-09 10:16 
>[оверквотинг удален]
>l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -mtune=
>make[2]: *** [l_squid_native.o] Ошибка 1
>make[2]: Leaving directory `/var/ftp/Free-SA/src/logformats'
>make[1]: *** [logformats/l_cgp_native.o] Ошибка 2
>make[1]: Leaving directory `/var/ftp/Free-SA/src'
>...
>
>Подскажите пожалуйста в чем накосячил.
>
>Заранее благодарен.

В redhat-native-gcc4.mk поменял SARCH = native на i386, заработало.



"Free-SA - squid statistic analyzer"
Отправлено Fedor_SPb , 08-Окт-09 11:07 
Извините за назойливость, теперь какая-то проблема с датами или форматом access.log:

[root@proxy]# free-sa -d 08.10.2009-
SAERROR: [main] No records found

[root@proxy]# free-sa -s
Log file information:
File name:              /var/log/squid/access.log
File size:              20 202
Start date and time:    01.01.1970 03:00:10
End date and time:      01.01.1970 03:00:10

[root@proxy]# date +%x
08.10.2009

в access.log строка формируется как:
192.168.1.23 - - [08/Oct/2009:14:47:11 +0400] "GET http://www.ru/rus/images/dot.gif HTTP/1.0" 200 551 TCP_HIT:NONE

В squid.conf параметр logformat в данный момент выставлен по умолчанию - none


"Free-SA - squid statistic analyzer"
Отправлено Fedor_SPb , 08-Окт-09 15:45 
>[оверквотинг удален]
>End date and time:      01.01.1970 03:00:10
>
>[root@proxy]# date +%x
>08.10.2009
>
>в access.log строка формируется как:
>192.168.1.23 - - [08/Oct/2009:14:47:11 +0400] "GET http://www.ru/rus/images/dot.gif HTTP/1.0" 200 551 TCP_HIT:NONE
>
>В squid.conf параметр logformat в данный момент выставлен по умолчанию - none
>

все разрешения даны, выпросил access.log у соедей, разместил в другой папке, изменил путь в free-sa.conf - та же картина.
вопрос: в правильном ли формате у меня souid генерит access.log и как вычисляются дата начала и дата окончания при выполнении free-sa -s , а то ни как не пойму откуда 01.01.1970 берется.


"Free-SA - squid statistic analyzer"
Отправлено saper , 08-Окт-09 22:34 
>>в access.log строка формируется как:
>>192.168.1.23 - - [08/Oct/2009:14:47:11 +0400] "GET http://www.ru/rus/images/dot.gif HTTP/1.0" 200 551 TCP_HIT:NONE
>>В squid.conf параметр logformat в данный момент выставлен по умолчанию - none

logformat="2" в вашем случае :)

То, что Free-SA пытается делать по free-sa -s буду исправлять.


"Free-SA - squid statistic analyzer"
Отправлено saper , 08-Окт-09 22:36 
Но лучше Squid перевести в журналирование в родном Squid native формате. В этом случае Free-SA больше информации сможет взять из журнала.

"Free-SA - squid statistic analyzer"
Отправлено Fedor_SPb , 09-Окт-09 10:34 
>Но лучше Squid перевести в журналирование в родном Squid native формате. В
>этом случае Free-SA больше информации сможет взять из журнала.

Спасибо огромное за разъяснения, все заработало!!!
А не могли бы Вы дать образец строки в родном Squid native формате. У меня Squid 2.6STABLE21, там в squid.conf есть опция logformat и представленны следующие варианты:

#logformat squid %ts.%03tu %6tr %>a %Ss/%03Hs %<st %rm %ru %un %Sh/%<A %mt
#logformat squidmime %ts.%03tu %6tr %>a %Ss/%03Hs %<st %rm %ru %un %Sh/%<A %mt [%>h] [%<h]
#logformat common %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st %Ss:%Sh
#logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh

Так же можно написать свой вариант формата лога. При указании параметра access_log указывается путь и имя файла, а так же выводимый формат описанный в logformat например:
access_log /var/log/squid/access.log squid

Так как занимаюсь всем этим впервые и знаний очень мало а опыта совсем нет, родной Squid native формат мне не известен. Пожалуйста, если не сложно, подскажите какой вариант Squid-овского logformat-а выбрать или дайте пример строки в Squid native формате.


"Free-SA - squid statistic analyzer"
Отправлено saper , 09-Окт-09 14:28 
>>Но лучше Squid перевести в журналирование в родном Squid native формате. В
>>этом случае Free-SA больше информации сможет взять из журнала.
>А не могли бы Вы дать образец строки в родном Squid native
>формате. У меня Squid 2.6STABLE21, там в squid.conf есть опция logformat
>и представленны следующие варианты:
>#logformat squid %ts.tu %6tr %>a %Ss/Hs %<st %rm %ru %un %Sh/%<A %mt

Вот эту строку нужно раскомментировать и закомментировать все другие logformat.


"Free-SA - squid statistic analyzer"
Отправлено Fedor_SPb , 12-Окт-09 09:24 
>>#logformat squid %ts.tu %6tr %>a %Ss/Hs %<st %rm %ru %un %Sh/%<A %mt
>
>Вот эту строку нужно раскомментировать и закомментировать все другие logformat.

Спасибо большое! Все настроил, работает! Отличная программа!



"Как изменить значение ETCDIR?"
Отправлено Дмитрий , 02-Дек-09 15:33 
При запуске free-sa без параметров идет обращение к /usr/local/etc/free-sa/free-sa.conf
Как сделать, чтобы обращение шло к /etc/free-sa/free-sa.conf

Изменение соответствующего mk-файла перед компиляцией к желаемому результату не приводит.


"Как изменить значение ETCDIR?"
Отправлено saper , 02-Дек-09 20:39 
>При запуске free-sa без параметров идет обращение к /usr/local/etc/free-sa/free-sa.conf
>Как сделать, чтобы обращение шло к /etc/free-sa/free-sa.conf
>
>Изменение соответствующего mk-файла перед компиляцией к желаемому результату не приводит.

Попробуйте распаковать исходники и после этого не набирая make изменить global.mk и нужный configs/xxx.mk Дело в том, что после make в директории src создается config.h со всеми переменными, который видимо у вас не обновляется.


"Не могу вписать GlobalFilter "
Отправлено Niferman , 22-Янв-10 14:09 
конфиг free-sa
global_filter="/etc/free-sa/users.conf"
targetdir="/var/www/html/free"
ts_limit="30"
rtr_timeout="5000"
fulltraffic="false"
inameuser="true"
indicators="true"
overwrite="1"
showinfo="true"
site="http://eqvator.net/free"
logo="http://eqvator.net/web/images/sm_logo.png"
divisor="M"

Остальное закоментировано.
Файл /etc/free-sa/users.conf содержит следующее
I 2
i 192.168.100.103
i 192.168.100.101
i 192.168.100.27
U1
u fishki.net

Призапуске говорит:
SAERROR: [LoadFilter] Incorrect file format '/etc/free-sa/users.conf'


"Не могу вписать GlobalFilter "
Отправлено saper , 22-Янв-10 16:16 
>U1
>SAERROR: [LoadFilter] Incorrect file format '/etc/free-sa/users.conf'

А где же пробел между "U" и "1"? И не забудьте про пустую строку в конце этого файла.


"Компиляция под CYGWIN"
Отправлено Amk , 21-Апр-10 09:46 
Возникла необходимость откомпилировать под CYGWIN (не спрашивайте зачем -- нет возможности поставить FreeBSD, есть тока винда).

В global.mk выбираю cygwin-native-gcc3.mk
про компиляции выдает пару варнингов типа:

l_logformats.c: In function 'CLFDTZ':
l_logformats.c:74: warning: implicit declaration of function 'strptime'
l_logformats.c:74: warning: nested extern declaration of 'strptime'
l_logformats.c:74: warning: comparison between pointer and integer

сборка free-sa-2.0.0b3p3



"Компиляция под CYGWIN"
Отправлено saper , 21-Апр-10 11:26 
>[оверквотинг удален]
>
>В global.mk выбираю cygwin-native-gcc3.mk
>про компиляции выдает пару варнингов типа:
>
>l_logformats.c: In function 'CLFDTZ':
>l_logformats.c:74: warning: implicit declaration of function 'strptime'
>l_logformats.c:74: warning: nested extern declaration of 'strptime'
>l_logformats.c:74: warning: comparison between pointer and integer
>
>сборка free-sa-2.0.0b3p3

По идее проблем с использованием не должно быть. Для strptime нужен time.h, который уже включен в global.h. Я постараюсь потестировать сборку свежей Free-SA на Cygwin.


"Компиляция под CYGWIN"
Отправлено Amk , 21-Апр-10 14:32 
>По идее проблем с использованием не должно быть. Для strptime нужен time.h,
>который уже включен в global.h. Я постараюсь потестировать сборку свежей Free-SA
>на Cygwin.

time.h есть -- жалобы идут или же на несоответствие типов сравнения или же на другой ожидаемый тип...
Это не только на эту функцию жалобы, вот еще пример:
w_log_operations.c: In function ‘InitLog’:
w_log_operations.c:416: warning: implicit declaration of function ‘fileno’
w_log_operations.c:416: warning: nested extern declaration of ‘fileno’

Ребят, может кто-то компилил под винду с удачным результатом -- поделитесь, плиз..



"Компиляция под CYGWIN"
Отправлено saper , 21-Апр-10 15:35 
>[оверквотинг удален]
>
>time.h есть -- жалобы идут или же на несоответствие типов сравнения или
>же на другой ожидаемый тип...
>Это не только на эту функцию жалобы, вот еще пример:
>w_log_operations.c: In function ‘InitLog’:
>w_log_operations.c:416: warning: implicit declaration of function ‘fileno’
>w_log_operations.c:416: warning: nested extern declaration of ‘fileno’
>
>Ребят, может кто-то компилил под винду с удачным результатом -- поделитесь, плиз..
>

Подождите, это ведь warning, а не error. Из-за них не должно ничего останавливаться, т.е. сборка должна продолжаться. Мне кажется, что у вас установлены далеко не все файлы для сборки программ (не Free-SA, а вообще любой программы, написанной на C).


"Компиляция под CYGWIN"
Отправлено Amk , 21-Апр-10 16:22 
>Подождите, это ведь warning, а не error. Из-за них не должно ничего
>останавливаться, т.е. сборка должна продолжаться. Мне кажется, что у вас установлены
>далеко не все файлы для сборки программ (не Free-SA, а вообще
>любой программы, написанной на C).

в том и дело -- что вроде и компилируется
а при запуске с параметром -d:
SAERROR: [GetDZT] Can't convert date 21.04.10

может отладчик включить и дать больше сведений? Я тоже думал что не все пакеты -- поэтому дал команду поставить все из разделов devel и libs.


"Компиляция под CYGWIN"
Отправлено saper , 21-Апр-10 18:42 
>[оверквотинг удален]
>>далеко не все файлы для сборки программ (не Free-SA, а вообще
>>любой программы, написанной на C).
>
>в том и дело -- что вроде и компилируется
>а при запуске с параметром -d:
>SAERROR: [GetDZT] Can't convert date 21.04.10
>
>может отладчик включить и дать больше сведений? Я тоже думал что не
>все пакеты -- поэтому дал команду поставить все из разделов devel
>и libs.

Как я понимаю проблема с локалью или форматом дат, передаваемых free-sa в опции -d. Решение: набрать date +%x и посмотреть в каком формате текущая локаль готова принимать дату, если вернет что то вроде 04/21/10, то так и нужно передавать дату в опции -d.


"Компиляция под CYGWIN"
Отправлено Amk , 22-Апр-10 12:50 
>Как я понимаю проблема с локалью или форматом дат, передаваемых free-sa в
>опции -d. Решение: набрать date +%x и посмотреть в каком формате
>текущая локаль готова принимать дату, если вернет что то вроде 04/21/10,
>то так и нужно передавать дату в опции -d.

проблема в мутной реализации функции srtptime() под CYGWIN.. проблему решил указанием в коде GetDZT строки:

if (strptime(idate, "%d.%m.%y", &dtconv) == NULL) SAexit("Can't convert date %s", idate);
                                     ^^^^^^^^
в соответствии с локалью, так как небыло особого времени разбиратся...    



"Компиляция под CYGWIN"
Отправлено saper , 22-Апр-10 13:46 
>[оверквотинг удален]
>>опции -d. Решение: набрать date +%x и посмотреть в каком формате
>>текущая локаль готова принимать дату, если вернет что то вроде 04/21/10,
>>то так и нужно передавать дату в опции -d.
>
>проблема в мутной реализации функции srtptime() под CYGWIN.. проблему решил указанием в
>коде GetDZT строки:
>
>if (strptime(idate, "%d.%m.%y", &dtconv) == NULL) SAexit("Can't convert date %s", idate);
>   ^^^^^^^^
>в соответствии с локалью, так как небыло особого времени разбиратся...

Дело ваше :) Но я бы был осторожен с модификацией частей кода и попробовал бы побороться с локалью Cygwin, хотя сам знаю насколько плохи её дела в Cygwin (пока никому не удалось генерировать отчеты на русском в Cygwin).


"Компиляция под CYGWIN"
Отправлено Amk , 26-Апр-10 14:25 
>Дело ваше :) Но я бы был осторожен с модификацией частей кода
>и попробовал бы побороться с локалью Cygwin, хотя сам знаю насколько
>плохи её дела в Cygwin (пока никому не удалось генерировать отчеты
>на русском в Cygwin).

Это для "чтобы заработало".. После запуска, буду более детальней изучать поведение. :)

Подскажите вот в чем:
Никак не вьеду в правила настройки локальных фильтров.. Пример
Есть список ACL-запрещенных доменов(банлист), Сквид банит нормально и выдает нужное сообщение относительно deny_info..
Хочу построить фильтр на основе этих 403-запретов, но только чтобы были включены домены из банлиста, но так чтобы не переписывать его с тегом u -- возможно ли подгрузка внешних списков?  



"Компиляция под CYGWIN"
Отправлено saper , 26-Апр-10 14:34 
>[оверквотинг удален]
>Это для "чтобы заработало".. После запуска, буду более детальней изучать поведение. :)
>
>
>Подскажите вот в чем:
>Никак не вьеду в правила настройки локальных фильтров.. Пример
>Есть список ACL-запрещенных доменов(банлист), Сквид банит нормально и выдает нужное сообщение относительно
>deny_info..
>Хочу построить фильтр на основе этих 403-запретов, но только чтобы были включены
>домены из банлиста, но так чтобы не переписывать его с тегом
>u -- возможно ли подгрузка внешних списков?

Я думаю, что проще всего сделать скрипт, который сам автоматом при каждом запуске Free-SA прочитает squid.conf или внешний файл и сделает из него файл фильтра с тегом u. Загрузка из внешнего файла пока не поддерживается. Возможно стоит это сделать? Будете тестером?


"Компиляция под CYGWIN"
Отправлено Amk , 26-Апр-10 18:48 
>Я думаю, что проще всего сделать скрипт, который сам автоматом при каждом
>запуске Free-SA прочитает squid.conf или внешний файл и сделает из него
>файл фильтра с тегом u. Загрузка из внешнего файла пока не
>поддерживается. Возможно стоит это сделать? Будете тестером?

Я не против, только я уже 5 лет как работаю на МС-платформе (приходится), будет удобно тестить из под CYGWIN?
Скрипт написать не проблема оказалось ))) -- писал на powershell`e...
Но есть ньюасы более важные -- отчеты нужны для руководства, а они сами понимаете -- не отличают одноклассников от винапдейта.. Расстроило -- нет возможности мультифильтра по U -- global_filter тож не применишь к примеру:

U 1
u .google.com # трафик поисковых систем
U 7
u .js # служебная инфа интересна тока админам но руководству ни к чему

или я недочитался манов?



"Компиляция под CYGWIN"
Отправлено saper , 26-Апр-10 21:45 
>Но есть ньюасы более важные -- отчеты нужны для руководства, а они
>сами понимаете -- не отличают одноклассников от винапдейта.. Расстроило -- нет
>возможности мультифильтра по U -- global_filter тож не применишь к примеру:
>
>U 1
>u .google.com # трафик поисковых систем
>U 7
>u .js # служебная инфа интересна тока админам но руководству ни к
>чему

Чтобы добиться и U 1 и U 7, можно использовать U 4, но при большом объеме это может быть медленно, все-таки регулярные выражения. Я думаю что то вроде такого должно работать:
U 4
u http:\/\/[a-Z].*\.google\.com
u \.js$

p.s. Я не уверен насчет правильности первого регулярного выражения.


"Компиляция под CYGWIN"
Отправлено saper , 26-Апр-10 21:45 
>[оверквотинг удален]
>>чему
>
>Чтобы добиться и U 1 и U 7, можно использовать U 4,
>но при большом объеме это может быть медленно, все-таки регулярные выражения.
>Я думаю что то вроде такого должно работать:
>U 4
>u http:\/\/[a-Z].*\.google\.com
>u \.js$
>
>p.s. Я не уверен насчет правильности первого регулярного выражения.

U 5 конечно же


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено shraibikus , 24-Апр-10 17:15 
Столкнулся со следующей проблемой.
Прокси сервер 3proxy валит очень много мусора в лог (даже если его и настраиваешь аналогично squid-овскому).
Кроме того, похоже туда-же сыпется и Socks соединения (запущенные на этом прокси).
В результате free-sa считает не корректно.
Можем получить такую картинку (там среди помесячных логов, последний - он сделан с 3proxy, предидущие были со squid'а):

http://spec.oborona.net/pus/data/4777165441061108231.jpg

Сами лог-файлы собранные 3proxy могу предоставить, при желании.
Лично заглядывал в них и видел вот такой мусор:

http://spec.oborona.net/pus/data/1407193427746879848.jpg

Какие есть мнения?

Серв: Alt-Linux 4.0 Office Server
3proxy 0.6 (090319164209)
Free-SA 2.0.0b2



"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 24-Апр-10 18:41 
>[оверквотинг удален]
>Лично заглядывал в них и видел вот такой мусор:
>
>http://spec.oborona.net/pus/data/1407193427746879848.jpg
>
>Какие есть мнения?
>
>Серв: Alt-Linux 4.0 Office Server
>3proxy 0.6 (090319164209)
>Free-SA 2.0.0b2
>

Вот тут уже была дискуссия про 3proxy:
https://sourceforge.net/tracker/?func=detail&aid=2843370&gro...
Образец журнала 3proxy у меня есть. Единообразной структуры в этом журнале нет, поэтому поддержка пока под вопросом. Возможно стоит поиграть с grep и способностью Free-SA читать из FIFO. То есть что то вроде:
mkfifo /tmp/good.log
cat /var/log/3proxy/access.log|grep '[:print:]' или другое регулярное выражение, чтобы убрать некорректные записи
free-sa -l /tmp/good.log


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено shraibikus , 24-Апр-10 20:31 
>[оверквотинг удален]
>>
>
>Вот тут уже была дискуссия про 3proxy:
>https://sourceforge.net/tracker/?func=detail&aid=2843370&gro...
>Образец журнала 3proxy у меня есть. Единообразной структуры в этом журнале нет,
>поэтому поддержка пока под вопросом. Возможно стоит поиграть с grep и
>способностью Free-SA читать из FIFO. То есть что то вроде:
>mkfifo /tmp/good.log
>cat /var/log/3proxy/access.log|grep '[:print:]' или другое регулярное выражение, чтобы убрать некорректные записи
>free-sa -l /tmp/good.log

Понял, спасибо. Буду пробовать (по ссылке тоже дается вариант простого грепа который "решает" проблему "левых" пользователей вроде как...). А вообще да, видимо нужно нафлудить Заразе (автору 3прокси) что-бы допилил правильность лога в формате сквид)))



"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено Dmitriy , 30-Май-10 02:05 
Здравствуйте!

Честно скажу, весь тред не осилил :)

Можете ответить на пару вопросов?
1. Имеется ли возможность заносить юзеров (по логину), превысивших траффик в файл (для блокировки)?
2. Можно ли установить лимить по умолчанию?
3. Имеется ли аозможность изменять лимит траффика для отдельных юзеров или групп?

Пасиба :)


"Free-SA - squid statistic analyzer"
Отправлено Dmitriy , 30-Май-10 02:27 
Здравствуйте!

Честно скажу, весь тред не осилил :)

Можете ответить на пару вопросов?
1. Имеется ли возможность заносить юзеров (по логину), превысивших траффик в файл (для блоктровки)?
2. Можно ли установить лимить по умолчанию?
3. Имеется ли аозможность изменять лимит траффика для отдельных юзеров или групп?

Пасиба :)


"Free-SA - squid statistic analyzer"
Отправлено saper , 30-Май-10 21:05 
>[оверквотинг удален]
>Честно скажу, весь тред не осилил :)
>
>Можете ответить на пару вопросов?
>1. Имеется ли возможность заносить юзеров (по логину), превысивших траффик в файл
>(для блоктровки)?
>2. Можно ли установить лимить по умолчанию?
>3. Имеется ли аозможность изменять лимит траффика для отдельных юзеров или групп?
>
>
>Пасиба :)

Добрый день.

1. Пока нет. Запрос в трекере есть, буду делать.
2. См. выше.
3. Пока нет. Будет, но я думаю сильно попозже.


"Free-SA - squid statistic analyzer"
Отправлено nkly , 23-Июн-10 13:04 
запускаю командой
free-sa -d 06/01/10-06/20/10 то-есть хочу получить отчет с первого по двадцатое июня,но отчет формируется только за период 06/01/10-06/01/10, да и то, отчет "Top User" содержит только две строки.
В общем какой-бы интервал дат я не задавал, формируется все время 06/01/10-06/01/10
Система FreeBSD 7.2 free-sa 1.6.2

"Free-SA - squid statistic analyzer"
Отправлено artek , 06-Авг-10 09:43 
вчера в спешке поставил 1.6.2, запустил с конфигом по умолчанию. попробовал потестить и как-то получилось, что с тестового логфайла сквида размером ~1.5Мб free-sa нагенерил мне аж 10Мб отчета. проясните, пожалуйста, с чем связано такое поведение.

"Free-SA - squid statistic analyzer"
Отправлено artek , 06-Авг-10 09:44 
в смысле, я понимаю, что надо ман почитать, но может кому не лень носом ткнуть.

"Free-SA - squid statistic analyzer"
Отправлено saper , 06-Авг-10 22:36 
>вчера в спешке поставил 1.6.2, запустил с конфигом по умолчанию. попробовал потестить
>и как-то получилось, что с тестового логфайла сквида размером ~1.5Мб free-sa
>нагенерил мне аж 10Мб отчета. проясните, пожалуйста, с чем связано такое
>поведение.

fullurl="false" в free-sa.conf?


"Free-SA - squid statistic analyzer"
Отправлено artek , 08-Авг-10 10:20 
>fullurl="false" в free-sa.conf?

Спасибо!
Еще пара вопросов:
1. как можно убрать из отчетов "Proxy efficiency"? В разделе "reports limit" я его не вижу.
2. как _изменить_ информацию о "report generator"? Showinfo убирает ее совсем, а я хотел бы изменить, чтобы не путаться (статистика тогда может собираться разными копиями free-sa и это будет четко отображаться).
3. в разделе "top user" содержится сводная статистика по пользователям. уровнем ниже - статистика каждого пользователя. можно ли ограничить размер файла статистики каждого пользователя? типа как dld_min? а то ведь совершенно никчему сотни этих мелких хвостиков внизу отчета. Т.е. аналог ts_limit, но для индивидуальных пользовательских отчетов.


"Free-SA - squid statistic analyzer"
Отправлено saper , 24-Авг-10 22:01 
>Спасибо!
>Еще пара вопросов:
>1. как можно убрать из отчетов "Proxy efficiency"? В разделе "reports limit"
>я его не вижу.

server_efficiency_report="false" в новой версии, в старой - никак :(
>2. как _изменить_ информацию о "report generator"? Showinfo убирает ее совсем, а
>я хотел бы изменить, чтобы не путаться (статистика тогда может собираться
>разными копиями free-sa и это будет четко отображаться).
>3. в разделе "top user" содержится сводная статистика по пользователям. уровнем ниже
>- статистика каждого пользователя. можно ли ограничить размер файла статистики каждого
>пользователя? типа как dld_min? а то ведь совершенно никчему сотни этих
>мелких хвостиков внизу отчета. Т.е. аналог ts_limit, но для индивидуальных пользовательских
>отчетов.

Эти пункты пока не реализованы. Открывайте Feature Request на сайте проекта.


"Free-SA - squid statistic analyzer"
Отправлено Михаил , 24-Авг-10 15:44 
Где прочитать о том чтобы сделать отчет о ip с которых регистрировались пользователи. Т.е. на каких ip(компьютерах) использовался логин?

"Free-SA - squid statistic analyzer"
Отправлено saper , 24-Авг-10 21:58 
>Где прочитать о том чтобы сделать отчет о ip с которых регистрировались
>пользователи. Т.е. на каких ip(компьютерах) использовался логин?

Пока такого отчета нет, но планируется в будущем, возможно ближайшем.


"Free-SA - squid statistic analyzer"
Отправлено Diesel , 01-Сен-10 11:59 
Полная инструкция как установить Free-sa на Debian\Ubuntu http://thetech.com.ua/?p=125

"Free-SA - squid statistic analyzer"
Отправлено Laron , 30-Сен-10 10:59 
Подскажите какой синтаксис фильтров? global_filter например...
мне например нужно исключить несколько ip пользователей из отчетов.

"Free-SA - squid statistic analyzer"
Отправлено saper , 30-Сен-10 22:49 
> Подскажите какой синтаксис фильтров? global_filter например...
> мне например нужно исключить несколько ip пользователей из отчетов.

A 3
a 192.168.0.1
a 192.168.0.2

Как то так, а лучше посмотреть man free-sa.conf (там в конце есть отдельная секция).


"Free-SA - squid statistic analyzer"
Отправлено Laron , 04-Окт-10 12:47 
>A 3
>a 192.168.0.1
>a 192.168.0.2

Спасибо за подсказку, но ругается на синтаксис, пошел по другому пути, не исключать ip,а через фильтр "I" выставить те ip для которых необходимо создавать отчеты, геморно все вводить, но зато работает.


"Free-SA - squid statistic analyzer"
Отправлено Laron , 05-Окт-10 18:27 
может кто еще знает как в отчетах изменить порядок сортировки?
Есть:
Поле (порядок) сортировки: Адрес, Дата и Время

Необходимо:
Поле (порядок) сортировки: Дата и Время, Адрес


"Free-SA - squid statistic analyzer"
Отправлено saper , 05-Окт-10 18:41 
> может кто еще знает как в отчетах изменить порядок сортировки?
> Есть:
> Поле (порядок) сортировки: Адрес, Дата и Время
> Необходимо:
> Поле (порядок) сортировки: Дата и Время, Адрес

Пока такой возможности нет, но работа ведется. Если очень критично - посмотрите исходник и поправьте.


"Free-SA - squid statistic analyzer"
Отправлено yevgeniy , 13-Янв-11 12:55 
подскажите плизз как открыть фриса. вроде запускается и работает только в браузере вроде как должно все красиво через веб-интерфейс запускаться, а отображает все в виде каталога.. заранее пасиб

"Free-SA - squid statistic analyzer"
Отправлено DieselxXx , 13-Янв-11 13:03 
> подскажите плизз как открыть фриса. вроде запускается и работает только в браузере
> вроде как должно все красиво через веб-интерфейс запускаться, а отображает все
> в виде каталога.. заранее пасиб

а вы php установили?


"Free-SA - squid statistic analyzer"
Отправлено saper , 15-Янв-11 19:11 
> подскажите плизз как открыть фриса. вроде запускается и работает только в браузере
> вроде как должно все красиво через веб-интерфейс запускаться, а отображает все
> в виде каталога.. заранее пасиб

Попробуйте ткнуть на index.html и добавить ссылку в закладки, в противном случае посмотрите настройки web-сервера, чтобы при попытке открытия директории он высылал содержимое index.html.


"Free-SA - squid statistic analyzer"
Отправлено yevgeniy , 13-Янв-11 13:22 
да, установил связку php5+apache2+mysql+phpmyadmin... Их как то нужно конфигить?

"Free-SA - squid statistic analyzer"
Отправлено Vitalik , 25-Янв-11 00:59 
> да, установил связку php5+apache2+mysql+phpmyadmin... Их как то нужно конфигить?

Проверте работает ли апатч. ip_local_mashina/ Должно показать папки которые находятся по умолчанию в папке www. Если показывает то все работает. Запускайте free-sa и проверяйте


"Free-SA - squid statistic analyzer"
Отправлено Vitalik , 24-Янв-11 15:40 
Добрый день. подскажите пожалуйста, а то уже голова болит...
система дебиан
установил 2.0.0b3p8
дневной отчет работает. free-sa -d day
а вот week и month нет. Выдает ошибку segmentation fault. И что характерно, то вчера week раз стработал. А сегодня нет :( При этом free-sa -d day выполняется каждый час и все отлично.

"Free-SA - squid statistic analyzer"
Отправлено Vitalik , 24-Янв-11 16:20 
Капец..уже и day не работает...та же ошибка:(
Самое интересное что оно отчет делает, но не создает index страницы

"Free-SA - squid statistic analyzer"
Отправлено Vitalik , 25-Янв-11 00:54 
Вернул conf файл умолчанию (пути тока поменял) та же ошибка. переустановил free-sa. не помогло. Поставил предыдущюю версию (b3) - помогло. Заработало. Но надолго ли...
Может я что то не так делаю ? Устанавливаю так: скачиваю архив, распаковываю (в виндовз). потом перебрасываю в девиан (/home/user/). Захожу во внутр, меняю mk (выбираю убунту) и запускаю make install. Устанавливается успешно.

И еще пару вопросов по настройке.

Как сделать чтобы папки типа data-data-n где n с 1 и выше...создается при каждой генерации, удалялись, а то изменяя параметр в conf  файле (overwrite="1 или 2") можна достичь чтобы на индексной не выводились разные версии за один день, но папки то остаются...

Так и не разобрался как можно сделать через фильтр чтобы не генерился отчет под определенных юзеров (в сарге это без проблем делается) надо к подвезке с логином из AD.

  


"Free-SA - squid statistic analyzer"
Отправлено Vitalik , 10-Фев-11 12:23 
Тут что все вымерли?:)

"Free-SA - squid statistic analyzer"
Отправлено saper , 12-Фев-11 03:17 
> Тут что все вымерли?:)

Живы, я даже писал вам ответ выше, но он куда то делся :(

Попробуйте вот этот патч с Free-SA 2.0.0b3p8, если не поможет, или, наоборот, поможет, то напишите:
https://sourceforge.net/tracker/download.php?group_id=191513...


"Free-SA - squid statistic analyzer"
Отправлено Vitalik , 12-Фев-11 13:54 
Спасибо! попробую

"Free-SA - squid statistic analyzer"
Отправлено saper , 12-Фев-11 14:20 
> Спасибо! попробую

Только отпишите по результатам.


"Free-SA"
Отправлено Meridian , 07-Июл-11 11:04 
Давненько пользовался Фрии-СА для анализа логов постфикса. Были небольшие проблемы, а потом как-то забил на статистику. Сейчас вот решил попробовать еще разок.
Поставил, Все ок. Читает, анализирует.
Пока один вопрос: почему на главной странице отчетов вверху указан 2008-й год? Как изменить не нашел.

"Free-SA"
Отправлено Meridian , 07-Июл-11 11:06 
> Давненько пользовался Фрии-СА для анализа логов постфикса. Были небольшие проблемы, а потом
> как-то забил на статистику. Сейчас вот решил попробовать еще разок.
> Поставил, Все ок. Читает, анализирует.
> Пока один вопрос: почему на главной странице отчетов вверху указан 2008-й год?
> Как изменить не нашел.

Забыл добавить. В списке отчетов тоже 2008-й год, хотя дальше датат создания идет правильная. 06.07.2008-07.07.2008 дата создания 07.07.2011. Вот так.


"Free-SA"
Отправлено saper , 08-Июл-11 22:53 
>> Пока один вопрос: почему на главной странице отчетов вверху указан 2008-й год?
>> Как изменить не нашел.
> Забыл добавить. В списке отчетов тоже 2008-й год, хотя дальше датат создания

Нужно изменить SYSLOGYEAR с 2008 на 2011 в файле global.h и пересобрать Free-SA.


"Free-SA"
Отправлено Meridian , 21-Июл-11 12:00 
>>> Пока один вопрос: почему на главной странице отчетов вверху указан 2008-й год?
>>> Как изменить не нашел.
>> Забыл добавить. В списке отчетов тоже 2008-й год, хотя дальше датат создания
> Нужно изменить SYSLOGYEAR с 2008 на 2011 в файле global.h и пересобрать

Free-SA.

Решил я попробовать Free-sa и в качестве анализатора логов сквида. Сравнить с Саргом.
Все вроде настроил, но пишет, что нет записей в логе.
В итоге команда free-sa -s показала мне
Start date and time: 01/01/70 03:00:10
And date and time: 01/01/70 03:00:10

При этом размер файла в норме, да и сам лог без каких-то проблем. Лог за 2 дня.

Почему он не видит правильно начало и конец лога сквида?

На логах постфикса данная команда отрабатывает правильно, показывает все верно и по дате и по вермени. Вот только год пишет 2008-й. Я так понимаю год она подставляет всегда один и тот же, что несколько неправильно.


"Free-SA"
Отправлено Meridian , 21-Июл-11 12:11 
>[оверквотинг удален]
> В итоге команда free-sa -s показала мне
> Start date and time: 01/01/70 03:00:10
> And date and time: 01/01/70 03:00:10
> При этом размер файла в норме, да и сам лог без каких-то
> проблем. Лог за 2 дня.
> Почему он не видит правильно начало и конец лога сквида?
> На логах постфикса данная команда отрабатывает правильно, показывает все верно и по
> дате и по вермени. Вот только год пишет 2008-й. Я так
> понимаю год она подставляет всегда один и тот же, что несколько
> неправильно.

Разобрался.
В конфиге надо было прописать формат лога "1", а я упорно ставил "0" по памяти.
И тут уже ключик -s отрабатывает правильно. Даже год показывает 11-й. Репорты собираются.

НО! При free-sa -s на современном логе Постфикса все равно показывается 2008-й год.



"Free-SA"
Отправлено saper , 21-Июл-11 13:20 
К сожалению в журнале Postfix год совсем не указан ни syslog-ом ни Postfix-ом, поэтому Free-SA указывает год, который статически прописан в файле global.h в переменной SYSLOGYEAR, там же его можно поменять. Я могу реализовать поддержку новых syslog-ов, которые указывают год, но для этого, как я уже писал тут и в других местах, мне нужен образец файла журнала. Его можно выслать на e-mail, указанный документации к программе. Автоугадывания по дате создания файла хотелось бы избежать, т.к. это не всегда работает корректно.

"Free-SA - squid statistic analyzer"
Отправлено den500 , 26-Июл-11 18:10 
Огромное спасибо за программу. Когда столкнулся с проблемой анализа логов Postfix на CentOS5, долго не мог найти хороший анализатор логов. Подскажите можно ли строить статистику не только по исходящим письмам, но и по входящей почте?
ЗЫ Free-SA 2.0.0b4p8

"Free-SA - squid statistic analyzer"
Отправлено saper , 27-Июл-11 11:20 
> Огромное спасибо за программу. Когда столкнулся с проблемой анализа логов Postfix на
> CentOS5, долго не мог найти хороший анализатор логов. Подскажите можно ли
> строить статистику не только по исходящим письмам, но и по входящей
> почте?
> ЗЫ Free-SA 2.0.0b4p8

По идее Free-SA строит статистику по всем записям в журнале, поэтому если входящая в нем отмечена, программа должна ее показывать в отчетах.


"Free-SA - squid statistic analyzer"
Отправлено den500 , 27-Июл-11 14:27 
А нигде явно в настройках free-sa не нужно указывать “показывать входящую почту”? У меня в отчете фигурируют “Delivery rejected”,”Получатели”, “Отправители” и ”Эффективность сервера”. “Получатели”и”Отпраители”-это фактически одни и те же данные. Но мне нужно видеть список адресов которые снаружи писали на мои внутренние ящики, а не только данные куда письма отправляли пользователи моего домена. В логе запись присутствует:
Jul  5 12:51:17 vostok postfix/smtpd[17550]: connect from mail.xxx.net.ua[211.11.11.11]
Jul  5 12:51:17 vostok postfix/smtpd[17550]: 6C6761C31AB: client=mail.xxx.net.ua[211.11.11.11]
Jul  5 12:51:17 vostok postfix/cleanup[17707]: 6C6761C31AB: message-id=<000601cc3af9$17d8e5a0$478ab0e0$@net.ua>
Jul  5 12:51:17 vostok postfix/qmgr[2498]: 6C6761C31AB: from=<admin@xxx.net.ua>, size=5161, nrcpt=1 (queue active)
Jul  5 12:51:17 vostok postfix/smtpd[17550]: disconnect from mail.xxx.net.ua[211.11.11.11]
Jul  5 12:51:17 vostok postfix/virtual[17709]: 6C6761C31AB: to=<petrov@vostok.com.ua>, relay=virtual, delay=0.31, delays=0.29/0.02/0/0.01, dsn=2.0.0, status=sent (delivered to maildir)
Jul  5 12:51:17 vostok postfix/qmgr[2498]: 6C6761C31AB: removed
Т.е. 05.07.11 admin@xxx.net.ua прислал письмо моему юзеру petrov@vostok.com.ua Мне нужно видеть это в отчете, но там таких данных нет. Только куда мои пользователи отправляли почту :-(

"Free-SA - squid statistic analyzer"
Отправлено saper , 27-Июл-11 17:26 
> А нигде явно в настройках free-sa не нужно указывать “показывать входящую почту”?
> Т.е. 05.07.11 admin@xxx.net.ua прислал письмо моему юзеру petrov@vostok.com.ua Мне нужно
> видеть это в отчете, но там таких данных нет. Только куда
> мои пользователи отправляли почту :-(

Должен показывать всю почту. Возможно у вас включен какой-нибудь фильтр в free-sa.conf (по-умолчанию включен один)?


"Free-SA - squid statistic analyzer"
Отправлено den500 , 27-Июл-11 18:22 
Мой free-sa.conf:

configuration_name="/etc/free-sa/free-sa.conf"
cache_directory="/var/cache/free-sa"
target_directory="/var/www/html/free-sa"
log_file="/log/maillog.3"
log_format="3"
log_skip_errors="yes"
recipient_tolower="yes"
users_filter="/etc/free-sa/users.filter.sample"

# SMTP related filter reports
local_filter="/etc/free-sa/SMTP_delivery_rejected.filter.sample"
local_filter="/etc/free-sa/SMTP_receiving_rejected.filter.sample"

top_users_svg=""
users_graphics_svg=""


"Free-SA - squid statistic analyzer"
Отправлено den500 , 26-Сен-11 17:22 
Все знающий All, кому нибудь удалось настроить free-sa для показа как входящей, так и исходящей почты? Помогите с настройками - у меня не получается ;-(

"Free-SA - squid statistic analyzer"
Отправлено saper , 26-Сен-11 17:51 
> Все знающий All, кому нибудь удалось настроить free-sa для показа как входящей,
> так и исходящей почты? Помогите с настройками - у меня не
> получается ;-(

Кусочек лога взял для испытаний. Я правильно понимаю, что почта у вас на том же сервере по папкам пользователей раскладывается (возможно причина в этом)?


"Free-SA - squid statistic analyzer"
Отправлено den500 , 27-Сен-11 12:02 

> Кусочек лога взял для испытаний. Я правильно понимаю, что почта у вас
> на том же сервере по папкам пользователей раскладывается (возможно причина в
> этом)?

Все находится на одном сервере. Но ведь это не должно влиять? По локальным юзерям почту разбрасывает dovekot.
PS Патч не помог :-( Ничего не изменилось. По отчету "Получатели" в столбце получатели - так и остались е-маил кому мои юзвери отправляли почту. Отправители - мои юзвери



"Free-SA - squid statistic analyzer"
Отправлено den500 , 29-Сен-11 15:46 
Все оказалось проще чем я думал.Достаточно в users.filter вставить I1 (I0)
i my.firma.com.
Огромное спасибо за программу,ИМХО это лучший анализатор логов!

"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено mnk , 21-Сен-11 11:16 
Пробовал версии 1.6.2 и 2.0. На обоих при компиляции вылезает ошибка.
<code>make[2]: Выход из каталога `/var/src/free-sa-2.0.0b4p8/src/work'
gcc -I. -I.. -O4 -pipe -march=native -fomit-frame-pointer -std=c99 -W -Wall -Wextra -Wredundant-decls -Wnested-externs -Wstrict-prototypes -Wmissing-prototypes -Wpointer-arith -Winline -Wcast-qual -Wreturn-type -Wswitch -Wshadow -Wcast-align -Wuninitialized -Wchar-subscripts -Wuninitialized -Wbad-function-cast -Wwrite-strings   -c -o free-sa.o free-sa.c
gcc --relax -mrelax logformats/l_cgp_native.o logformats/l_logformats.o logformats/l_squid_native.o logformats/l_clf_native.o logformats/l_postfix_syslog.o logformats/l_combined_native.o logformats/l_qmail_syslog.o reports/r_efficiency.o reports/r_list.o reports/r_topusers.o reports/r_usergraphs.o reports/r_email.o reports/r_reports.o reports/r_localfilter.o reports/r_users.o reports/r_index.o reports/r_topsites.o  reports/r_userdatetime.o reports/r_privacy.o work/w_config.o work/w_fs.o work/w_internal.o work/w_log_operations.o work/w_system.o work/w_svg.o free-sa.o -lm  -o free-sa
gcc: ошибка: unrecognized option «--relax»
make[1]: *** [free-sa] Ошибка 1
make[1]: Выход из каталога `/var/src/free-sa-2.0.0b4p8/src'
make[1]: Вход в каталог `/var/src/free-sa-2.0.0b4p8/themes'
make[1]: Выход из каталога `/var/src/free-sa-2.0.0b4p8/themes'</code>
OS Mandriva 2011.
Убрал все ссылки на «--relax». Скомпилялось, но  в V2.0 запускаю скрипт
<code>#!/bin/bash
# Программа создания отчетов по журналам SQUID
#set -x
umask 0022
export LANG=ru_RU.UTF-8
export LC_ALL=
free_sa=/usr/bin/free-sa
date1=`date +%x`
$free_sa -d $date1-</code>

И получаю ошибку
<Code>SAERROR: [CS2C] Error converting "DATETIME" to char</code>
Может это связано, что я отключил опцию "--relax" при компиляции см тут.

Те же вопросы задал на https://sourceforge.net/apps/phpbb/free-sa/viewforum.php?f=2, но ответов нет.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 21-Сен-11 13:49 
> gcc: ошибка: unrecognized option «--relax»
> OS Mandriva 2011.
> Убрал все ссылки на «--relax». Скомпилялось, но  в V2.0 запускаю скрипт

Да, это можно убирать.

>[оверквотинг удален]
> #set -x
> umask 0022
> export LANG=ru_RU.UTF-8
> export LC_ALL=
> free_sa=/usr/bin/free-sa
> date1=`date +%x`
> $free_sa -d $date1-</code>
> И получаю ошибку
> <Code>SAERROR: [CS2C] Error converting "DATETIME" to char</code>
> Может это связано, что я отключил опцию "--relax" при компиляции см тут.

Нет, это не связано с --relax. Судя по всему, вы пытаетесь запустить старую версию 1.6.x, а не новую 2.x. А старая не знает, что в free-sa.conf допустимо использование DATETIME в качестве значения опции. Если это не поможет, то просто закомментируйте все строки с DATETIME в free-sa.conf.

> Те же вопросы задал на https://sourceforge.net/apps/phpbb/free-sa/viewforum.php?f=2,
> но ответов нет.

Я туда еще не писал, но оповещения видел.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено mnk , 21-Сен-11 14:27 
> Нет, это не связано с --relax. Судя по всему, вы пытаетесь запустить
> старую версию 1.6.x, а не новую 2.x. А старая не знает,
> что в free-sa.conf допустимо использование DATETIME в качестве значения опции. Если
> это не поможет, то просто закомментируйте все строки с DATETIME в
> free-sa.conf.

Версию запустил 2.0. После комментирования строки
#index_sort="DATETIME"
Все заработало - спасибо.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 26-Сен-11 17:35 
> Версию запустил 2.0. После комментирования строки
> #index_sort="DATETIME"
> Все заработало - спасибо.

Да, я ошибся с free-sa.conf в версии 2.0.0b4p8. Вместо DATETIME нужно указать любое значение из man free-sa.conf :)


"Free-SA - squid statistic analyzer"
Отправлено евгений , 27-Сен-11 09:47 
А можно ли средствами фрисы организовать рассылку на почту в таком виде:


26.09.09-27.09.09  (TOP-n сайтов)
Пользователь: user
Сайт   Запросы    Байты
mail.ru   400   40mb
ya.ru      300   10mb

Пользователь: vasya
Сайт   Запросы    Байты
aport.ru   100   10mb
ya.ru      200   20mb

Как-то так.


"Free-SA - squid statistic analyzer"
Отправлено saper , 27-Сен-11 11:22 
> А можно ли средствами фрисы организовать рассылку на почту в таком виде:
> 26.09.09-27.09.09  (TOP-n сайтов)
> Пользователь: user
> Сайт   Запросы Байты
> mail.ru   400   40mb
> ya.ru      300   10mb

Такой опции еще нет.

> Пользователь: vasya
> Сайт   Запросы Байты
> aport.ru   100   10mb
> ya.ru      200   20mb

Такая опция есть, попробуйте free-sa -e EMAIL (если программа /usr/bin/mailx настроена и работает на рассылку почты). Если mailx не работает, то можно free-sa -e - > somefile.txt, а этот файл потом любыми другими средствами пересылать.


"Free-SA - squid statistic analyzer"
Отправлено евгений , 27-Сен-11 11:50 
free-sa -e EMAIL присылает только общий список юзеров и их трафик, а хотелось бы увидеть в этом списке хотя-бы топ-3(10) сайтов по каждому юзеру.

"Free-SA месяцы"
Отправлено Meridian , 10-Янв-12 15:56 
У меня фрии-са работает на логи постфикса и на сквидовские. Все ок, но отчеты в вебе видны по дням, а вот по месяцам как-то рассортировать и посмотреть общую статистику нельзя. Хотя сверху я видел есть циферки с месяцами, но они неактивны. Как быть?
Спасибо.


"Free-SA месяцы"
Отправлено saper , 10-Янв-12 16:10 
> У меня фрии-са работает на логи постфикса и на сквидовские. Все ок,
> но отчеты в вебе видны по дням, а вот по месяцам
> как-то рассортировать и посмотреть общую статистику нельзя. Хотя сверху я видел
> есть циферки с месяцами, но они неактивны. Как быть?
> Спасибо.

Если файл sa.js на месте (в корне директории с отчетами), то клик мышкой на месяц или год должен приводить к автоматической фильтрации списка отчетов. То есть при клике на цифру 6 должны показаться отчеты за июнь. Учтите, что курсор скорее всего не будет меняться при наведении поверх этих цифр. Также, в браузере должен быть включен JavaScript.


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено emfs , 28-Мрт-12 05:23 
Обрезаются все имена юзеров до 15 символов.

Кто встречался с такой проблемой?


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 30-Мрт-12 16:20 
> Обрезаются все имена юзеров до 15 символов.
> Кто встречался с такой проблемой?

А они в журнале access.log длиннее 15 символов?


"Каталог Программ: Free-SA - squid statistic analyzer"
Отправлено saper , 01-Апр-12 22:55 
> Обрезаются все имена юзеров до 15 символов.
> Кто встречался с такой проблемой?

Посмотрел код Free-SA: во всех версиях, выпущенных за последние несколько лет размер имени пользователя ограничен 127 символами. Скорее всего имен нет в самом журнале, перепроверьте.


"Free-SA - squid statistic analyzer"
Отправлено exonix , 30-Мрт-12 15:56 
после того как выполняю два подряд запроса на генерацию отчёта:
free-sa -d 03/29/2012-03/30/2012
создаются ДВЕ ссылки на два отчёта.
http://192.168.10.140/free-sa/03_29_2012-03_30_2012-1/index....
http://192.168.10.140/free-sa/03_29_2012-03_30_2012-2/index....
Может имеет смысл сделать проверку на каталог с датой? и делать не дубликат, а обновлять отчёт?

про установку на х64 я ответил: https://sourceforge.net/apps/phpbb/free-sa/viewtopic.php?f=2...


"Free-SA - squid statistic analyzer"
Отправлено saper , 30-Мрт-12 16:21 
> после того как выполняю два подряд запроса на генерацию отчёта:
> free-sa -d 03/29/2012-03/30/2012
> создаются ДВЕ ссылки на два отчёта.
> http://192.168.10.140/free-sa/03_29_2012-03_30_2012-1/index....
> http://192.168.10.140/free-sa/03_29_2012-03_30_2012-2/index....
> Может имеет смысл сделать проверку на каталог с датой? и делать не
> дубликат, а обновлять отчёт?
> про установку на х64 я ответил: https://sourceforge.net/apps/phpbb/free-sa/viewtopic.php?f=2...

Посмотрите опции rotate и overwrite, одна из них поможет точно :)


"Free-SA - squid statistic analyzer"
Отправлено exonix , 30-Мрт-12 16:57 
> Посмотрите опции rotate и overwrite, одна из них поможет точно :)

reports_overwrite="1"
помогло. теперь создаёт 03_30_2012-03_30_2012-1, в следующий раз 03_30_2012-03_30_2012-2, а потом снова 03_30_2012-03_30_2012-1
разница в последнем знаке. ))
кстати, скрипт:

>root@proxy-test:~# cat /etc/free-sa/free-sa_day.sh
>#!/bin/bash
># REPORT LOG SQUID3 #
>#set -x
>umask 0022
>export LANG=en_US.UTF-8
>export LC_ALL=
>free_sa=/usr/bin/free-sa
>date1=`date +%x`
>$free_sa -d $date1-

может есть что получше? и почему-то у меня к кроне он не срабатывает.
К скрипту было описание - удаляет месячную статистику - только я не пойму - а где это в скрипте...

># m h  dom mon dow   command
>1 * * * * /etc/free-sa/free-sa_day.sh

От чего так?


"Free-SA - squid statistic analyzer"
Отправлено saper , 01-Апр-12 22:52 
>[оверквотинг удален]
>># REPORT LOG SQUID3 #
>>#set -x
>>umask 0022
>>export LANG=en_US.UTF-8
>>export LC_ALL=
>>free_sa=/usr/bin/free-sa
>>date1=`date +%x`
>>$free_sa -d $date1-
> может есть что получше? и почему-то у меня к кроне он не
> срабатывает.

Вариантов много. Если есть ошибки, то в некоторых дистрибутивах ошибки из консоли (stderr от программы) высылается root-у на почту (так в Slackware). Может быть вы crontab неправильно обновили? Насколько я помню документация на crond рекомендует редактировать через команду crontab.

Я бы предложил изменить последнюю строку в вашем скрипте на:
$free_sa -d $date1- 2>/tmp/free-sa.log

И смотреть потом этот free-sa.log на предмет ошибок.

> К скрипту было описание - удаляет месячную статистику - только я не
> пойму - а где это в скрипте...
>># m h  dom mon dow   command
>>1 * * * * /etc/free-sa/free-sa_day.sh

Я не совсем понял откуда скрипт должен удалять статистику - из журнала access.log или из списка отчетов (Free-SA может и то и то). Если из отчетов нужно удалить все отчеты сделанные от одного месяца и старше от текущей даты, то нужно выставить опцию reports_rotate="month". Учтите, что month это 30 полных дней, которые считаются от даты запуска Free-SA. Ротация будет происходить при каждом запуске Free-SA для генерации отчетов, а также при запуске в опцией free-sa -F


"Free-SA - squid statistic analyzer"
Отправлено saper , 30-Мрт-12 16:35 
> про установку на х64 я ответил: https://sourceforge.net/apps/phpbb/free-sa/viewtopic.php?f=2...

Я там написать не могу (пароль забыл), лучше всего сделать так:
1. Поставить OSTYPE = ubuntu-x86_64-gcc4 в global.mk
2. Скопируйте configs/ubuntu-i586-gcc4.mk в configs/ubuntu-x86_64-gcc4.mk
3. В новом configs/ubuntu-x86_64-gcc4.mk сотрите -march=$(SARCH)
Вот так оно точно соберется, правда без сильной оптимизации.

По идее, для получения хорошей оптимизации под машинку, на которой собираете поставьте -march=native в том же месте где было -march=$(SARCH) в configs/ubuntu-x86_64-gcc4.mk, но какие то версии.


"Free-SA - squid statistic analyzer"
Отправлено saper , 30-Мрт-12 17:49 
> По идее, для получения хорошей оптимизации под машинку, на которой собираете поставьте
> -march=native в том же месте где было -march=$(SARCH) в configs/ubuntu-x86_64-gcc4.mk,
> но какие то версии.

Но какие то версии GCC не принимают -march=native под x86_64 или даже под всеми архитектурами, поэтому может не сработать, тогда можете попробовать указать архитектуру вашей машинки (например, -march=core2).


"Free-SA - squid statistic analyzer"
Отправлено exonix , 30-Мрт-12 17:51 
> Я там написать не могу (пароль забыл), лучше всего сделать так:
> 1. Поставить OSTYPE = ubuntu-x86_64-gcc4 в global.mk
> 2. Скопируйте configs/ubuntu-i586-gcc4.mk в configs/ubuntu-x86_64-gcc4.mk
> 3. В новом configs/ubuntu-x86_64-gcc4.mk сотрите -march=$(SARCH)
> Вот так оно точно соберется, правда без сильной оптимизации.
> По идее, для получения хорошей оптимизации под машинку, на которой собираете поставьте
> -march=native в том же месте где было -march=$(SARCH) в configs/ubuntu-x86_64-gcc4.mk,
> но какие то версии.

1 + 2 + -march=native и всё работает в х64. Спасибо!

только почему-то проверил трафик - на 3 МБ меньше чем час назад в статистике.
разобрался с 3 МБ - я делаю все тесты на Hyper-V. Когда начал тесты с -march=native я перед этим откалился на snapshot до установки free-sa )) а там не было этих 3 МБ ))

кстати, как на счёт того что бы добавить где нить кнопку возврата на стартовую страницу? А то не удобно...

>Но какие то версии GCC не принимают -march=native под x86_64 или даже под всеми архитектурами, поэтому может не сработать, тогда можете попробовать указать архитектуру вашей машинки (например, -march=core2)

а для i7 что писать?


"Free-SA - squid statistic analyzer"
Отправлено saper , 01-Апр-12 23:01 
> только почему-то проверил трафик - на 3 МБ меньше чем час назад
> в статистике.
> разобрался с 3 МБ - я делаю все тесты на Hyper-V. Когда
> начал тесты с -march=native я перед этим откалился на snapshot до
> установки free-sa )) а там не было этих 3 МБ ))

Ну ок :) Я не совсем понял, что произошло, но если были разные журналы, то разница по объему возможна, но между разными версиями free-sa или даже сборками, разницы быть не должно. У нас все точно ;)

> кстати, как на счёт того что бы добавить где нить кнопку возврата
> на стартовую страницу? А то не удобно...

Просили такое как то, но потом мнения разошлись, все хотели кнопки возврата в разные отчеты, кто то хотел в пользовательский, кто то в главную страницу отчета, кто то в список всех отчетов :( поэтому не стал ничего делать. Если нажать на кнопку браузера "Назад" и подержать, то там можно найти нужную страницу.

> а для i7 что писать?

Да не знаю :) посмотрите man gcc, там много вариантов:
corei7 - Intel Core i7 CPU with 64-bit extensions, MMX, SSE, SSE2, SSE3, SSSE3, SSE4.1 and SSE4.2 instruction set support.

corei7-avx - Intel Core i7 CPU with 64-bit extensions, MMX, SSE, SSE2, SSE3, SSSE3, SSE4.1, SSE4.2, AVX, AES and PCLMUL instruction set support.

Если вышлете мне i7, то я обязательно разберусь что туда лушче написать :D

Но если -march=native работает и запускать будете на той же машинке, что и собирали, то можете не искать, -march=native сама подберет правильное значение и возможно выставит еще несколько дополнительных флажков именно под вашу машинку.


"Free-SA - squid statistic analyzer"
Отправлено Игорь , 05-Апр-12 14:12 
Подскажите, как заставить free-sa прочитать лог сквида в таком виде:

Apr  5 14:05:25 proxy (squid): 1333620325.926    226 10.200.5.100 TCP_HIT/200 1115 GET http://habrahabr.ru/i/bg-button-enter.png - NONE/- image/png


"Free-SA - squid statistic analyzer"
Отправлено saper , 06-Апр-12 22:26 
> Подскажите, как заставить free-sa прочитать лог сквида в таком виде:
> Apr  5 14:05:25 proxy (squid): 1333620325.926    226 10.200.5.100
> TCP_HIT/200 1115 GET http://habrahabr.ru/i/bg-button-enter.png - NONE/- image/png

Поддержки такого формата точно нет. А что это за формат? Squid Native пишущий в Syslog?

Наверное можно попробовать такое реализовать, только не очень выгодно хранить такие журналы (много лишней информации).


"Free-SA - squid statistic analyzer"
Отправлено Игорь , 09-Апр-12 08:19 
Да через syslog, а как попробовать реализовать?

"Free-SA - squid statistic analyzer"
Отправлено saper , 11-Апр-12 09:23 
> Да через syslog, а как попробовать реализовать?

Я попробую :) Только как с вами связаться, чтобы протестировать?


"Free-SA - squid statistic analyzer"
Отправлено Vladd , 15-Окт-12 16:27 
>> Да через syslog, а как попробовать реализовать?
> Я попробую :) Только как с вами связаться, чтобы протестировать?

Стоял free-sa, работал на логи сквида и постфикса. Посел переустановки сервера поставил последнюю версию. Сквид настроил быстро, пока все ОК, а вот с логами постфикса выдает такую фигню:

Вот такая вот ошибочка выходит при чтении free-sa лога postfix
SAERROR: [PFSLReadRecordM] Can't read username from log

Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов. Куда копать?

з.ы. Система Suse 11



"Free-SA - squid statistic analyzer"
Отправлено saper , 20-Окт-12 13:03 
> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
> SAERROR: [PFSLReadRecordM] Can't read username from log
> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
> Куда копать?

А какая у вас версия Free-SA и есть ли какие-нибудь записи от других приложений в журнале Postfix?


"Free-SA - squid statistic analyzer"
Отправлено Vladd , 22-Окт-12 10:30 
>> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
>> SAERROR: [PFSLReadRecordM] Can't read username from log
>> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
>> Куда копать?
> А какая у вас версия Free-SA и есть ли какие-нибудь записи от
> других приложений в журнале Postfix?

В отчетах внизу пишет Free-SA 2.0.0b5p10
Скачивал последнюю вресию с сайта на той неделе.
Кроме Постфикса в логах еще записи от amavis и apolicy, но они были всегда и до переустановки отлично читались free-sa (наверное, версией постарше).


"Free-SA - squid statistic analyzer"
Отправлено Vladd , 22-Окт-12 10:37 
>>> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
>>> SAERROR: [PFSLReadRecordM] Can't read username from log
>>> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
>>> Куда копать?
>> А какая у вас версия Free-SA и есть ли какие-нибудь записи от
>> других приложений в журнале Postfix?
> В отчетах внизу пишет Free-SA 2.0.0b5p10
> Скачивал последнюю вресию с сайта на той неделе.
> Кроме Постфикса в логах еще записи от amavis и apolicy, но они
> были всегда и до переустановки отлично читались free-sa (наверное, версией постарше).

Очень странно. Пока ждал ответа от Вас, не заглядывал в сбор статистики, а вот сейчас глянул. Оказалось, что она все же иногда работала, а именно собралась за 16, 18, 20, 21 число. Т.е. иногда в логах дня что-то не так (за 17 и 19 число) и она выдает ошибку и не собирается. Настоящий лог только что отработало без проблем. Понаблюдаю еще. Как бы вычислить проблему?



"Free-SA - squid statistic analyzer"
Отправлено Vladd , 22-Окт-12 10:40 
>>> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
>>> SAERROR: [PFSLReadRecordM] Can't read username from log
>>> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
>>> Куда копать?
>> А какая у вас версия Free-SA и есть ли какие-нибудь записи от
>> других приложений в журнале Postfix?
> В отчетах внизу пишет Free-SA 2.0.0b5p10
> Скачивал последнюю вресию с сайта на той неделе.
> Кроме Постфикса в логах еще записи от amavis и apolicy, но они
> были всегда и до переустановки отлично читались free-sa (наверное, версией постарше).

Куда free-sa пишет логи ошибок своих? Что-то не нашел.



"Free-SA - squid statistic analyzer"
Отправлено saper , 22-Окт-12 11:56 
> Куда free-sa пишет логи ошибок своих? Что-то не нашел.

Free-SA пишет ошибки в stderr. Если запускаете через cron, то раньше вывод stderr присылался на почту root-у. Да, это делает сам crond, а не Free-SA.


"Free-SA - squid statistic analyzer"
Отправлено Vladd , 22-Окт-12 16:40 
>> Куда free-sa пишет логи ошибок своих? Что-то не нашел.
> Free-SA пишет ошибки в stderr. Если запускаете через cron, то раньше вывод
> stderr присылался на почту root-у. Да, это делает сам crond, а
> не Free-SA.

У меня cron запускает мой скрипт, в котором собственно происходит запуск free-saс нужным конфигом и параметрами времени.


"Free-SA - squid statistic analyzer"
Отправлено saper , 22-Окт-12 17:27 
>>> Куда free-sa пишет логи ошибок своих? Что-то не нашел.
>> Free-SA пишет ошибки в stderr. Если запускаете через cron, то раньше вывод
>> stderr присылался на почту root-у. Да, это делает сам crond, а
>> не Free-SA.
> У меня cron запускает мой скрипт, в котором собственно происходит запуск free-saс
> нужным конфигом и параметрами времени.

Тогда можете в скрипте написать что то вроде:
date >> /tmp/free-sa.log
и исправить строку запуска free-sa на что то вроде
free-sa ПАРАМЕТРЫ 2>>/tmp/free-sa.log

Хотя по идее, весь вывод в stderr, cron должен присылать на почту root-у. По крайней мере, так было в Slackware десятилетиями ;)


"Free-SA - squid statistic analyzer"
Отправлено Vladd , 24-Окт-12 11:33 
>[оверквотинг удален]
>>> stderr присылался на почту root-у. Да, это делает сам crond, а
>>> не Free-SA.
>> У меня cron запускает мой скрипт, в котором собственно происходит запуск free-saс
>> нужным конфигом и параметрами времени.
> Тогда можете в скрипте написать что то вроде:
> date >> /tmp/free-sa.log
> и исправить строку запуска free-sa на что то вроде
> free-sa ПАРАМЕТРЫ 2>>/tmp/free-sa.log
> Хотя по идее, весь вывод в stderr, cron должен присылать на почту
> root-у. По крайней мере, так было в Slackware десятилетиями ;)

Вот сегодня опять не отработало. Та же ошибка. В почте рута тишина.
Вот мой скрипт:

#1 /bin/sh
export LC_ALL=ru_RU.UTF8
export LANG=ru_RU.UTF8
date1=`date +%x`
date >> /var/log/free-sa.log
echo $date1
exec /usr/bin/free-sa \
-f /etc/free-sa/free-sa_maillog.conf
-d -$date1
2>> /var/log/free-sa.log
exit 0

Дата в лог пишется, а больше ничего.



"Free-SA - squid statistic analyzer"
Отправлено saper , 24-Окт-12 12:08 
> Вот сегодня опять не отработало. Та же ошибка. В почте рута тишина.

Ок, не могли бы вы попробовать последовательно вот эти три версии Free-SA, начиная с самой младшей и сообщить в каких ошибка себя проявляет. Да, если ошибка проявляется уже в одной из младших версий, то в старших она точно есть, поэтому их можно не проверять.

- 2.0.0b4p8
- 2.0.0b4p15
- 2.0.0b5

Это те версии, где вносились изменения в код касающийся обработки Postfix журналов.


"Free-SA - squid statistic analyzer"
Отправлено Vladd , 24-Окт-12 12:42 
>> Вот сегодня опять не отработало. Та же ошибка. В почте рута тишина.
> Ок, не могли бы вы попробовать последовательно вот эти три версии Free-SA,
> начиная с самой младшей и сообщить в каких ошибка себя проявляет.
> Да, если ошибка проявляется уже в одной из младших версий, то
> в старших она точно есть, поэтому их можно не проверять.
> - 2.0.0b4p8
> - 2.0.0b4p15
> - 2.0.0b5
> Это те версии, где вносились изменения в код касающийся обработки Postfix журналов.

Проблематично будет. Может быстрее лог прислать?



"Free-SA - squid statistic analyzer"
Отправлено saper , 27-Окт-12 22:20 
> Проблематично будет. Может быстрее лог прислать?

Ок, но посмотрю на следующих выходных только.
Сожмите хорошенько логи :) gzip -9 или bzip2 -9
E-mail можно взять любой из документации к программе (README).


"Free-SA - squid statistic analyzer"
Отправлено Vladd , 05-Ноя-12 12:27 
>> Проблематично будет. Может быстрее лог прислать?
> Ок, но посмотрю на следующих выходных только.
> Сожмите хорошенько логи :) gzip -9 или bzip2 -9
> E-mail можно взять любой из документации к программе (README).

Там небольшой лог должен быть. Уже сжат. Был в отпуске. Сегодня олтправлю.



"Free-SA - squid statistic analyzer"
Отправлено Vladd , 22-Окт-12 10:57 
>> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
>> SAERROR: [PFSLReadRecordM] Can't read username from log
>> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
>> Куда копать?
> А какая у вас версия Free-SA и есть ли какие-нибудь записи от
> других приложений в журнале Postfix?

И сразу еще один вопрос. Вот в таком виде теперь программа выдает отчет.
10    3743@domen.ua    9    842 029    bounce-newsletter@mailersend.com, reg4noreply@professionali.ru, bounces+58461-2b2e-dop=udh0.bank.gov.ua@sg.booking.com, update+kr4maqyas5ka@facebookmail.com, olga.barabash@gmail.com
11    dop@domen.ua    9    837 874    bounce-newsletter@mailersend.com, reg4noreply@professionali.ru, bounces+58461-2b2e-dop=udh0.bank.gov.ua@sg.booking.com, update+kr4maqyas5ka@facebookmail.com, olga.barabash@gmail.com
12    1507@domen.ua    4    353 414    trudua@trud.ua, update+zj4o9y6t92y6@facebookmail.com, spd.info@ukr.net
13    zou@domen.ua    4    351 545    trudua@trud.ua, update+zj4o9y6t92y6@facebookmail.com, spd.info@ukr.net
14    1515@domen.ua    2    305 278    kon1956@gmail.com
15    gla@domen.ua    2    304 255    kon1956@gmail.com

Т.е. выдает и имя пользователя в домене и в cyrus, и одновременно имя ящика, которое связано с именем в домене через aliases. Такое вот дублирование. Раньше такого не было, хотя работала почта по такой же схеме.


"Free-SA - squid statistic analyzer"
Отправлено saper , 22-Окт-12 11:57 
> И сразу еще один вопрос. Вот в таком виде теперь программа выдает
> отчет.
> Т.е. выдает и имя пользователя в домене и в cyrus, и одновременно
> имя ящика, которое связано с именем в домене через aliases. Такое
> вот дублирование. Раньше такого не было, хотя работала почта по такой
> же схеме.

А не подскажете, где тут что (имя пользователя в домене, в cyrus, имя ящика)? :-\


"Free-SA - squid statistic analyzer"
Отправлено Vladd , 22-Окт-12 16:38 
>[оверквотинг удален]
> bounces+58461-2b2e-dop=udh0.bank.gov.ua@sg.booking.com, update+kr4maqyas5ka@facebookmail.com,
> olga.barabash@gmail.com
> 12 1507@domen.ua 4 353 414 trudua@trud.ua, update+zj4o9y6t92y6@facebookmail.com, spd.info@ukr.net
> 13 zou@domen.ua 4 351 545 trudua@trud.ua, update+zj4o9y6t92y6@facebookmail.com, spd.info@ukr.net
> 14 1515@domen.ua 2 305 278 kon1956@gmail.com
> 15 gla@domen.ua 2 304 255 kon1956@gmail.com
> Т.е. выдает и имя пользователя в домене и в cyrus, и одновременно
> имя ящика, которое связано с именем в домене через aliases. Такое
> вот дублирование. Раньше такого не было, хотя работала почта по такой
> же схеме.

1507 - имя в домене
user.1507 - имя ящика в цирусе
"zou:   1507" - запись в файле aliases, чтобы все, что приходит на ящик zou@domen.ua падало в ящик user.1507


"Free-SA - squid statistic analyzer"
Отправлено Игорь , 12-Апр-12 14:05 
пиши на мыло opushnevigor@rambler.ru

"Free-SA - squid statistic analyzer"
Отправлено Анатолий , 24-Июн-14 18:00 
SAERROR: [LoadLocalisation] Incorrect file format
что это такое почему не получается

"Free-SA - squid statistic analyzer"
Отправлено saper , 12-Сен-14 22:23 
> SAERROR: [LoadLocalisation] Incorrect file format
> что это такое почему не получается

Что то я много пропустил в этой дискуссии на opennet. Перестали приходить уведомления.

Такая ошибка может возникнуть только если сборка или установка была выполнена с ошибками. Попробуйте пересобрать и переустановить программу.


"Free-SA - squid statistic analyzer"
Отправлено александр , 03-Фев-15 07:54 
не могли бы вы мне подсказать как сделать статистику по одному сайту


"Free-SA - squid statistic analyzer"
Отправлено александр , 03-Фев-15 09:19 
> не могли бы вы мне подсказать как сделать статистику по одному сайту

разобрался сам