1.1, Аноним (-), 02:18, 22/03/2007 [ответить] [﹢﹢﹢] [ · · · ]
| +1 +/– |
lightsquid рулит и точка. Free-SA - ещё оочень примитив по сравнению с доработанностями сарга или лайт-сквида. | |
|
2.6, saper (?), 09:35, 22/03/2007 [^] [^^] [^^^] [ответить]
| +1 +/– |
> по сравнению с доработанностями сарга
Я надеюсь, что lightsquid был "доработан" не так же, как SARG. Потому что я сам, в течение 2-х лет писал и отправлял автору патчи для SARG-а. Обилие ошибок, которые никто не исправляет (или не видит), и при этом добавляется функционал - вот это то, что я думаю по поводу SARG.
Про Lightsquid ничего не могу сказать, в свое время он не устроил меня тем, что требовал perl (и кажется скоростью работы).
| |
|
3.11, c0re (??), 10:34, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
полгода использую - один только баг непонятный - вместо одного юзера подставляет хост самой прокси в отчёте, что-то с днс там, наверное.. Во всём остальном проблем нет, только с одним юзером тем. А так - красиво всё, понятно и без излишеств. | |
3.39, Sergey Erokhin (?), 16:07, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
lightsquid - общего от сарга, только тема оформления
ну и самый первый - делался по мотивам конечно
но с тех пор МНОГО воды утекло ;)
да и перл позволяет от кучи проблемм уйти которые хорошо видны ниже в постах
да и сейчас он умеет много удобных вещей которых в сарге нет
группы
получени имени пользователя через функцию
(т.е. рельно это проблемма админа как из набора
IP, AUTHNAME, TIME
получить учетное имя
уже образовалось КУЧА вариантов
хочь из SQL базы
хочь из файла как в сарге
хочь dns
хочь из SMB имени
;)
ну про темплейты оформления эт само собой
очень легко интегрировать в собственный портал ;)
ну и остальное ;) | |
|
|
1.2, Vatson (??), 05:02, 22/03/2007 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
в принципе не плох только почемуто вместо разделителя разрядов вылазит 'Б─┌' | |
|
2.5, saper (?), 09:27, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
> вместо разделителя разрядов вылазит 'Б─┌'
Эта функция реализована через штатный printf. Постараюсь разобраться. Локаль у вас UTF-8?
| |
2.44, saper (?), 18:17, 22/03/2007 [^] [^^] [^^^] [ответить] | +/– | Разобрался , это проблема локали, в которой определен этот странный символ в ка... большой текст свёрнут, показать | |
|
3.59, Michael Shigorin (?), 22:39, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Как временное решение, при сильном желании использовать ru_RU.UTF8 можно переопределить заново локаль,
>где в качестве символа разделителя разрядов указать что то попроще.
Думаю, Вы понимаете, что это не решение. Перекраивать системную локаль, которая более нигде проблем не создаёт, ради анализатора логов -- неконструктивно.
Если честно, то вместе с отношением к /tmp у меня пока пропало желание _проверять_ результат на пригодность, хотя подсказать про возможность выставления LC_NUMERIC у себя в коде в C или POSIX -- подсказываю. | |
|
4.61, saper (?), 23:00, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
> Думаю, Вы понимаете, что это не решение. Перекраивать системную локаль, которая более нигде проблем не создаёт, ради анализатора логов -- неконструктивно.
Да понимаю и согласен с вами, поэтому сейчас буду разбираться что он там пишет и если это проблема libc, то извините - баг отпишу разработчикам libc, а не программу переделывать буду. Если хотите отпишу о результатах тут.
> Если честно, то вместе с отношением к /tmp у меня пока пропало желание _проверять_ результат на пригодность
Я ниже ответил куском кода, вам то решение не подходит? | |
|
|
6.65, saper (?), 00:19, 23/03/2007 [^] [^^] [^^^] [ответить] | +/– | Я не про все ru_RU, а только про ru_RU UTF8 например, в Slackware но видимо в A... большой текст свёрнут, показать | |
|
|
4.64, saper (?), 23:52, 22/03/2007 [^] [^^] [^^^] [ответить] | +/– | Итак, все три локали штатно в системе, никто их не менял и не переопределял l... большой текст свёрнут, показать | |
|
5.87, Michael Shigorin (?), 16:25, 25/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Это если вывод в UTF-8 созерцать в терминале с кодировкой локали и шрифта KOI8-R. В utf'ной -- нормально.
$ LC_NUMERIC=ru_RU.UTF8;./x
[ 65 535 ]
Поскольку сам предпочитаю на сегодня KOI8, то юникодный терминал, прицепленный на комбинацию клавиш, запускается так:
#!/bin/sh
G_FILENAME_ENCODING=utf-8 LC_ALL=ru_RU.UTF-8 LC_COLLATE=uk_UA.UTF8 LC_CTYPE=uk_UA.UTF8 exec urxvt +sb -fn '-*-terminus-bold-*-*-*-20-*-*-*-*-*-iso10646-*' -rv -cr yellow -tn xterm &
Вывод: или всё-таки синхронизировать кодировки, или (может оказаться проще и практичнее) делать что-то вроде setlocale (LC_NUMERIC,"C"); | |
|
6.88, saper (ok), 17:08, 25/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>$ LC_NUMERIC=ru_RU.UTF8;./x
>[ 65 535 ]
Да, с вашими параметрами запуска терминала у меня тоже пробел вставляет. В общем эта проблема немного странная для меня. Потому что OpenOffice вывод программы открывает с квадратиком на месте того символа (при открытии как "кодированный текст (*.txt)"). | |
|
|
|
|
|
|
2.18, Michael Shigorin (?), 12:55, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Жаль только, lightparser прожорлив. Совсем не light...
А на выходе неплохо.
(манагерское) Было бы здорово совместить быстрый парсер free-sa и уже существующую толковую морду lightsquid, не? | |
|
3.24, saper (?), 13:38, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
> (манагерское) Было бы здорово совместить быстрый парсер free-sa и уже существующую толковую морду lightsquid, не?
Легкий интерфейс (CGI) к Free-SA уже в разработке.
От perl-зависимостей хочется избавиться.
| |
3.34, Sergey Erokhin (?), 15:50, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
> Жаль только, lightparser прожорлив. Совсем не light...
не понял ???
это как, в каком месте он прожорлив ????
по памяти ?
какие параметры ?
размер лога
сколько юзеров в день
пускается ли с параметром today
какой стоит ip2name ? | |
|
|
|
2.89, KlounAda (??), 02:31, 26/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Хм. А как оно в сравнении с SAMS?
Да никак. SAMS ставиться одной левой, быстро исправляется что надо в коде - и вуаля ;) | |
|
1.7, Аноним (-), 09:42, 22/03/2007 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Хм, а зачем, "скорость работы", у меня он ночью статистику генерирует?! | |
|
2.8, saper (?), 09:44, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
> зачем, "скорость работы", у меня он ночью статистику генерирует
Это у кого какие цели. Кому то нужно оперативно узнать, кто сейчас закачку запустил, кому то просто построить выборочный отчет (например, по другому периоду) - тут тоже 1 час ждать против 3 минут - существенно... | |
2.35, Sergey Erokhin (?), 15:57, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
в lightsquid
с параметром today
пускаеться раз в 15 минут
лог - один файл с начала месяца
приблизительно 1 гиги лога в день добавляются ....
какие вопросы по скорости ? | |
|
1.9, SHRDLU (ok), 10:04, 22/03/2007 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Читаем INSTALL, затем
# make
"Makefile", line 56: Missing dependency operator
"Makefile", line 69: Need an operator
make: fatal errors encountered -- cannot continue
# uname -a
FreeBSD proxy 4.9-RELEASE FreeBSD 4.9-RELEASE #4: Fri Jan 28 09:23:37 SAMT 2005 shrdlu@cl2-74:/usr/src/sys/compile/mykernel i386
Продукт нуждается в доработке напильником. | |
|
2.10, Andrew Kolchoogin (?), 10:26, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Млять. :) Ну неужели есть люди, которые по характерным "Missing Dependency Operator" при компиляции софта под FreeBSD автоматически не начинают набирать "gmake" вместо "make"?! | |
|
3.12, SHRDLU (ok), 10:43, 22/03/2007 [^] [^^] [^^^] [ответить] | +/– | Да, представьте, такие люди есть А еще есть люди, которые, например, умеют по х... большой текст свёрнут, показать | |
|
4.16, smb (?), 12:52, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>cc1: unknown C standard 'c99'
gcc-то обновите чтоль, а то со времени freebsd-4.9 мноого воды утекло...И не за чем почём зря ругать нормальный софт пинать....
| |
|
5.20, SHRDLU (ok), 13:04, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>>cc1: unknown C standard 'c99'
>gcc-то обновите чтоль, а то со времени freebsd-4.9 мноого воды утекло...И не
да была б сильная необходимость... а из-за поглядеть на новый генератора отчетов сквида - ну нафиг, лень. сдохнет винт - поставлю шестерку.
>за чем почём зря ругать нормальный софт пинать....
Да упаси боже. Респект автору за труды. | |
5.25, saper (?), 13:40, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>cc1: unknown C standard 'c99'
gcc-то обновите чтоль
Да можно смело убрать из Makefile std=c99. Это скорее для лишней проверки кода.
| |
|
|
|
2.26, saper (?), 13:42, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Спасибо. Это я обязательно исправлю. Хочется Free-SA сделать кроссплатформенным (хотя я Makefile писал по какой то Unix-овой книжке, а не Linux-овой).
| |
2.57, гость (?), 22:33, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Продукт нуждается в доработке напильником.
Это доисторическая бздя нуждается в напильнике... да и админу её не помешало бы :-)
| |
|
3.69, SHRDLU (ok), 07:23, 23/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>>Продукт нуждается в доработке напильником.
>Это доисторическая бздя нуждается в напильнике... да и админу её не помешало
>бы :-)
Чушь. В напильнике нуждается именно Free-SA. Судя по двум причинам. Во-первых, весь остальной софт на этой, как Вы выразились, "доисторической бзде" собирается и работает абсолютно нормально. Вторую причину, думаю, Вы сами способны были заметить - количество других обнаруженных граблей, упомянутых в треде.
Автора, впрочем, вполне извиняет номер версии программы. Москва не сразу строилась. | |
|
|
5.72, SHRDLU (ok), 10:06, 23/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Ну строго говоря, 4.x уже не поддерживается. Остальные причины согласиться с
Ну с этим можно согласиться.
>>собирается и работает абсолютно нормально.
>Не думаю, что там соберётся многое из того, что без напильника собирается
>и работает у меня на linux-2.6/glibc-2.5. Впрочем, как пакеты, так
Пардон, у меня там не полигон для экспериментов, а прокси-сервер. Там нужны squid/squidguardian, апач и sarg. Все это прекрасно собирается и работает. Остальное меня уже мало интересует.
>Хотя шеллом на доисторической бзде тоже можно помочь, думаю. :)
"этим принято озадачиваться тем, для кого оно актуально" (с) Вы :)
Меня пока и саргом устраивает, чтобы убивать моск на настройку сомнительного продукта. | |
|
6.75, Michael Shigorin (?), 13:43, 23/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>>Хотя шеллом на доисторической бзде тоже можно помочь, думаю. :)
>"этим принято озадачиваться тем, для кого оно актуально" (с) Вы :)
Ну так предложение-то автору.
>Меня пока и саргом устраивает, чтобы убивать моск на настройку сомнительного продукта.
Судя по реакции ходивших внутрь sarg коллег вроде raorn@, в своё время пока получалось -- сидел на webalizer, а как появился и заработал lightsquid -- съехали на него.
Просто сейчас у одного из клиентов, которому требуется близкая к онлайновой статистика, lightparser и является основным потребителем Athlon 850. Соответственно некоторый практический интерес в улучшении есть (хотя там это будет решено переездом на двухъядерник), но -- повторюсь -- цели выкинуть перл любой ценой вообще-то нет. Сишные cgi тоже проходили когда-то... | |
|
7.83, Sergey Erokhin (?), 22:10, 24/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Просто сейчас у одного из клиентов, которому требуется близкая к онлайновой статистика,
>lightparser и является основным потребителем Athlon 850. Соответственно некоторый практический
>интерес в улучшении есть (хотя там это будет решено переездом на
>двухъядерник), но -- повторюсь -- цели выкинуть перл любой ценой вообще-то
>нет. Сишные cgi тоже проходили когда-то...
ух ты, надеюсь today - стоит
тип лога - native
и версия 1.7.1 ?
в lightsquid - паресер и веб часть это две разнные части
одна показывает то что нагенерила вторая
можно в теории для слабых машин написать свой парсер, отдельный
ну или под спец задачи ...
| |
|
|
|
|
|
|
1.14, tt (??), 12:30, 22/03/2007 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Тестировал.
Прогнал его на моём стандартном логе за месяц, обьём гиг, 900 пользователей, получаю ошибку:
SAERROR: [SAfopenI] /tmp/sa/u_st-010306.uns. Too many open files | |
|
2.15, Xeon (??), 12:49, 22/03/2007 [^] [^^] [^^^] [ответить]
| +1 +/– |
>Тестировал.
>
>Прогнал его на моём стандартном логе за месяц, обьём гиг, 900 пользователей,
>получаю ошибку:
>
>SAERROR: [SAfopenI] /tmp/sa/u_st-010306.uns. Too many open files
Максимальное количество одновременно открытых файлов определяется настройками ОС.
Обратитесь к документации на ваш тип ОС.
| |
|
3.17, tt (??), 12:52, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Я посмотрел, количество созданных файло 1020, очевидно ограничение 1024 файла.
На сайте проекта висит единственный баг - как раз эта ошибка, открыт 30 дней назад.
Насчёт ограничения проверю. | |
|
4.32, saper (?), 15:03, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
> На сайте проекта висит единственный баг - как раз эта ошибка, открыт 30 дней назад.
Не 30 ;-) | |
|
|
4.67, KostyaK (?), 04:34, 23/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Но под Solaris это не срабатывает... ;(
fopen не может открыть больше 256 файлов. только open()...
Цитата:
"The number of the file descriptor used by the fopen(3C) must be less than 256."
см. http://access1.sun.com/technotes/01406.html
bash-2.05# uname -a
SunOS mozart 5.9 Generic_117171-17 sun4u sparc SUNW,Sun-Fire-V210
bash-2.05# ulimit -n
65536
bash-2.05# free-sa
SAERROR: [SAfopenI] /tmp/sa/u_192.168.30.103.uns. Too many open files
bash-2.05# cd /tmp/sa
bash-2.05# ls -l | wc -l
254
bash-2.05#
| |
|
5.68, KostyaK (?), 04:54, 23/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
А еще в Solaris'е версий ниже 10 нет функции round();
Так что, либо floor() | ceil(), либо включать в дистрибутив исходник round().
| |
|
|
|
2.23, tt (??), 13:26, 22/03/2007 [^] [^^] [^^^] [ответить] | +/– | С количеством файлов разобрался Ещё одна проблема SAERROR SAfopenI tmp sa ... большой текст свёрнут, показать | |
|
3.28, saper (?), 13:56, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
> Слишком длинное имя файла
Постараюсь исправить сегодня в новой версии.
| |
3.47, uldus (ok), 20:38, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>SAERROR: [SAfopenI] /tmp/sa/%20%20
> Слишком длинное имя файла
>т.е. кто-то пытался залогинится с длиииинным именем пользователя, сквид его конечно не
>пустил, но free-sa эту строчку пыталась обработать и не смогла создать файл с таким длинным именем...
Ого ! Проверьте где будет создан временный файл, если попробовать залогинится под пользователем "../test", "\.\.\/test", "test\0../test", "..%2Ftest" и подобными ?
А если до запуска Free-SA другим пользователем сделать симлинк /tmp/sa допустим в /var/log, сругается или съест ? | |
|
4.48, saper (?), 21:05, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Ого ! Проверьте где будет создан временный файл, если попробовать залогинится под
>пользователем "../test", "\.\.\/test", "test\0../test", "..%2Ftest" и подобными ?
Разве squid пишет в журнал '/' без замены на %2F? Что касается touch "..%2Ftest", то замечательно работает ;-) '\' и '%' заменяются на '_'.
>А если до запуска Free-SA другим пользователем сделать симлинк /tmp/sa
>допустим в /var/log, сругается или съест ?
А это зачем?
| |
|
5.50, uldus (ok), 21:53, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>>А если до запуска Free-SA другим пользователем сделать симлинк /tmp/sa
>>допустим в /var/log, сругается или съест ?
>А это зачем?
Например, один из сценариев. Пользователь пупкин делает от своего имени в /tmp симлинк /tmp/sa на /home/pupkin/sa - в которой создает симлинк u_bosslogin.uns на /etc/passwd. Если парсер запускается от рута, можно серьезно напакостить, если не из-под рута - тихо удалять свой файл с логом, выждав момент обработки лога, и на халяву пользоваться сетью.
| |
|
6.54, saper (?), 22:26, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Файл reports/r_reports.c
/* Remove and create temporary directory */
SAsystem("rm", "rm", "-rf", cfg.TempDir, NULL);
if (mkdir(cfg.TempDir, 0750)) SAexit(F_INITREPORTS, "%s. %s", cfg.TempDir, strerror(errno));
Так что Пупкину не повезло.
| |
|
5.51, uldus (ok), 21:58, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Разве squid пишет в журнал '/' без замены на %2F? Что касается
У вас же универсальная система, может squid и эскейпит, а вдруг какой-нибудь CGP не будет эскейпить. Не нужно в таких случаях доверять логу, строчку могут в лог дописать вручную, воспользовавшись недосмотром админа или кривым скриптом. | |
|
6.58, saper (?), 22:33, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
> вдруг какой-нибудь CGP не будет эскейпить.
1. С чего вдруг?
2. Про состояние поддержки CGP в man-е написано: VERY EXPERIMENTAL.
> Не нужно в таких случаях доверять логу, строчку могут в лог дописать вручную, воспользовавшись недосмотром админа или кривым скриптом.
Если у админа пользователи строчку в логи дописывают вручную, то этому админу уже/еще не должно быть страшно :)
Но я с вами полностью согласен, код, который парсит имена пользователей присутствует, буду совершенствовать. Сейчас основная цель программы была функционал и скорость, хотя программа проектировалась с учетом требований безопасности.
| |
|
|
6.56, saper (?), 22:30, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Я в курсе большинства атак, по работе положено.
Файл reports/r_reports.c из этой самой Free-SA 1.0.0, можете еще скачать для проверки с http://free-sa.sourceforge.net (это у которого счетчики большие).
/* Remove and create temporary directory */
SAsystem("rm", "rm", "-rf", cfg.TempDir, NULL);
if (mkdir(cfg.TempDir, 0750)) SAexit(F_INITREPORTS, "%s. %s", cfg.TempDir, strerror(errno));
| |
|
|
|
|
2.36, Sergey Erokhin (?), 15:58, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
попробуй мой lightsquid.sf.net
нет зависимости от кол-ва файлов ;)
один пайп для лога
один файл длязаписи
;)
временных файлов - нет.
| |
|
1.21, Xeon (??), 13:12, 22/03/2007 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Скорость действительно намного выше, чем в SARG'e, проверял на суточном логе размером 1 гигабайт.
Однако непонятно, почему около половины значений Requests отрицательно? :)
4 http://wap.sasisa.ru -28048 2 548 054 040 213.58.126.66
5 http://wap.wab.ru -29524 1 586 003 313 213.58.126.66
6 http://icq.wab.ru -19454 1 366 200 144 213.58.126.66
7 http://d.fank.ru 17928 1 296 607 537 213.58.126.66
8 http://wapos.ru 28560 1 212 907 975 213.58.126.66
Ещё плохо, что между полями Bytes и Users нет разделителя, и цифры сливаются, если они больше 1 миллиарда байт. | |
|
|
3.62, saper (?), 23:07, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Ещё иногда в поле Users дублируются IP-адреса
>29 http://virginss.net 28920 350 941 116 213.58.126.66, 213.58.126.66
Так и не смог воспроизвести этот случай. Нет ли кусочка access.log, на котором можно это проверить?
| |
|
2.27, saper (?), 13:53, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
> Однако непонятно, почему около половины значений Requests отрицательно? :)
Чорт :) Исправление этого известного бага не вошло в релиз. Исправлю в новой версии, постараюсь сегодня.
> между полями Bytes и Users нет разделителя, и цифры сливаются, если они больше 1 миллиарда байт
А это в каком отчете? Возможно стоит (как временное решение) попробовать другую тему оформления (либо я исправлю одну из существующих)?
| |
|
1.29, Аноним (29), 14:01, 22/03/2007 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
с postfix совсем не дружит
SAWARNING: [PFSLReadRecordI] Unknown stat: b, please contact developers
SAWARNING: [PFSLReadRecordI] Unknown stat: b, please contact developers
SAWARNING: [PFSLReadRecordI] Unknown stat: b, please contact developers | |
|
2.30, saper (?), 14:15, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Postfix по идее самый проработанный формат из экспериментальных. Не могли бы вы выслать (в почту или в Bugs на http://free-sa.sf.net журнал на котором возникает такая ошибка или строчку, на которой она возникает? К сожалению достать больших журналов postfix не удалось. Учтите также, что без фильтрации через global_filter количество пользователей может быть очень большим, поэтому в самое начало скрипта запуска free-sa можно добавить ulimit -n 32768 или больше...
Строчку можно отловить так:
cat maillog|grep "status=b"
| |
|
3.40, Аноним (29), 16:20, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Журнал выслать сложновато будет около 400Мб а ругаеться он на примерно такие строки:
Mar 22 13:34:56 mail postfix/pipe[3491]: 17D584DD362: to=<user@domain.ru>, relay=cyrus, delay=0, status=bounced (data format error. Command output: user: Mailbox does not exist )
Везьде где status=bounced | |
|
4.42, saper (?), 17:01, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Поправлю в новой версии, постараюсь сегодня зарелизить со всеми исправлениями. Для почтовых форматов лучше предварительно решить вопрос с ulimit (см. FAQ в следующей версии).
| |
|
|
|
1.33, Саша (??), 15:22, 22/03/2007 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
FreeBSD-6.2, amd64, с напильником собрал, теперь:
# free-sa -s
Log file information:
File name: /usr/local/squid/logs/access.log
File size: 17 645 452
Start date and time: 06.07.4461664 11:59:21
End date and time: 01.08.4461664 16:08:14
Что с датами? И далее, на том же файле:
# free-sa
SAERROR: [SAsystem] Can't execute rm
SAERROR: [CollectLog] No records found
sarg его обрабатывает нормально. | |
|
|
3.38, OLD (ok), 16:05, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>lightsquid - плафтформенно независимый
>только перл ;)
>хоть x32 xonm 64 ;)
Всем хорош lightsquid, но только вот нету как у сарга exclude_codes
Как считать фактически потребленный юзерами трафик, без вот этого:
NONE/400
NONE/411
TCP_NEGATIVE_HIT/404
TCP_NEGATIVE_HIT/403
TCP_DENIED/400
TCP_DENIED/403
TCP_DENIED/407
TCP_MISS/503
TCP_MISS/403
TCP_MISS/301
TCP_HIT/200
TCP_HIT/301
TCP_HIT/302
TCP_IMS_HIT/200
TCP_IMS_HIT/301
TCP_IMS_HIT/302
TCP_IMS_HIT/304
TCP_MEM_HIT/200
TCP_MEM_HIT/301
TCP_MEM_HIT/302
TCP_REFRESH_HIT/200
TCP_REFRESH_MISS/403
TCP_REFRESH_MISS/504
TCP_CLIENT_REFRESH_MISS/403
?
| |
|
4.41, saper (?), 16:38, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
У Free-SA есть опция fulltraffic, которая позволяет гарантированно не учитывать в пользовательских отчетах только локальный трафик (т.е. до прокси, но не далее его). При этом она не смотрит на коды, которые вы привели, есть более простой алгоритм: смотреть на препоследнее поле, по-простому: если там NONE/-, то трафик локальный.
| |
|
5.104, balton (??), 16:50, 01/11/2007 [^] [^^] [^^^] [ответить]
| +/– |
>У Free-SA есть опция fulltraffic, которая позволяет гарантированно не учитывать в пользовательских
>отчетах только локальный трафик (т.е. до прокси, но не далее его).
>При этом она не смотрит на коды, которые вы привели, есть
>более простой алгоритм: смотреть на препоследнее поле, по-простому: если там NONE/-,
>то трафик локальный.
Версия 1.4 плевать хотела на этот параметр .. строит все .. что none что hit приходитца отфильмтровывать по этим признакам чтобы построить боле менее не завышенный трафик
| |
|
6.105, saper (ok), 19:16, 01/11/2007 [^] [^^] [^^^] [ответить]
| +/– |
> Версия 1.4 плевать хотела на этот параметр .. строит все .. что none что hit приходитца отфильмтровывать по этим признакам чтобы построить боле менее не завышенный трафик
Уточните, проверил 1.4.0, fulltraffic работает корректно. Можете привести пример
| |
6.106, saper (ok), 19:17, 01/11/2007 [^] [^^] [^^^] [ответить]
| +/– |
> Версия 1.4 плевать хотела на этот параметр .. строит все .. что none что hit приходитца отфильмтровывать по этим признакам чтобы построить боле менее не завышенный трафик
Уточните, проверил с 1.4.0, fulltraffic работает корректно. Можете привести пример строчки или нескольких строчек access.log, когда опция fulltraffic некорректно работает?
| |
|
|
4.43, Sergey Erokhin (?), 17:08, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
сейчас он считает все что не HIT
сделать такую табличку - 10 минут делов (если с файлами конфига)
странно что не написали письмо по этому ?
можно боле подробно почему именно эти коды ??
а по поводу "фактичесски потребленного"
имхо его ВООБЩЕ НЕОВОЗМОЖНО посчитать | |
|
|
|
3.46, saper (?), 20:15, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
> Так что все-таки с датами и невозможностью запуска rm?
Free-SA пока не тестировался на 64-битных платформах, хотя и разрабатывался с прицелом на работу с ними. 64-битной платформы у меня сейчас нет, поэтому попробую разобратся поиском в google.com подобных ошибок. Хотя обе мне не понятны, т.к. для хранения даты и времени используются штатные типы C, а rm вызывается system (возможно путь к rm не прописан в PATH???).
Я был бы рад связаться с кем-нибудь, кто хотел бы помочь отладить free-sa на 64-битной платформе, хотя справлюсь и сам, только не быстро. | |
|
4.53, Michael Shigorin (?), 22:03, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Я был бы рад связаться с кем-нибудь, кто хотел бы помочь отладить
>free-sa на 64-битной платформе, хотя справлюсь и сам, только не быстро.
Можно предоставить контейнер с 64-битным ALT Linux, Debian или CentOS. Если к выходным будет актуально -- пишите почтой. | |
|
3.49, saper (?), 21:07, 22/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
С датами и немного с 64-битными архитектурами разобрался, в 1.0.2 исправлено. | |
3.92, saper (ok), 20:55, 01/04/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Так что все-таки с датами и невозможностью запуска rm?
Исправлено в 1.2.0b. | |
|
2.66, saper (?), 00:27, 23/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
> Что с датами? И далее, на том же файле:
> # free-sa
> SAERROR: [SAsystem] Can't execute rm
> SAERROR: [CollectLog] No records found
Попробуйте Free-SA 1.0.2 там практически вслепую внес некоторые изменения. Что касается rm, то эта программа присутствует в путях (переменной PATH)? | |
|
3.73, Саша (??), 11:26, 23/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>> Что с датами? И далее, на том же файле:
>
>> # free-sa
>> SAERROR: [SAsystem] Can't execute rm
>> SAERROR: [CollectLog] No records found
>
>Попробуйте Free-SA 1.0.2 там практически вслепую внес некоторые изменения. Что касается rm,
>то эта программа присутствует в путях (переменной PATH)?
Попробовал. С датами все в порядке:
# free-sa -s
Log file information:
File name: /usr/local/squid/logs/access.log
File size: 17 920 551
Start date and time: 24.02.2007 13:05:29
End date and time: 23.03.2007 10:30:49
Но с rm тот же затык:
# free-sa
SAERROR: [SAsystem] Can't execute rm
SAERROR: [SAsystem] Can't execute sort
SAERROR: [SAfopenI] /tmp/sa/saf. No such file or directory
Естественно, и тот и другой в путях она присутствуют :)
# rm
usage: rm [-f | -i] [-dIPRrvW] file ...
unlink file
# which rm
/bin/rm
| |
|
4.74, Michael Shigorin (?), 13:28, 23/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Но с rm тот же затык:
># free-sa
>SAERROR: [SAsystem] Can't execute rm
Проще и безопаснее звать /bin/rm, а вот где, кроме /bin, может оказаться sort -- не знаю. | |
|
5.81, saper (?), 02:59, 24/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>>Но с rm тот же затык:
>># free-sa
>>SAERROR: [SAsystem] Can't execute rm
>Проще и безопаснее звать /bin/rm, а вот где, кроме /bin, может оказаться
>sort -- не знаю.
По большей части в 1.1.0 учтены пожелания по части безопасности, в том числе с путями и символами в названиях файлов.
| |
|
4.79, Саша (??), 20:02, 23/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Интересно, с rm ошибки у меня одного?
Повторюсь, FreeBSD-6.2-p2, amd64, Free-SA 1.0.2. | |
|
5.80, saper (?), 22:24, 23/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Кто то еще писал об этом. Буду разбираться с вызовом system...
| |
5.93, saper (ok), 20:57, 01/04/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Интересно, с rm ошибки у меня одного?
>Повторюсь, FreeBSD-6.2-p2, amd64, Free-SA 1.0.2.
Все ошибки с переносом с платформы на платформу исправлены в 1.2.0b. | |
|
|
|
|
1.60, guest (??), 22:40, 22/03/2007 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
То что товарищу перл не нравится это "не зачёт", но то, что реагирует вежливо и оперативно - молодец! | |
|
2.78, toxa (??), 15:13, 23/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
Ага, порт уже готов и отправлен в PR-базу а также на рассмотрение порт-коммиттерам :) | |
|
3.82, Ара (?), 05:47, 24/03/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Ага, порт уже готов и отправлен в PR-базу а также на рассмотрение
>порт-коммиттерам :)
Вот лучше бы это из pkg-plist убрали: etc/free-sa/sa.conf. Для этого есть ж sa.conf.dist или sa.conf.sample. :)
| |
|
|
|
6.95, saper (ok), 12:49, 07/04/2007 [^] [^^] [^^^] [ответить]
| +/– |
Вы считаете стоит укорачивать даже URL сайтов, если они длинные?
Это совсем не сложно исправить в коде, но стоит ли? У вас некоторого рода исключение с такой длинной ссылкой. | |
|
7.96, Michael Shigorin (?), 14:42, 07/04/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Вы считаете стоит укорачивать даже URL сайтов, если они длинные?
>Это совсем не сложно исправить в коде, но стоит ли?
Скорее стоит, если больше каких ~64 символов. Или пробелами разбивать внутри <a>.. ..</a>. | |
|
8.97, Daemon (??), 15:35, 07/05/2007 [^] [^^] [^^^] [ответить] | +/– | Скажите пожалуйста, при установке Free-Sa сообщение global mk , line 75 Unass... текст свёрнут, показать | |
|
|
|
|
|
|
|
1.100, Junior (ok), 15:34, 22/06/2007 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Понравилась программка :)
Только какие-то проблемы с чтением логов Postfix есть.
Отказывается признавать его лог, как лог :)
Если стоит "автораспознавание" типа лога, то вообще не признаёт за лог.
Если ставлю принудительно "3", то говорит, что нет записей.
Я грешу на то, что настроена авторизация TLS в Postfix-е.
Без неё, на прошлой системе было нормально, в смысле после принудительного указания
типа лог-файла. А на "автомате" так-же - не распознавал.
Есть идеи как это побороть?
И хочется, чтобы usertab-файл работал не только с логами прокси-сервера,
но и с почтовыми. А также понимал разные варианты подстановки для пользователя,
например:
user@mail.com Василий Петров
user@gmail.com Василий Петров
Также и с прокси-сервисом:
root Иван Сидоров
192.168.0.1 Иван Сидоров
Может это у меня только так не работает?
| |
|
2.101, Junior (ok), 16:13, 22/06/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Понравилась программка :)
>Только какие-то проблемы с чтением логов Postfix есть.
>Отказывается признавать его лог, как лог :)
>Если стоит "автораспознавание" типа лога, то вообще не признаёт за лог.
>Если ставлю принудительно "3", то говорит, что нет записей.
>Я грешу на то, что настроена авторизация TLS в Postfix-е.
>Без неё, на прошлой системе было нормально, в смысле после принудительного указания
>
>типа лог-файла. А на "автомате" так-же - не распознавал.
>Есть идеи как это побороть?
>И хочется, чтобы usertab-файл работал не только с логами прокси-сервера,
>но и с почтовыми. А также понимал разные варианты подстановки для пользователя,
>
>например:
>user@mail.com Василий Петров
>user@gmail.com Василий Петров
>
>Также и с прокси-сервисом:
>root Иван Сидоров
>192.168.0.1 Иван Сидоров
>
>Может это у меня только так не работает?
С usertab разобрался :) Теперь так забавно - несколько пользователей с одинаковыми именами.
А можно добавить опцию, чтобы суммировался трафик или отправляемые письма в отчёте,
если это один пользователь полученный в usertab?
Пусть бы это было даже опционально реализовано. | |
|
3.102, saper (ok), 01:57, 20/07/2007 [^] [^^] [^^^] [ответить]
| +/– |
>Только какие-то проблемы с чтением логов Postfix есть.
>Отказывается признавать его лог, как лог :)
Не могли бы выслать образец журнала Postfix, который не определяется программой как Postfix log?
>А можно добавить опцию, чтобы суммировался трафик или отправляемые письма в отчёте,
>если это один пользователь полученный в usertab?
>Пусть бы это было даже опционально реализовано.
Да, уже не раз думал, но мне кажется неправильным такая смешанная схема, когда и IP и имена (готов дискутировать, мне кажется это востребовано только в определенный переходный период). Если вас устроит учёт только по IP, то установите в free-sa.conf опцию inameuser="false", после этого не будет двух разных "Иван Сидоров"-ых в отчетах.
P.S. Я оч. прошу писать об ошибках и пожеланиях на сайт программы, трудно уследить за всеми форумами, делаю это периодически, когда есть время. Лучше писать сюда (можно и анонимно, и на русском): http://sourceforge.net/tracker/?group_id=191513
| |
|
4.110, Mihasya (ok), 05:29, 12/01/2009 [^] [^^] [^^^] [ответить]
| +/– |
А что за ошибка такая?
SAERROR: [ShowLogI] Can't read log
Как ее лечить?
| |
|
5.111, Mihasya (ok), 07:31, 12/01/2009 [^] [^^] [^^^] [ответить]
| +/– |
>А что за ошибка такая?
>
>SAERROR: [ShowLogI] Can't read log
>
>Как ее лечить?
Так, вроде read log заработал, тольво вот теперь это вылазиет:
free-sa -d 12.09.2009-12.09.2009
SAERROR: [main] No records found
хотя это работает:
free-sa -s
Log file information:
File name: /var/log/squid/access.log
File size: 1563394
Start date and time: 11.01.2009 20:16:52
End date and time: 12.01.2009 14:30:05
чо делать???
| |
|
6.112, Mihasya (ok), 07:44, 12/01/2009 [^] [^^] [^^^] [ответить]
| +/– |
>[оверквотинг удален]
>free-sa -s
>Log file information:
>File name:
> /var/log/squid/access.log
>File size:
> 1563394
>Start date and time: 11.01.2009 20:16:52
>End date and time: 12.01.2009 14:30:05
>
>чо делать???
О! А так заработало...
free-sa -f /usr/local/etc/free-sa/free-sa.conf -d 12.01.2009-12.09.2009
:))
| |
|
7.113, Олег (??), 09:21, 12/01/2009 [^] [^^] [^^^] [ответить]
| +/– |
>>free-sa -d 12.09.2009-12.09.2009
>>SAERROR: [main] No records found
>>
>>Start date and time: 11.01.2009 20:16:52
>>End date and time: 12.01.2009 14:30:05
>О! А так заработало...
>free-sa -f /usr/local/etc/free-sa/free-sa.conf -d 12.01.2009-12.09.2009
Разумно, ведь вы его в предыдущем сообщении просили обработать записи за сентябрь 2009 года :-)
| |
|
|
|
|
|
|
1.115, Ararura (ok), 15:51, 12/10/2009 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Здравствуйте! Столкнулся с проблемой: поставил free-sa на freebsd 7.0
Во время запуска
free-sa -d 09/01/2009-09/30/2009
Вылетает с ошибкой
Illegal instruction (core dumped)
Что можно сделать& Процессор VIA C3 Samuel
| |
|
2.116, saper (??), 21:04, 12/10/2009 [^] [^^] [^^^] [ответить]
| +/– |
>Здравствуйте! Столкнулся с проблемой: поставил free-sa на freebsd 7.0
>Во время запуска
>free-sa -d 09/01/2009-09/30/2009
>Вылетает с ошибкой
>Illegal instruction (core dumped)
>Что можно сделать& Процессор VIA C3 Samuel
Т.к. проблему вижу впервые, не могли бы вы скачать Free-SA 1.6.2, исправить в free-sa-1.6.2/configs/freebsd-native-gcc4.mk переменную SARCH с native на c3 и собрать программу. После этого, без make install (!) запустите полученный бинарный файл в директории src: src/free-sa
Если будет работать - отпишите, я сообщу мэйнтейнеру порта.
| |
|
1.117, Ararura (ok), 12:09, 13/10/2009 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Прошу прощения, с free-bsd -недавно.
Можно пояснить как собрать программу без make install
Не тупой просто сложно после MS понять логику.
| |
|
2.118, saper (??), 12:19, 13/10/2009 [^] [^^] [^^^] [ответить]
| +/– |
>Прошу прощения, с free-bsd -недавно.
>Можно пояснить как собрать программу без make install
>Не тупой просто сложно после MS понять логику.
Не набирая make install наберите просто make, после этого появится бинарник в директории исходников src.
| |
|
3.119, Ararura (ok), 13:05, 13/10/2009 [^] [^^] [^^^] [ответить]
| +/– |
>Не набирая make install наберите просто make, после этого появится бинарник в
>директории исходников src.
Сделал так. Удалил каталог /usr/local/src/free-sa-1.6.2
распаковал заново скачаный дистриб free-sa-1.6.2
поправил в global.mk (раскоментил freebsd-nativ, закоментил ост)
в configs в файле freebsd-native-gcc4.mk SARCH = c3
затем make при этом все помоему было не правильно
l_squid_native.c: In function 'SquidReadRecord':
l_squid_native.c:7: warning: format '%10ld' expects type 'long int *', but argument 3 has type 'time_t *'
l_squid_native.c: In function 'SquidReadDT':
l_squid_native.c:37: warning: format '%10ld' expects type 'long int *', but argument 3 has type 'time_t *'
l_squid_native.c: In function 'SquidReadFullDT':
в /usr/local/src/free-sa-1.6.2 появился файл free-sa, зашел в эту дир,
#free-sa
Illegal instruction (core dumped)
чтонибудь можно сделать, на другом сервере все отлично заработало, но там обычный пентиум, хотя мохет не в этом дело?
| |
|
|
5.121, Ararura (ok), 13:39, 13/10/2009 [^] [^^] [^^^] [ответить]
| +/– |
>Все, работает, без c3 почему незнаю
На самом деле еще раз распаковал, ничего не менял в конфигах, сделал make и make install
Только вот теперь не пойму. Ошибок не выдала, отвиселась адекватное время.
но в папке /usr/local/www/data/free-sa
появилось только c.png cgi-bin d.png g.png gsa.css lsa.css rsa.css s.png sa.js themes
Тут то в чем может проблема быть... ?
| |
|
6.122, saper (??), 21:05, 14/10/2009 [^] [^^] [^^^] [ответить]
| +/– |
>Только вот теперь не пойму. Ошибок не выдала, отвиселась адекватное время.
>но в папке /usr/local/www/data/free-sa
>появилось только c.png cgi-bin d.png g.png
>gsa.css lsa.css rsa.css s.png sa.js themes
>Тут то в чем может проблема быть... ?
Я думаю, что Free-SA сделала отчет в другой директории, проверьте переменную WWWDIR через free-sa -V
| |
|
7.123, Ararura (ok), 09:04, 15/10/2009 [^] [^^] [^^^] [ответить]
| +/– |
>Я думаю, что Free-SA сделала отчет в другой директории, проверьте переменную WWWDIR
>через free-sa -V
Спасибо Вам ОГРОМНОЕ!
Все работает!
| |
|
|
|
|
|
|
1.124, DiDae (ok), 11:10, 22/10/2010 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Здравствуйте, еще раз.
Есть возможность редактировать вид отправляемого сообщения на e-mail?
У меня оно немного "кривое" получается.
Хотелось бы чтобы столбики ровные получались.
А в конце хочу поставить ссылку на полную статистику.
------
p s p s c p d l
No User Requests Bytes a a d d c s l c
f f n n t t d f
=================================================================================
1 ************** 4,334 319.49M
2 ************** 12,625 195.77M
3 ************** 11,679 107.29M
4 ************** 7,134 60.54M
5 ************** 584 7.29M
=================================================================================
TOTAL 36,356 690.37M
AVERAGE 7,271 138.07M
| |
|
2.125, DiDae (ok), 14:58, 22/10/2010 [^] [^^] [^^^] [ответить]
| +/– |
>[оверквотинг удален]
> TOTAL
>
>
> 36,356
> 690.37M
> AVERAGE
>
>
> 7,271
> 138.07M
Подредактировал r_email.c, убрал "лишниее", но вот почему форматирование строчек ползет пока не понял.
No User Requests Bytes
=========================================================================
1 ************* ОП1 4334 319.49M
2 ********* ОП1 12625 195.77M
3 ********* ОП1 11679 107.29M
4 *********** ОП1 7134 60.54M
5 ********** ОП1 3148 41.41M
6 *********** ОП1 584 7.29M
=================================================================================
TOTAL 39504 731.78M
AVERAGE 6584 121.96M
| |
|
3.126, saper (??), 19:40, 22/10/2010 [^] [^^] [^^^] [ответить]
| +/– |
> Подредактировал r_email.c, убрал "лишниее", но вот почему форматирование строчек ползет
> пока не понял.
Какая у вас кодировка локали и используете ли вы фиксированный шрифт при просмотре письма?
| |
|
4.127, DiDae (ok), 13:02, 25/10/2010 [^] [^^] [^^^] [ответить]
| +/– |
>> Подредактировал r_email.c, убрал "лишниее", но вот почему форматирование строчек ползет
>> пока не понял.
> Какая у вас кодировка локали и используете ли вы фиксированный шрифт при
> просмотре письма?
До сегодня не было у меня в системе ru_RU.UTF-8 UTF-8, добавил ее, расскоментил в конфиге строчку с locale="ru_RU.UTF-8". Работает. Пишет по русски, но в заголовке письма отсутствует что это UTF-8.
Фиксированный шрифт не использую. Может быть поможет если дописать, в какой кодировке письмо?
| |
|
5.128, saper (??), 21:06, 25/10/2010 [^] [^^] [^^^] [ответить]
| +/– |
> До сегодня не было у меня в системе ru_RU.UTF-8 UTF-8, добавил
> ее, расскоментил в конфиге строчку с locale="ru_RU.UTF-8". Работает. Пишет по русски,
> но в заголовке письма отсутствует что это UTF-8.
> Фиксированный шрифт не использую. Может быть поможет если дописать, в какой
> кодировке письмо?
Ошибку увидел, буду работать над ее устранением в следующей бете 2.0.0.
| |
|
|
|
|
|