https://www.opennet.ru/openforum/vsluhforumID12/5827.html Всем здравствуйте. <br>Проблема такая. Решил попробовать lightsquid в качестве анализатора логов. Поставил (из портов, система - freebsd), настроил, запускаю lightparser. В reports пусто. включил дебаг - парсер стал выдавать табличку статистики, из которой стало понятно, что ему не нравится год.<br><br>LightSquid parser statistic report<br><br> 155636 lines processed (average 51878.67 lines per second)<br> 0 lines parsed<br> 77809 lines recovered<br> 8 lines notrecovered<br> 155628 lines skiped by bad year<br> 0 lines skiped by date filter<br> 0 lines skiped by Denied filter<br> 0 lines skiped by skipURL filter<br>Не пойму куда копать - типы лога в конфиге пробовал все, всё равно он на счёт года бесится и пропускает все записи. lightparser запускаю без параметров, так что он должен читать весь access.log, а не записи по дате. Sarg работал нормально.<br>access.log пишется syslogом с другой машины, где, собственно, squid и стоит.<br>Помогите, е https://www.opennet.ru/openforum/vsluhforumID12/5827.html#7 Tue, 18 Nov 2008 20:05:22 GMT &gt;&gt;а чем плохо решение ????? <br>&gt;&gt;<br>&gt;&gt;все работает, в это прелесть перла, легко править под свои задачи ;) <br>&gt;<br>&gt;Хм. Ну, в общем, да. Хотя странно, что автор не предусмотрел способа <br>&gt;настройки формата лога. Вот она - сила open source )) <br><br>ээ, ну как автор - отвественно заявляю, это вполне предусмотренный путь,<br>чем плодить конфиг на все случаи жизни проще подкрутить код <br><br>Вот она - сила open source ))<br> <br>&gt;<br>&gt;&gt;p.s. вы прям мысли читаете ;) см. мой пред. пост <br>&gt;<br>&gt;Ага, сам удивился )) Спасибо за помощь и доступ к мыслям на <br>&gt;чтение ) <br>&gt;Всё, проблема, будем считать, решена. <br><br>;)<br><br><br> https://www.opennet.ru/openforum/vsluhforumID12/5827.html#6 Tue, 18 Nov 2008 16:42:05 GMT &gt;а чем плохо решение ????? <br>&gt;<br>&gt;все работает, в это прелесть перла, легко править под свои задачи ;) <br><br>Хм. Ну, в общем, да. Хотя странно, что автор не предусмотрел способа настройки формата лога. Вот она - сила open source ))<br><br>&gt;p.s. вы прям мысли читаете ;) см. мой пред. пост <br><br>Ага, сам удивился )) Спасибо за помощь и доступ к мыслям на чтение )<br>Всё, проблема, будем считать, решена.<br> https://www.opennet.ru/openforum/vsluhforumID12/5827.html#5 Tue, 18 Nov 2008 15:56:58 GMT &gt;&gt;Или поправить формат лога в lightsquid? Никто, <br>&gt;&gt;часом, не знает как это сделать? <br>&gt;<br>&gt;Мда. Костыль, конечно... Но пока что работает. <br>&gt;Поправил в lightparser.pl: <br>&gt;($Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl&lt;...&gt;)=split<br>&gt;Добавил в начало переменных-пустышек - 5 штук, по количеству полей, которые добавляет <br>&gt;syslog: <br>&gt;($_1,$_2,$_3,$_4,$_5,$Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl <br>&gt;Если кто знает более изящное решение - подскажите. <br><br>а чем плохо решение ?????<br><br>все работает, в это прелесть перла, легко править под свои задачи ;)<br><br>p.s. вы прям мысли читаете ;) см. мой пред. пост <br><br> https://www.opennet.ru/openforum/vsluhforumID12/5827.html#4 Tue, 18 Nov 2008 13:49:23 GMT &gt;Или поправить формат лога в lightsquid? Никто, <br>&gt;часом, не знает как это сделать? <br><br>Мда. Костыль, конечно... Но пока что работает.<br>Поправил в lightparser.pl:<br>($Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl&lt;...&gt;)=split<br>Добавил в начало переменных-пустышек - 5 штук, по количеству полей, которые добавляет syslog:<br>($_1,$_2,$_3,$_4,$_5,$Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl<br>Если кто знает более изящное решение - подскажите.<br> https://www.opennet.ru/openforum/vsluhforumID12/5827.html#3 Tue, 18 Nov 2008 13:40:28 GMT &gt;[оверквотинг удален]<br>&gt;<br>&gt;Строчка лога, который пишет syslog: <br>&gt;Nov 18 16:31:34 192.168.0.200 (squid): 1227015094.494 376 192.168.0.7 TCP_MISS/200 <br>&gt;1761 GET http://mail.google.com/mail/? - DIRECT/74.125.39.17 text/javascript <br>&gt;<br>&gt;То бишь, сислог добавляет свою информацию перед логом сквида, из-за чего lightsquid <br>&gt;и не понимает формата лога. Вроде бы у сквида есть logformat, <br>&gt;который позволяет задавать вид лога, но тут-то надо как-то сделать чтобы <br>&gt;сислог не добавлял отсебятины. Или поправить формат лога в lightsquid? Никто, <br>&gt;часом, не знает как это сделать? <br><br>попробуй в lightparser.pl<br>найти<br> ($Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl,$Luser,$Lhierarchy,$Lconttype,@Lrest)=split;<br><br>и изменить ее на<br> ($qq1,$qq2,$qq3,$qq4,$qq5,$Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl,$Luser,$Lhierarchy,$Lconttype,@Lrest)=split;<br><br>попытаемся проскипать лишние данные ...<br><br><br><br><br> https://www.opennet.ru/openforum/vsluhforumID12/5827.html#2 Tue, 18 Nov 2008 13:01:12 GMT Во, понятно почему оно так. Строчка обычного сквидовского лога:<br>1225471584.286 34 192.168.0.163 TCP_MISS/200 1012 GET http://favicon.yandex.net/favicon/cableman.ru - DIRECT/87.250.251.36 image/png<br><br>Строчка лога, который пишет syslog:<br>Nov 18 16:31:34 192.168.0.200 (squid): 1227015094.494 376 192.168.0.7 TCP_MISS/200 1761 GET http://mail.google.com/mail/? - DIRECT/74.125.39.17 text/javascript<br><br>То бишь, сислог добавляет свою информацию перед логом сквида, из-за чего lightsquid и не понимает формата лога. Вроде бы у сквида есть logformat, который позволяет задавать вид лога, но тут-то надо как-то сделать чтобы сислог не добавлял отсебятины. Или поправить формат лога в lightsquid? Никто, часом, не знает как это сделать?<br> https://www.opennet.ru/openforum/vsluhforumID12/5827.html#1 Thu, 13 Nov 2008 17:33:14 GMT &gt;Всем здравствуйте. <br><br>Привет<br>&gt;<br>&gt;LightSquid parser statistic report <br>&gt;<br>&gt; 155636 lines <br>&gt;processed (average 51878.67 lines per second) <br>&gt; <br>&gt; 0 lines parsed <br><br>ему ВООБЩЕ ВСЕ не нравится<br>&gt; 77809 <br>&gt;lines recovered <br><br>это ОЧЕНЬ дофига<br>&gt;[оверквотинг удален]<br>&gt; 8 lines notrecovered <br>&gt; 155628 lines <br>&gt;skiped by bad year <br>&gt; <br>&gt; 0 lines skiped by date filter <br>&gt; <br>&gt; 0 lines skiped by Denied filter <br>&gt; <br>&gt; 0 lines skiped by skipURL filter <br>&gt;Не пойму куда копать - типы лога в конфиге пробовал все, всё <br><br>проверь ФОРМАТ лога,<br>можно было бы сюда пример твоего привести, мы бы сразу гдянули ...<br><br>&gt;равно он на счёт года бесится и пропускает все записи. lightparser <br>&gt;запускаю без параметров, так что он должен читать весь access.log, а