URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID12
Нить номер: 6443
[ Назад ]

Исходное сообщение
"мониторинг посещаемости сайтов через squid "

Отправлено fate29 , 07-Июл-10 11:08 
Люди кто чем мониторит логи сквида?
я поставил LightSquid но что-то он паказывает даже те на каких сайтах я не был и такие не понятные тоже:
http://webattach.mail.yandex.net/
http://kiks.yandex.ru/
http://httpcs.msg.yahoo.com/

и другие подобные url


Содержание

Сообщения в этом обсуждении
"мониторинг посещаемости сайтов через squid "
Отправлено reader , 07-Июл-10 11:17 
>Люди кто чем мониторит логи сквида?
>я поставил LightSquid но что-то он паказывает даже те на каких сайтах
>я не был и такие не понятные тоже:
>http://webattach.mail.yandex.net/
>http://kiks.yandex.ru/
>http://httpcs.msg.yahoo.com/
>
>и другие подобные url

вы исходники странички посматрите что от куда подгружается


"мониторинг посещаемости сайтов через squid "
Отправлено fate29 , 07-Июл-10 11:33 
>>Люди кто чем мониторит логи сквида?
>>я поставил LightSquid но что-то он паказывает даже те на каких сайтах
>>я не был и такие не понятные тоже:
>>http://webattach.mail.yandex.net/
>>http://kiks.yandex.ru/
>>http://httpcs.msg.yahoo.com/
>>
>>и другие подобные url
>
>вы исходники странички посматрите что от куда подгружается

ну это понятно что сквид это не сам выдумывает, но может есть такие анализаторы логов которые на такие url не обращают внимания? В керио такого не было.


"мониторинг посещаемости сайтов через squid "
Отправлено Pahanivo , 07-Июл-10 16:09 
вы несете чушь ...


"мониторинг посещаемости сайтов через squid "
Отправлено fate29 , 07-Июл-10 16:10 
>вы несете чушь ...

ну так вразумите )) для этого пост и создавался


"мониторинг посещаемости сайтов через squid "
Отправлено Pahanivo , 07-Июл-10 16:12 
>>вы несете чушь ...
>
>ну так вразумите )) для этого пост и создавался

изучите html, http - хорошо вразумит


"мониторинг посещаемости сайтов через squid "
Отправлено fate29 , 07-Июл-10 16:19 
>>>вы несете чушь ...
>>
>>ну так вразумите )) для этого пост и создавался
>
>изучите html, http - хорошо вразумит

html я знаю, что заходить писать если отвечать все равно не собираетесь?
просто так показать что дохера знаешь и на остальных смотришь с высока ))


"мониторинг посещаемости сайтов через squid "
Отправлено Pahanivo , 07-Июл-10 16:25 
замечательно! html освоен!!!
если ты знаешь тогда вопрос:
есть хтмл в котором десять картинок
урлы картинок ведут на 10 разных ресурсов
вопрос - а с какова собстна хрена урлы этих картинок не должны светится в логах сквида через который ходит твой браузер?

и вообще ваше выражение "сайты на которых я не был" выдает полное не понимание вопроса.
ты то мож и небыл - да браузер то сходил ...


"мониторинг посещаемости сайтов через squid "
Отправлено fate29 , 07-Июл-10 16:28 
>замечательно! html освоен!!!
>если ты знаешь тогда вопрос:
>есть хтмл в котором десять картинок
>урлы картинок ведут на 10 разных ресурсов
>вопрос - а с какова собстна хрена урлы этих картинок не должны
>светится в логах сквида через который ходит твой браузер?
>
>и вообще ваше выражение "сайты на которых я не был" выдает полное
>не понимание вопроса.
>ты то мож и небыл - да браузер то сходил ...

вооот в этом-то и проблема, в чем причина я понял. как ее устранить?


"мониторинг посещаемости сайтов через squid "
Отправлено Pahanivo , 07-Июл-10 17:21 
>[оверквотинг удален]
>>урлы картинок ведут на 10 разных ресурсов
>>вопрос - а с какова собстна хрена урлы этих картинок не должны
>>светится в логах сквида через который ходит твой браузер?
>>
>>и вообще ваше выражение "сайты на которых я не был" выдает полное
>>не понимание вопроса.
>>ты то мож и небыл - да браузер то сходил ...
>
>вооот в этом-то и проблема, в чем причина я понял. как ее
>устранить?

что именно устранить??????? о_О
иии собстна ГДЕ ТУТ ПРОБЛЕМА??????


"мониторинг посещаемости сайтов через squid "
Отправлено fate29 , 07-Июл-10 17:23 
>[оверквотинг удален]
>>>
>>>и вообще ваше выражение "сайты на которых я не был" выдает полное
>>>не понимание вопроса.
>>>ты то мож и небыл - да браузер то сходил ...
>>
>>вооот в этом-то и проблема, в чем причина я понял. как ее
>>устранить?
>
>что именно устранить??????? о_О
>иии собстна ГДЕ ТУТ ПРОБЛЕМА??????

проблемы как таковой нет, тут речь об удобстве, отчет босу замучаюсь делать ((
вот вы чем пользуетесь для обработки логов сквида? w3perl не пробовали?


"мониторинг посещаемости сайтов через squid "
Отправлено DeadLoco , 18-Июл-10 03:49 
>проблемы как таковой нет, тут речь об удобстве, отчет босу замучаюсь делать ((
>вот вы чем пользуетесь для обработки логов сквида? w3perl не пробовали?

Ну, как бы, вам объясняют, что веб - штука гипертекстовая, и обращаясь к одной страничке, вы получаете кучу объектов, вовсе необязательно с одного сервера. Все эти объекты грузятся броузером по отдельности, и по отдельности оказываются в логах сквида. Это нормальное, естественное поведение всей системы, бороться с ним бессмысленно. Хотя и возможно.

Вы открываете по ссылке страничку. Броузер скачивает хтмл-документ (статический или динамический), парсит его, и все вложенные объекты последовательно выкачивает, после чего рендерит страницу, выводимую на экран. Все вложенные объекты при скачивании получают хттп-хедер реферера (адрес включающей страницы). Теоретически, если в лог сквида писать рефереры для всех объектов, то можно при разборе лога просто исключать все строки с непустым полем реферера. Но тогда можно прощелкать разнообразнейшие фото-файло-видеохостинги, объекты с которых скачиваются неявно, по ссылкам внутри страниц. При этом будет гораздо больше гемора с попытками объяснить начальству, куда девался канал при том, что корневых страниц набежало едва на 3-5% полосы.

Оно вам точно не надо.

Для парсинга логов сквида я пользую sarg, который выдает разнообразные отчеты, в т.ч. топ-100 юзеров-пожирателей канала, топ-100 сайтов-генераторов трафика и так далее. Всем моим клиентам этого вполне достаточно.