URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 42429
[ Назад ]

Исходное сообщение
"Получение URL из пакетов."

Отправлено harlan , 02-Апр-04 07:22 
Народ, нужна тулза, которая в промисковом режиме слушает интерфейс, или получает пакеты через ULOG (второе предпочтительнее), выделяет из них запрошенные URL и складирует их в виде
Время ip-addr_клиента Запрошенный_URL
Например:
2004-04-02 10:18:12 10.11.12.13 http://www.domain.com/page.php?v1=1&v2=3

Содержание

Сообщения в этом обсуждении
"Получение URL из пакетов."
Отправлено harlan , 04-Апр-04 10:29 
Неужели нет такой утилиты?
Народ, ну помогите, пожалуйста!..

"Получение URL из пакетов."
Отправлено Михаил , 04-Апр-04 12:29 
>Неужели нет такой утилиты?
>Народ, ну помогите, пожалуйста!..

на sourceforge.net искал?

насчет отдельной утилиты не знаю...
а некоторые биллинги подобное умеют... по крайней мере, упоминания о таких возможностях я встречал...


"Получение URL из пакетов."
Отправлено harlan , 04-Апр-04 12:47 
На sorceforge искал, но, видимо, не умею правильно составить запрос - вывалил кучу всего, только не того, что надо.

А можно попросить вспомнить, в каких биллингах такая возможность встречалась?


"Получение URL из пакетов."
Отправлено kotiki , 04-Апр-04 12:29 
>Неужели нет такой утилиты?
>Народ, ну помогите, пожалуйста!..
http://www.google.com.ru/search?q=я┤я┌п╬+я┌п╟п╨п╬п╣+squid&ie=UTF-8&oe=UTF-8&hl=ru&lr=

"Получение URL из пакетов."
Отправлено harlan , 04-Апр-04 12:55 
Squid - хорошая штука, только умеет ли он работать только в режиме регистратора, без всяких прокси и кешей?
Видимо нет, а в таком случае он мне мало подходит.
Дело в том, что статистика у меня привязана к iptables, а внедрение прозрачного прокси приведёт к тому, что все запросы станут локальными или наоборот - внешними (в зависимости от настроек iptables, или я чего-то не понимаю).
Статистика же сквида оставляет желать много лучшего (одного того, что если пользователь остановит загрузку страницы, то эта страница в лог сквида не попадёт - уже достаточно. Хотя, в свежих мерсиях, м.б. эту фичу исправили.)

"Получение URL из пакетов."
Отправлено Vitalka , 04-Апр-04 16:00 
>Народ, нужна тулза

Посмотри ULOGD.
http://gnumonks.org/gnumonks/projects/ulogd
Конкретно для твоей задачи там расширения нет, но реализуется похожая - выдираются имена и пароли POP3 протокола. Можно написать свое расширение по образу и подобию. Если будут трудности с реализацией - обращайся.


"Получение URL из пакетов."
Отправлено harlan , 05-Апр-04 07:54 
Спасибо за совет. Буду разбираться с ULOGD.

"Получение URL из пакетов."
Отправлено Bromantik , 05-Апр-04 09:18 
хм как интересно, а зачем собсно...
Чем снифер не устраивает??? В промиске слушает и все тут...
В конце концов ulogd модульный и можешь сам написать подобный модуль...
Или ищи "модули ulogd", наверняка кто-то уже стряпал

"Получение URL из пакетов."
Отправлено harlan , 05-Апр-04 12:50 
>хм как интересно, а зачем собсно...
У меня вся статистика завязана на iptables. А клиент когда приходит наезжать, то требует, что бы ему показали не ip-адреса, а конкретные URL, куда он ходил. А попытатки восстановить URL по ip-адресу обречены на провал (на одном адресе может висеть куча виртуальных серверов)

>Чем снифер не устраивает??? В промиске слушает и все тут...
Устраивает всем, кроме того, что я не встречал ниодного, поддерживающего данную функциональность. Кроме того, чем ulogd не сниффер? А модуля такого к нему я так и не встретил...

>В конце концов ulogd модульный и можешь сам написать подобный модуль...
>Или ищи "модули ulogd", наверняка кто-то уже стряпал
Чем я собссно сейчас и занимаюсь...


"Получение URL из пакетов."
Отправлено BRomantik , 05-Апр-04 20:22 
Хм, я в своем биллинге спокойно обхожусь ulog-acctd, зачем цеплять урл если есть Ip, учитывая, что резолвинг Ip в урлы(а так и будет) будет жрать прилично траффика(на практике испытал) и я решил сделать по другому, я просто вывожу юзверям их статистику с возможностью ткнуть по интересующему адресу, где  вызовется функция gethostbyaddr()



"Получение URL из пакетов."
Отправлено BRomantik , 05-Апр-04 20:24 
>Хм, я в своем биллинге спокойно обхожусь ulog-acctd, зачем цеплять урл если
>есть Ip, учитывая, что резолвинг Ip в урлы(а так и будет)
>будет жрать прилично траффика(на практике испытал) и я решил сделать по
>другому, я просто вывожу юзверям их статистику с возможностью ткнуть по
>интересующему адресу, где  вызовется функция gethostbyaddr()

Хотя конечно, если юзер просит сказать какие страницы он смотрел, но это уже изврат, редко isp предоставляют такую информативность (если не сказать, что никогда)