URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID10
Нить номер: 4934
[ Назад ]

Исходное сообщение
"Анализ дампа трафика"

Отправлено den23513 , 06-Сен-11 21:47 
Добрый день,
У меня в сети имеется свич с настроенным портом мониторинга, через который я делаю дамп всего web-трафика в файлы для последующего анализа командой:

#tcpdump -s0 port 80 or port 443 -Zroot -C300 -W100 -w/tmp/capture_`date +%D.%M`.raw

Вопрос: кто как анализирует полученные данные (предпочтительно из командной строки)?
Например, мне надо узнать кто из пользователей заходил на "google.com" и в котором часу...
Я могу посмотреть, заходили ли с определенного адреса на вышеуказанный ресурс (примерно так):

#tcpdump -r/tmp/capture_file.raw -Ann | grep -i referer | grep google.com

Но не могу сказать кто точно заходил. Тогда делаю:

tcpdump -r/tmp/capture_file.raw -Ann host 192.168.1.11 | grep -i referer | grep google.com

Узнаю заходил ли конкретный хост на гугль, но не вижу времени входа...
Одним словом, все эти приемы как-то не эфективны, и отнимают много времени.
Может кто-то поделится своим опытом в данной ситуации?

Заранее благодарен.


Содержание

Сообщения в этом обсуждении
"Анализ дампа трафика"
Отправлено sm00th1980 , 07-Сен-11 04:04 
обычно для этих целей применяется что-то вроде netflow
собирать полный дамп трафика слишком накладно получается

"Анализ дампа трафика"
Отправлено den23513 , 07-Сен-11 13:39 
> обычно для этих целей применяется что-то вроде netflow
> собирать полный дамп трафика слишком накладно получается

Тут, как говорится, с начальством не поспоришь...
Сказали дампить весь трафик, что я и делаю.. :-(

P.S. Какую бесполезную информацию можно сопкойно исключить из дампов? Т.е цель всего этого мероприятия создать себе возможность в любое время отследить кто куда посылал файл, с каким паролем заходил в соц-сеть, с кем и о чем переписывался по аське и т.д.


"Анализ дампа трафика"
Отправлено sm00th1980 , 07-Сен-11 13:57 
>> обычно для этих целей применяется что-то вроде netflow
>> собирать полный дамп трафика слишком накладно получается
> Тут, как говорится, с начальством не поспоришь...
> Сказали дампить весь трафик, что я и делаю.. :-(
> P.S. Какую бесполезную информацию можно сопкойно исключить из дампов? Т.е цель всего
> этого мероприятия создать себе возможность в любое время отследить кто куда
> посылал файл, с каким паролем заходил в соц-сеть, с кем и
> о чем переписывался по аське и т.д.

для полной перлюстрации трафика уже я не подскажу - не было такой задачи у меня. Но вообще такими вещами занимается СОРМ - поищите возможно есть уже готовые open-source решения для реализации подобной штуки.

Но я бы наверное сделал 2х ступенчатую систему. Т.е. пишем всё и складируем(пока не понадобиться) - а потом при надобности уже парсим проскладированный трафик за нужный период - чем-то типа Wireshark-а.


"Анализ дампа трафика"
Отправлено den23513 , 07-Сен-11 16:01 
> Но я бы наверное сделал 2х ступенчатую систему. Т.е. пишем всё и
> складируем(пока не понадобиться) - а потом при надобности уже парсим проскладированный
> трафик за нужный период - чем-то типа Wireshark-а.

На данный момент, именно так я и делаю.


"Анализ дампа трафика"
Отправлено Puk , 07-Сен-11 19:05 
>> Но я бы наверное сделал 2х ступенчатую систему. Т.е. пишем всё и
>> складируем(пока не понадобиться) - а потом при надобности уже парсим проскладированный
>> трафик за нужный период - чем-то типа Wireshark-а.
> На данный момент, именно так я и делаю.

Может стоит подумать в сторону сбора всего трафика по netflow и систем мониторинга трафика, таких как network analyzer, flow tools, nfsen?


"Анализ дампа трафика"
Отправлено Дядя_Федор , 07-Сен-11 21:58 
> Может стоит подумать в сторону сбора всего трафика по netflow и систем
> мониторинга трафика, таких как network analyzer, flow tools, nfsen?

НетФлоу - штука полезная и мощная. Но проблема в том, что выдает данные на L3. Задача, озвученная автором

> Например, мне надо узнать кто из пользователей заходил на "google.com"

выполнена не будет, однако. НетФлоу не оперирует с сущностями, типа google.com. Только с IP-адресами, номерами портов и прочими параметрами, описанными в RFC и в документации. Имен там нет. :) Как известно, на одном IP может висеть куча виртуальных хостов.


"Анализ дампа трафика"
Отправлено write2net , 23-Сен-11 23:21 
>> Но я бы наверное сделал 2х ступенчатую систему. Т.е. пишем всё и
>> складируем(пока не понадобиться) - а потом при надобности уже парсим проскладированный
>> трафик за нужный период - чем-то типа Wireshark-а.
> На данный момент, именно так я и делаю.

tshark в консоли и если нужно автоматизировать



"Анализ дампа трафика"
Отправлено георг , 23-Окт-11 00:43 
>>> Но я бы наверное сделал 2х ступенчатую систему. Т.е. пишем всё и
>>> складируем(пока не понадобиться) - а потом при надобности уже парсим проскладированный
>>> трафик за нужный период - чем-то типа Wireshark-а.
>> На данный момент, именно так я и делаю.
> tshark в консоли и если нужно автоматизировать

мне тоже это надо сделать


"Анализ дампа трафика"
Отправлено sm00th1980 , 23-Окт-11 18:17 
>>>> Но я бы наверное сделал 2х ступенчатую систему. Т.е. пишем всё и
>>>> складируем(пока не понадобиться) - а потом при надобности уже парсим проскладированный
>>>> трафик за нужный период - чем-то типа Wireshark-а.
>>> На данный момент, именно так я и делаю.
>> tshark в консоли и если нужно автоматизировать
> мне тоже это надо сделать

Коллега, а в чём проблема то - надо сделать - делайте.
tshark - парсим что нужно - засовываем в БД.
Для просмотра данных делаем красивый Web-интерфейс(например на ExtJS).

Ну т.е. никаких проблем кроме написания кода вроде как нет. Идея простая и понятная.