Имеется несколько wi-fi точек доступа, подключенных через свитч к самопальному роутеру на debian 6. Для ограничения доступа используется фильтр по mac, аутентификация посредством freeradius.Задача - писать логи http и https запросов, содержащие:
- таймстамп
- mac-адрес
- URL запросаВыражаясь по-простому, нужно иметь возможность посмотреть, кто когда на какие сайты ходил.
Обычный http-прокси не подходит, ибо начальство постановило "никаких настроек на клиентских дивайсах". Прозрачный - очень не хотелось бы. Собственно, проксирование вообще не нужно, только шейпер, чтоб не забили общий канал к прову.
Подскажите подходящую софтину/метод/способ/куда_копать. Писать логи надо в базу MySQL. Желательно, чтобы логгер умел отбрасывать всякие гифки, джипеги и прочие цсс, не захламляя ими лог.
меня уже перестают смешить такие "одмины".Попробуйте всё-таки в сторону прозрачного прокси посмотреть, как бы вам "очень" не хотелось бы.
А про логирование httpS запросов, я думаю, вам надо понять почему о нем вам стоит забыть.
>Писать логи надо в базу MySQL. Желательно, чтобы логгер умел отбрасывать всякие гифки,
>джипеги и прочие цсс, не захламляя ими лог."Ищу кнопку "сделать мне за-ись", желательно опенсорсную."
В порядке компенсации информационного шума выше. Строка из лога непрозрачного сквида:
1354197488.385 3516 172.23.30.33 TCP_MISS/200 3986 CONNECT www.facebook.com:443 - DIRECT/69.171.237.36 -
Т.е., в момент установления связи URL нешифрованный, отловить и записать его технически возможно. Но сквид 3.1 не умеет писать в лог мак-адреса (3.2 вроде как умеет, но его еще нет в репозитории, даже в unstable).P.S. Я не админ.
> В порядке компенсации информационного шума выше. Строка из лога непрозрачного сквида:
> 1354197488.385 3516 172.23.30.33 TCP_MISS/200 3986 CONNECT www.facebook.com:443 - DIRECT/69.171.237.36
> -
> Т.е., в момент установления связи URL нешифрованный,1) То, что вы назвали URL, URL не является.
2) как только сквид станет прозрачным, не будет и этой информации, только IP.
> 2) как только сквид станет прозрачным, не будет и этой информации, только
> IP."Они" сделали http://wiki.squid-cache.org/Features/SslBump ещё большее извращение, чем прозрачный сквид...
>> 2) как только сквид станет прозрачным, не будет и этой информации, только
>> IP.
> "Они" сделали http://wiki.squid-cache.org/Features/SslBump ещё большее извращение,
> чем прозрачный сквид...Спасибо, читал. Я и говорю, не хотелось бы. Есть и еще способ "прозрачного" проксирования ssl, с подменой сертификатов, на опеннете обсуждали.
>>> 2) как только сквид станет прозрачным, не будет и этой информации, только
>>> IP.
>> "Они" сделали http://wiki.squid-cache.org/Features/SslBump ещё большее извращение,
>> чем прозрачный сквид...
> Спасибо, читал. Я и говорю, не хотелось бы. Есть и еще способ
> "прозрачного" проксирования ssl, с подменой сертификатов, на опеннете обсуждали.мда, налицо клиническая картина. Медицина бессильна.
>>>wiki.squid-cache.org/Features/SslBump ещё большее извращение,
>> "прозрачного" проксирования ssl, с подменой сертификатов
> мда, налицо клиническая картина. Медицина бессильна."я не тормоз, я просто медленно думаю"
> P.S. Я не админ.Вспомните басню «Щука и Кот» Крылова, в школе наверняка читали. Загуглить её не сложно.
> Т.е., в момент установления связи URL нешифрованный, отловить и записать его технически
> возможно. Но сквид 3.1 не умеет писать в лог мак-адреса (3.2
> вроде как умеет, но его еще нет в репозитории, даже в
> unstable).Займитесь самообразованием - это очень полезно для мозгов. И изучите основы сетевой модели TCP/IP. Возможно, через какое-то время Вы поймете сферу действия MAC-адреса и сферу действия сквида. И (возможно) - тогда поймете глупость того, что Вы пишете.
> Займитесь самообразованием - это очень полезно для мозгов. И изучите основы
> сетевой модели TCP/IP. Возможно, через какое-то время Вы поймете сферу действия
> MAC-адреса и сферу действия сквида. И (возможно) - тогда поймете глупость
> того, что Вы пишете.Голодный-то какой, толстенький... Аж жалко бедного. На, покушай сухарик:
http://www.squid-cache.org/Doc/config/logformat/%>eui EUI logging (EUI-48 / MAC address for IPv4, EUI-64 for IPv6). Both EUI forms are logged in the same field. Type can be identified by length or byte delimiter.
Тупость покоя не дает? Ну-ну.
Тезис про уровни L2 и L7 так и остался не услышан. Товарисч действительно не админ. Но оно бы и ладно. Так и еще и напыщенный дурак, к тому же. А тут уже медицина бессильна, увы.
> Тезис про уровни L2 и L7 так и остался не услышан. ТоварисчКак насчёт контр-тезиса, что в пределах эзернет-сегмента может быть _вполне применимо?
Ну, то есть типа маки "своих" клиентов, не ssl-серверов из инета? И да, мне хорошо известно, что мак поменять несложно.
>> Тезис про уровни L2 и L7 так и остался не услышан. Товарисч
> Как насчёт контр-тезиса, что в пределах эзернет-сегмента может быть _вполне применимо?
> Ну, то есть типа маки "своих" клиентов, не ssl-серверов из инета? И
> да, мне хорошо известно, что мак поменять несложно.А мысль писать mac+ip из dhcp сервера вам в голову не приходила?
Кесарю - кесарево...Логируйте сквидом хосты, а dhcp-ой маки.
А вообще вам правильно написали - ищите компромис между вашими хотелками и имеющимися умелками...
> Как насчёт контр-тезиса, что в пределах эзернет-сегмента может быть _вполне применимо?Вполне себе нормальный тезис. Только находится ли прокси с одном L2-сегменте - далеко не очевидно из описанного выше. А приведенная автором строка из параметров лога сквида - абсолютно не в кассу. Ну умеет он писать маки в логи и что? Вопрос в том - как он их получит.
>>>>wiki.squid-cache.org/Features/SslBump ещё большее извращение,
>>> "прозрачного" проксирования ssl, с подменой сертификатов
>> мда, налицо клиническая картина. Медицина бессильна.
> "я не тормоз, я просто медленно думаю"Andrey Mitrofanov, вам единственному хочу сказать спасибо за наводку на SslBump, хотя и запоздала она немного. К тому времени сам набрел. Однако и вы не удержались от подковырки. Ну да ладно, на фоне этой стайки толстеньких неумелых троллей... (Если что, не хотел вас обидеть! И сам бываю грешен. :)
Жалко вот, тролли неинтересные набижали. Тупенькие совсем. Особенно феерично обкакался этот:
>> Как насчёт контр-тезиса, что в пределах эзернет-сегмента может быть _вполне применимо?
> Вполне себе нормальный тезис. Только находится ли прокси с одном L2-сегменте
> - далеко не очевидно из описанного выше. А приведенная автором строка
> из параметров лога сквида - абсолютно не в кассу. Ну умеет
> он писать маки в логи и что? Вопрос в том -
> как он их получит.Самую первую строку первого поста прочитать, не? Вот эту:
027 > Имеется несколько wi-fi точек доступа, подключенных через свитч к самопальному роутеру на debian 6.
А как вещал, как вещал! ггг
Дядя_Федор > Возможно, через какое-то время Вы поймете сферу действия MAC-адреса и сферу действия сквида. И (возможно) - тогда поймете глупость того, что Вы пишете.
Крутой одмин, чо там.
Ладно, хватит с вас. Были б вы тонкие тролли, можно было бы поиграть. Тонких уважаю. А вы толстые и скучные. Так что, чао, мои хорошие.
========================
Тому, кто наткнется на эту тему в поисках ответов на подобную задачку.
Я и вправду не админ. Вообще-то меня позвали помочь настроить вебморду к фрирадиусу. Я немного соображаю в настройке апача и построении запросов к мускулю. Когда я увидел, что им повелели сгородить... а особенно, как они начали это реализовывать... в общем, мое слабое доброе сердце не выдержало. :) Им же еще предстоит вбивать в базу порядка 3000 мак-адресов вместе с ФИО владельцев мобильных устройств.
В процессе вникания и возникла такая мысль - ведь сквид по сути будет выступать в роли простого логгера запросов. Нет ли в природе именно логгера? Забивать сапожные гвозди кузнечным молотом как-то некузяво. Однако, похоже таки придется. В конце концов, должно же начальство получить свою игрушку? Собственно такой вопрос и был задан: нет ли подходящей программки для логгирования запросов от браузера? Я с набегу не нашел. Всяких снифферов и кейлоггеров полно, но находились только утилиты, а надо демона.
Правильный ответ не назвал ни один. Правильный, честный ответ был бы - "не знаю". Не знают они такой софтины. Так кто ж признается, троллю инстинкт не велит. Так еды не добудешь.
(Справедливости ради, пару толковых советов они дали. Правда, я именно это не спрашивал, вопросы они сами нателепатировали. Принцип прост - если не знаешь ответа, отвечай на то, что знаешь. И делай томное выражение лица: "это же банально.." Ну что, молодцы, зачот. Я так вступительный экзамен по физике проскочил, в далеком лохматом году догорбачевской еще эпохи. Навык студента-рас...дяя защитан.)
И тут же дружно осудили мою тупость, безграмотность и лень. Это насчет сопоставленения вручную лога dhcpd с логом squid и конфигом freeradius. А то мы без них не догадались. Нарулили рабочий прототип за пару дней, в перерывах между основной работой. Единственная бредовая идея, которую не сразу отвергли, это закреплять в конфиге dhcpd постоянный ip за каждым mac-адресом. Это да, протупили конкретно)))
(...вот вам еще немного еды, кушайте, кушайте. Жалко вас, болезных... плохо кормят, да? :)
В общем и целом, чудо-юдо-нано-СОРМ практически готов к работе. Осталось сочинить вебморду для поиска маков по ФИО. И еще одну - для максимально возможного упрощения процедуры "прописки" студентов на халявном вайфае. Ибо вбивать в базу несколько тысяч записей врукопашную они затрахаются до полусмерти. А в сентябре набежит молодое ретивое стадо первокурсников, числом с полтыщи, и так каждый год. И выпускников, по-хорошему, из базы вычеркивать надо... Как тут без острозаточенной вебморды?
Наверное, проще всего будет прикрутить скрипт к готовой, хоть и не самой удобной для этой цели морде, dialupadmin. В репозитории дебиана она есть. Есть, наверное, и в других популярных дистрибутивах.
Да, а насчет возможности прозрачного проксирования HTTPS я им тоже доложил. Вламываться в шифрованный трафик нехорошо, неэтично и себе дороже будет. Можно, конечно (дал почитать про man-in-the-middle атаку, и что сквид это умеет делать. Вот, влезаешь ты с поддельным сертификатом в сеанс связи студента с платежной системой. Сквид вломиться позволяет. Оно тебе надо? Нет, говорят, ну его нафиг. Вот и славно.
"Собрат по несчастью", если тебе на голову упала похожая задача, отметься в этой теме, поделюсь. Где-то во второй половине января мне таки придется набыдлокодить пару скриптов. Не оставлять же хороших ребят колотить по клаве до одурения.
P.S. ..."Не было печали, купила баба порося". Ты думаешь, я такой умный, брат? Или мне за это деньги платят? Хе-хе. Ни то, ни другое. Я старый больной инженер. Был бы умный - не ввязался бы. Разве что намекнуть попозже, что неплохо бы поляну накрыть? Когда они задолбаются^W прочувствуют :)
Действительно идиот. И действительно - медицина тут бессильна.
>[оверквотинг удален]
> его нафиг. Вот и славно.
> "Собрат по несчастью", если тебе на голову упала похожая задача, отметься в
> этой теме, поделюсь. Где-то во второй половине января мне таки придется
> набыдлокодить пару скриптов. Не оставлять же хороших ребят колотить по клаве
> до одурения.
> P.S. ..."Не было печали, купила баба порося". Ты думаешь, я такой умный,
> брат? Или мне за это деньги платят? Хе-хе. Ни то, ни
> другое. Я старый больной инженер. Был бы умный - не ввязался
> бы. Разве что намекнуть попозже, что неплохо бы поляну накрыть? Когда
> они задолбаются^W прочувствуют :)Хочешь получить разумный ответ...
Какправило одну и ту же задачу можно решать разными способами и заложить в решение разную масштабируемость.
Вы скомпилировали свое решение - со своими ограничениями и начальными условиями, флаг в руки перо в .... ну вы поняли.И правильный ответ был "недостаточно исходных данных для корректного ответа".
Вас вполне может и устроила бы netflow статистика, а может и нет...
В изначальной постановки вашего вопроса - корпоративная система безопасности с корневым ssl сертификатом за 10^n баксов даст ответ на все ваши вопросы... так что ненадо тут соплями по ... ну всмысле мыслью по древу.
> так что ненадо тут соплями по ... ну всмысле мыслью по
> древу.Забавно, когда человек, обвиняющий всех подряд в троллинге - сам именно этим и занимается. Написав целый трактат (тем более - бесполезный для специалистов) на тему "Как я провел это лето". :))))
ПыСы: Совй экзамен по физике при Горбачеве зачем-то привел. Еще бы собственную автобиографию расписал.