The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка  RSS
"Написание своего анализатора лога SQUID-а"
Вариант для распечатки Архивированная нить - только для чтения! 
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [Проследить за развитием треда]

"Написание своего анализатора лога SQUID-а"
Сообщение от mrrc emailИскать по авторуВ закладки on 14-Дек-02, 23:15  (MSK)
Возникла необходимость в написании собственной программы обработки лога (access.log) SQUID-а, в связи с чем хотелось бы обговорить и уточнить у общественности несколько принципиальных моментов, а именно.

Нужно разделить запросы пользователей, дабы считать только реальный входящий трафик, ориентируясь при этом на Squid result codes в строке запроса, при нахождении запрашиваемого пользователем объекта в кэше и при обращении за ним к первоисточнику на сайт.

Как я понимаю, при получении данных из кэша мы ориентируемся на следующие result codes в строке:

TCP_HIT
TCP_IMS_HIT
TCP_MEM_HIT
TCP_REFRESH_HIT (не уверен на счет этого, т.к. запрос то к первоисточнику производится все равно, значит все же какие-то данные о "304 Not Modified" получаются, хотя сам объект берется из кэша)

Записи с вышеперечисленными result codes при подсчете не будут учитываться, вернее будут учитываться как эффективность кэша, а не входящий трафик пользователей. Может в этот список еще нужно добавить некие result codes, типа TCP_NEGATIVE_HIT и TCP_OFFLINE_HIT, что скажете?

Result codes вида:

NONE
TCP_DENIED

не учитываются при подсчете трафика (либо TCP_DENIED выбирается для анализа попыток  доступа пользователей к запрещенным ресурсам).

Все же остальное считается как входящий трафик пользователей. Нужно ли отслеживать Request methods, то есть GET, HEAD, POST, OPTIONS, CONNECT, если отправку данных через SQUID у нас никто не осуществляет.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

 Оглавление

Индекс форумов | Темы | Пред. тема | След. тема
Сообщения по теме

1. "RE: Написание своего анализатора лога SQUID-а"
Сообщение от mrrc emailИскать по авторуВ закладки on 15-Дек-02, 18:04  (MSK)
up
  Рекомендовать в FAQ | Cообщить модератору | Наверх

2. "RE: Написание своего анализатора лога SQUID-а"
Сообщение от noname Искать по авторуВ закладки on 16-Дек-02, 05:34  (MSK)
Ты эта, как разберешся кинь в форум %-)
А то я сам как то собирался подобным заняться но се руки не доходили...
Еще можно в сорцах squid2mysql покапаться и с авторами попереписываться.
  Рекомендовать в FAQ | Cообщить модератору | Наверх

3. "RE: Написание своего анализатора лога SQUID-а"
Сообщение от mrrc emailИскать по авторуВ закладки on 16-Дек-02, 07:37  (MSK)
Понятно, то есть я первопроходец какой-то просто, никто ничего думать по проблематике не хочет и поддержать мои приведенные соображения тоже.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

4. "RE: Написание своего анализатора лога SQUID-а"
Сообщение от ShyLion Искать по авторуВ закладки on 16-Дек-02, 10:48  (MSK)
для метода GET реальный траффик показывают только MISS
  Рекомендовать в FAQ | Cообщить модератору | Наверх

5. "RE: Написание своего анализатора лога SQUID-а"
Сообщение от mrrc emailИскать по авторуВ закладки on 16-Дек-02, 15:54  (MSK)
>для метода GET реальный траффик показывают только MISS

Да в общем-то как и для CONNECT-а и прочих.
То есть считать нужно все методы с MISS_ заисключением, возможно, PUT-f.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

6. "RE: Написание своего анализатора лога SQUID-а"
Сообщение от mrrc emailИскать по авторуВ закладки on 16-Дек-02, 18:02  (MSK)
Выше немного уточнить нужно, а как быть с TCP_REFRESH_MISS и TCP_CLIENT_REFRESH_MISS, ты имел в виду все MISS, то есть к реальному трафику относятся:

TCP_MISS
TCP_REFRESH_MISS
TCP_CLIENT_REFRESH_MISS


Из методов реальный трафик также должен быть присущ только GET, HEAD, OPTIONS, CONNECT, исключение PUT и POST.

Также, полагаю, нужно отсекать (прибавить, скажем, к NONE и TCP_DENIED) *_MISS/5**, что является паразитным трафиком между клиентом и сквидом.

  Рекомендовать в FAQ | Cообщить модератору | Наверх


Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру