URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 82232
[ Назад ]

Исходное сообщение
"продвинутый syslog"

Отправлено pablo , 02-Окт-08 11:29 
Приветствую
Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За день набегает около восьми гиг лога для каждой железяки. Всё замечательно до тех пор пока не приходится искать там какую-то инфу. Занимает это достаточно много времени и раздражает ужасно. Снизить объем - нереально, он будет только расти.

Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может быть что-то кладущее их в базу и предоставляющее простой интерфейс для поиска? Понимаю, что можно и самому написать, но не хочется изобратать велосипеды.


Содержание

Сообщения в этом обсуждении
"продвинутый syslog"
Отправлено yurmax , 02-Окт-08 13:59 
>[оверквотинг удален]
>Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За
>день набегает около восьми гиг лога для каждой железяки. Всё замечательно
>до тех пор пока не приходится искать там какую-то инфу. Занимает
>это достаточно много времени и раздражает ужасно. Снизить объем - нереально,
>он будет только расти.
>
>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может
>быть что-то кладущее их в базу и предоставляющее простой интерфейс для
>поиска? Понимаю, что можно и самому написать, но не хочется изобратать
>велосипеды.

как вариант syslog-ng , всё фигачит в мускуль, поиск и просмотр с веб-морды.
ЗЫ. только не знаю как мускуль отнесется к такому количеству логов......


"продвинутый syslog"
Отправлено pablo , 02-Окт-08 14:24 
>>[оверквотинг удален]
>>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может
>>быть что-то кладущее их в базу и предоставляющее простой интерфейс для
>>поиска? Понимаю, что можно и самому написать, но не хочется изобратать
>>велосипеды.
>
>как вариант syslog-ng , всё фигачит в мускуль, поиск и просмотр с
>веб-морды.
>ЗЫ. только не знаю как мускуль отнесется к такому количеству логов......

Думаю mysql станет не очень хорошо, я привел размер лога для одного из девайсов, но всего устройств более полусотни и хранить логи желательно не менее месяца.

Есть ли готовые решения на этой основе или необходимо писать самому?


"продвинутый syslog"
Отправлено ingoa , 02-Окт-08 15:22 
>Думаю mysql станет не очень хорошо, я привел размер лога для одного
>из девайсов, но всего устройств более полусотни и хранить логи желательно
>не менее месяца.
>
>Есть ли готовые решения на этой основе или необходимо писать самому?

50device*8Gb*30=12Tb
Большие расходы на обработку и хранение такой базы


"продвинутый syslog"
Отправлено zsh , 02-Окт-08 14:02 
как уже верно отметили, syslog-ng облегчит эту проблему. Почти уверен, что проанализировав данные помещаемые в логфайл, можно исключить менее важные вовсе или отфильтровать их в другой логфайл.

"продвинутый syslog"
Отправлено pablo , 02-Окт-08 14:29 
>как уже верно отметили, syslog-ng облегчит эту проблему. Почти уверен, что проанализировав
>данные помещаемые в логфайл, можно исключить менее важные вовсе или отфильтровать
>их в другой логфайл.

В данный момент стоит именно syslog-ng. К сожалению уменьшить (отфильтровать) невозможно, как и раскинуть по разным лог-файлам. Объясню: каждый лог-файл это лог за день от одного устройства и уже содержит однотипные события.
В первую очередь интересует готовое решение для индексации и поиска.


"продвинутый syslog"
Отправлено gpl77 , 02-Окт-08 17:45 

>
>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может
>быть что-то кладущее их в базу и предоставляющее простой интерфейс для
>поиска? Понимаю, что можно и самому написать, но не хочется изобратать
>велосипеды.

все про syslog-и
http://www.loganalysis.org/


"продвинутый syslog"
Отправлено pablo , 02-Окт-08 17:56 

>
>все про syslog-и
>http://www.loganalysis.org/

Отличный ресурс! Почитаем, спасибо.


"продвинутый syslog"
Отправлено Pahanivo , 02-Окт-08 17:51 
> 50device*8Gb*30=12Tb
> Большие расходы на обработку и хранение такой базы.

Очень нефиговый объем логов, вы уверены что у вас правильно продумана политика логирования?
Тем более пишете что события однотипные?

Мона пример посмотреть логов?


"продвинутый syslog"
Отправлено pablo , 02-Окт-08 18:01 
>> 50device*8Gb*30=12Tb
>> Большие расходы на обработку и хранение такой базы.
>
>Очень нефиговый объем логов, вы уверены что у вас правильно продумана политика
>логирования?

Ну не всё так страшно на самом деле. :)
Во-первых всё это дело архивируется, а во-вторых нагруженых устройств (лог от которых достигает восьми гб.) не так так уж и много, но поскольку они одни из самых загруженых, инженерам достаточно часто приходится что-то там искать, а это раздражает и занимает уйму времени.

>Тем более пишете что события однотипные?
>
>Мона пример посмотреть логов?

Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад" всегда можно посмотреть что происходило на самом деле.



"продвинутый syslog"
Отправлено idle , 02-Окт-08 19:00 

>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>всегда можно посмотреть что происходило на самом деле.

Жесть какая...
Фаерволы не предназначены для логгирования трафика.
Замените на нетфлоу, будет одна запись не на пакет, а на сессию. Размер будет в 1000 раз меньше.



"продвинутый syslog"
Отправлено Pahanivo , 02-Окт-08 19:25 
>
>>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>>всегда можно посмотреть что происходило на самом деле.
>
>Жесть какая...
>Фаерволы не предназначены для логгирования трафика.
>Замените на нетфлоу, будет одна запись не на пакет, а на сессию.
>Размер будет в 1000 раз меньше.

Полностью согласен. Если вы таким образом собираете статистику - это бред.
Во первых грузите сам фаер - ибо он должен пакеты гонять, а не гигабайты логов отдавать.
Во вторых - есть нормальные способы для сбора статистики (например нетфлоу как товарисч выше пишет). По крайней мере вы сразу получите агрегированный лог.


"продвинутый syslog"
Отправлено pablo , 02-Окт-08 19:51 

>Полностью согласен. Если вы таким образом собираете статистику - это бред.
>Во первых грузите сам фаер - ибо он должен пакеты гонять, а
>не гигабайты логов отдавать.
>Во вторых - есть нормальные способы для сбора статистики (например нетфлоу как
>товарисч выше пишет). По крайней мере вы сразу получите агрегированный лог.
>

Ответил ниже в треде.


"продвинутый syslog"
Отправлено pablo , 02-Окт-08 19:51 
>
>>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>>всегда можно посмотреть что происходило на самом деле.
>
>Жесть какая...
>Фаерволы не предназначены для логгирования трафика.
>Замените на нетфлоу, будет одна запись не на пакет, а на сессию.
>Размер будет в 1000 раз меньше.

Извините конечно, но вы не пробовали читать то что я написал?
Какой нетфлоу? При чем он здесь?
Файрволл пишет лог при первой проверке на аксесс-листе, т.е. для одной сессии - одна запись.
Логи используются в дальнейшем для траблшута и анализа.


"продвинутый syslog"
Отправлено parad , 02-Окт-08 20:33 
Вернее всего вы не правильно выбираете предназначение лога или не доконца понимаете что хотите.

8Гб = 8'589'934'592 байт или 99'420 байт/сек. Если представить длину одной записи за 80байт получаем 1243записей/сек. Если представить даже самый идеальный случай, когда <50% - это разрешенный траффик, т.е. ~500коннектов/сек, и учесть, что у вас фаерволом отслеживает состояние подключения (keep-state/check-state), то фаер имеет право жить, лишь при условии средней продалжительности коннекта < секунды, в противном случае таблица состояний будет расти очень быстро. В общем, к чему это я, - где-то вы врете, либо не хотите оптимизировать записи, а просто нарываетесь на рекомандацию купить железяку на неск тысч евро под БД, поскольку более быстрого механизма поиска по структурированным данным, кроме как в БД вы не найдете, притом не каждая БД подайдет. Вот мускуль точно не справится с таким объемом данных!


"продвинутый syslog"
Отправлено parad , 02-Окт-08 20:36 
Уточню: средняя продалжительность коннекта не должна привышать 1/500 = 0.002сек!

"продвинутый syslog"
Отправлено pablo , 02-Окт-08 21:06 
>Уточню: средняя продалжительность коннекта не должна привышать 1/500 = 0.002сек!

Честно говоря, даже с уточнением не понял данной выкладки. Почему при пороге 500 новых соединений в секунду "фаер имеет право жить, лишь при условии средней продалжительности коннекта < секунды"? Что-то магическое в цифре 500? Почему не 666 в таком случае? :)

Возможно я неверно понял.


"продвинутый syslog"
Отправлено Pahanivo , 03-Окт-08 16:16 
Дайте уже посмотреть пример лога!


"продвинутый syslog"
Отправлено LS , 10-Окт-08 22:54 
>
>>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>>всегда можно посмотреть что происходило на самом деле.
>
>Жесть какая...
>Фаерволы не предназначены для логгирования трафика.
>Замените на нетфлоу, будет одна запись не на пакет, а на сессию.
>Размер будет в 1000 раз меньше.

где Вы увидели задачу логирования трафика? вопрос только о доступе к определенному сетевому ресурсу. и поэтому в тот же фаервол на каждую попытку установить соединение сделает только одну запись (при правильной настройке). а сбор данных по нетфлоу - это другой раздел задач - из разряда "кто-на-сколькоМБ-КУДА-ходил".


"продвинутый syslog"
Отправлено LS , 10-Окт-08 23:05 
>> 50device*8Gb*30=12Tb
>> Большие расходы на обработку и хранение такой базы.
>
>Очень нефиговый объем логов, вы уверены что у вас правильно продумана политика
>логирования?
>Тем более пишете что события однотипные?
>
>Мона пример посмотреть логов?

+1

поста не нашел - цитата цитаты из данной ветки:
>>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>>всегда можно посмотреть что происходило на самом деле.

и ответ однозначен - логирование "парвильного" трафика - это бред начинающих админов. нигде практически кроме _серьезных_ струр, которые в этой информации нуждаются это делать не надо: - на время отладки включил - настроил - посмотрел - все хорошо - выключил. все.



"продвинутый syslog"
Отправлено simplerulzz , 20-Окт-08 21:19 
>[оверквотинг удален]
>Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За
>день набегает около восьми гиг лога для каждой железяки. Всё замечательно
>до тех пор пока не приходится искать там какую-то инфу. Занимает
>это достаточно много времени и раздражает ужасно. Снизить объем - нереально,
>он будет только расти.
>
>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может
>быть что-то кладущее их в базу и предоставляющее простой интерфейс для
>поиска? Понимаю, что можно и самому написать, но не хочется изобратать
>велосипеды.

rsyslog