URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 57239
[ Назад ]

Исходное сообщение
"Nagios plugin для поиска больших логов на серверах"

Отправлено opennews , 27-Июл-09 23:37 
В статье (http://stproject.blogspot.com/2009/07/nagios-plugins.html) описывается пример написания модуля для Nagios, позволяющий искать на удаленных серверах большие логи (или просто очень большие файлы). Также дается пример по использованию NRPE в связке с Nagios.

URL: http://stproject.blogspot.com/2009/07/nagios-plugins.html
Новость: http://www.opennet.me/opennews/art.shtml?num=22764


Содержание

Сообщения в этом обсуждении
"Nagios plugin для поиска больших логов на серверах"
Отправлено dev , 27-Июл-09 23:37 
и зачем оно?
потом бежать и жать эти логи?

почему в кроне не запускать , например каждые 5 мин. проверку величины логов и сжимать их?


"Nagios plugin для поиска больших логов на серверах"
Отправлено kam1kaze , 27-Июл-09 23:47 
Потому что nagios используется не для ментейнинга серверов, а как страховочный механизм готовых решений. Форсмажорные ситуации никто не отменял. В данном случае надо бежать и смареть почему такое случилось.

"Nagios plugin для поиска больших логов на серверах"
Отправлено Warhead Wardick , 28-Июл-09 01:40 
Точно. Бежать и смотреть почему не сработал logrotate\newsyslog\syslog-ng ...
Если в результате проверки окажется что они не сработали за неимением онных ... прописать в экшен снос сисадмина из платежной ведомости - автоматом :)

"Nagios plugin для поиска больших логов на серверах"
Отправлено anon , 28-Июл-09 09:09 
Вы, наверное, недавно тут и Вам не встречались ситуации, когда происходит что-то плохое и это вызывает лавинообразный срач в логи. А ставить ограничение по размеру связано с дополнительными неудобствами.

"Nagios plugin для поиска больших логов на серверах"
Отправлено Аноним , 28-Июл-09 09:09 
за 2 года работы с крупными базами данных (в основном оракл) и веб серверами я не встречал ситуации, когда что-то было не так от огромного размера лог-файла.

От переполнения диска из-за лог файлов, да, были проблемы.
но для этого достаточно мониторить их размер, вместо того , чтобы искать  по ФС больше файлы.


"Nagios plugin для поиска больших логов на серверах"
Отправлено anon , 28-Июл-09 09:11 
>за 2 года работы с крупными базами данных (в основном оракл) и
>веб серверами я не встречал ситуации, когда что-то было не так
>от огромного размера лог-файла.
>
>От переполнения диска из-за лог файлов, да, были проблемы.
>но для этого достаточно мониторить их размер, вместо того , чтобы искать
> по ФС больше файлы.

Ротация по размеру не удобна в плане поиска. К тому же, если что-то сломалась - нужно бежать и смотреть, а не архивировать гигабайты ошибок.


"Nagios plugin для поиска больших логов на серверах"
Отправлено ra , 28-Июл-09 15:24 
Столкнулся три недели назад с такой штукой: в одной сети фотопечати "вдруг все перестало работать". Разборки показали что AltLinux Server с установленным apache 1.3.x и включенным логированием всего подряд сделал error_log очень-очень большим. В результате капец. Логротейт не включен. :-) На диске (рейд-массив) еще оставалось около 1.7 Тб.

Про оракл - запросто может засрать архивлогами диск если настроен не грамотно. И тут уже в зависимости от причуд настраивальщиком можно получить разные любопытные ситуации.


"Nagios plugin для поиска больших логов на серверах"
Отправлено ra , 28-Июл-09 15:25 
Капец - в смысле апач отказывался писать "в такой большой по моему мнению файл". :-)



"Nagios plugin для поиска больших логов на серверах"
Отправлено XoRe , 29-Июл-09 14:00 
>Столкнулся три недели назад с такой штукой: в одной сети фотопечати "вдруг
>все перестало работать". Разборки показали что AltLinux Server с установленным apache
>1.3.x и включенным логированием всего подряд сделал error_log очень-очень большим. В
>результате капец. Логротейт не включен. :-) На диске (рейд-массив) еще оставалось
>около 1.7 Тб.
>
>Про оракл - запросто может засрать архивлогами диск если настроен не грамотно.
>И тут уже в зависимости от причуд настраивальщиком можно получить разные
>любопытные ситуации.

Значит logrotate спас бы ситуацию? )


"Nagios plugin для поиска больших логов на серверах"
Отправлено Nas_tradamus , 28-Июл-09 11:14 
Бесит что NRPE в FreeBSD и Убунте - разных версий. Разные версии чекера и nrpe-сервера не умеют взаимодействовать.
А одинаковые версии искать затруднительно.

"Nagios plugin для поиска больших логов на серверах"
Отправлено тигар , 28-Июл-09 15:44 
даже я знаю что такое "бэкпорты". И очень грустно что Вы умудряетесь юзать убунту, тем более на серверах

"Nagios plugin для поиска больших логов на серверах"
Отправлено Nas_tradamus , 28-Июл-09 15:47 
>даже я знаю что такое "бэкпорты". И очень грустно что Вы умудряетесь
>юзать убунту, тем более на серверах

Да не стану я юзать бэкпорт для чекера, который обслуживает парк фрибзд из-за одной убунты.

А чем плох убунту-сервер?


"Nagios plugin для поиска больших логов на серверах"
Отправлено тигар , 28-Июл-09 15:58 
>>даже я знаю что такое "бэкпорты". И очень грустно что Вы умудряетесь
>>юзать убунту, тем более на серверах
>
>Да не стану я юзать бэкпорт для чекера, который обслуживает парк фрибзд
>из-за одной убунты.
>
>А чем плох убунту-сервер?

В Вашем случае хотябы тем что у Вас парк fbsd и этот единственный сервер (я так понимаю мониторинг) нужно отслеживать и латать отдельно:-) Кстати, если это действительно сервер для мониторинга... чем был обусловлен выбор ос? халявная подставка под кофе случайно в привод завалилась или захотелось извращений ?:)

p.s. если убунту-сервер также отупляет как не-сервер то он 100% ненужен, в irc довольно часто убунту-юзера можно отличить от не-убунту-юзера;-)


"Nagios plugin для поиска больших логов на серверах"
Отправлено Nas_tradamus , 28-Июл-09 16:05 
>[оверквотинг удален]
>>А чем плох убунту-сервер?
>
>В Вашем случае хотябы тем что у Вас парк fbsd и этот
>единственный сервер (я так понимаю мониторинг) нужно отслеживать и латать отдельно:-)
>Кстати, если это действительно сервер для мониторинга... чем был обусловлен выбор
>ос? халявная подставка под кофе случайно в привод завалилась или захотелось
>извращений ?:)
>
>p.s. если убунту-сервер также отупляет как не-сервер то он 100% ненужен, в
>irc довольно часто убунту-юзера можно отличить от не-убунту-юзера;-)

Нужен был линукс для запуска специфического ПО, недоступного для FreeBSD. Nagios, как раз, под FreeBSD.

Ubuntu Server, честно говоря, админить не легче, чем обычный Debian или, скажем, SUSE.
Или может я не знаю под него пакеты, которые "сами админят и все настраивают"?


"Nagios plugin для поиска больших логов на серверах"
Отправлено тигар , 28-Июл-09 16:25 
>Нужен был линукс для запуска специфического ПО, недоступного для FreeBSD. Nagios, как
>раз, под FreeBSD.

ясно, в принципе можно закончить на этом.
>
>Ubuntu Server, честно говоря, админить не легче, чем обычный Debian или, скажем,
>SUSE. Или может я не знаю под него пакеты, которые "сами админят и все настраивают"?

это был просто легкий троллинг:-)
p.s. /me долго думал.. для каких же имбицилов делались тулзы типа a2enmod или кактам что идет с апачем в дебиане и его форках:) команда для тех кто сам симлинк сделать не может/прописать в конфиг апача LoadModule самостоятельно видимо:)



"Nagios plugin для поиска больших логов на серверах"
Отправлено ш , 28-Июл-09 19:58 
>Нужен был линукс для запуска специфического ПО, недоступного для FreeBSD. Nagios, как раз, под FreeBSD.

расскажишь это моим фбсд серверам с нагиосом?

>Ubuntu Server, честно говоря, админить не легче, чем обычный Debian или, скажем, SUSE.

пошутил, да?

а вообще как бы понятно, просто достались машинки с фрей, но фрю мы не знаем, да и вообще ничего кроме убунты не видели.


"Nagios plugin для поиска больших логов на серверах"
Отправлено тигар , 28-Июл-09 21:28 
>>Нужен был линукс для запуска специфического ПО, недоступного для FreeBSD. Nagios, как раз, под FreeBSD.
>
>расскажишь это моим фбсд серверам с нагиосом?
>

он имел ввиду левый софт который (не факт) не собирается под fbsd, не nagios


"Nagios plugin для поиска больших логов на серверах"
Отправлено Nas_tradamus , 29-Июл-09 10:47 
>>Нужен был линукс для запуска специфического ПО, недоступного для FreeBSD. Nagios, как раз, под FreeBSD.
>
>расскажишь это моим фбсд серверам с нагиосом?
>

А ты на своих фрибсд серверах с нагиосом запустил бы, скажем, вот это:
http://www.manageengine.com/products/support-center/russian/...
?

>>Ubuntu Server, честно говоря, админить не легче, чем обычный Debian или, скажем, SUSE.
>
>пошутил, да?
>

Нет.

>а вообще как бы понятно, просто достались машинки с фрей, но фрю
>мы не знаем, да и вообще ничего кроме убунты не видели.
>

А представь себе диаметрально противоположную ситуацию.


"Nagios plugin для поиска больших логов на серверах"
Отправлено тигар , 29-Июл-09 12:33 
>А ты на своих фрибсд серверах с нагиосом запустил бы, скажем, вот
>это:
>http://www.manageengine.com/products/support-center/russian/...
>?

сколько денег заплатить готовы за то что это запущу на fbsd?;-) за отдельную плату - на тачке где нагиос стоит сделаю:-)


"Nagios plugin для поиска больших логов на серверах"
Отправлено Nas_tradamus , 29-Июл-09 12:48 
>>А ты на своих фрибсд серверах с нагиосом запустил бы, скажем, вот
>>это:
>>http://www.manageengine.com/products/support-center/russian/...
>>?
>
>сколько денег заплатить готовы за то что это запущу на fbsd?;-) за
>отдельную плату - на тачке где нагиос стоит сделаю:-)

За отдельные деньги я бы сам занялся сексом. Мне сказали поставить Ubuntu - я поставил.

А VMware Server последний запустили бы?


"Nagios plugin для поиска больших логов на серверах"
Отправлено тигар , 29-Июл-09 12:59 
>А VMware Server последний запустили бы?

а вот юзать "продукцию" этой конторы ящитаю дурным тоном. и, это...
VMware Server точно нужно ставить в ОС? или таки оно содержит в себе хрень на базе 2.4 ядра?


"Nagios plugin для поиска больших логов на серверах"
Отправлено Nas_tradamus , 29-Июл-09 14:08 
>>А VMware Server последний запустили бы?
>
>а вот юзать "продукцию" этой конторы ящитаю дурным тоном. и, это...
>VMware Server точно нужно ставить в ОС? или таки оно содержит в
>себе хрень на базе 2.4 ядра?

Хотелось бы узнать аналог этого решения, который позволял бы подключаться к его консоли из любой ОС.

Про устройство VMware ничего сказать не могу. Знаю только что на фрю последнюю версию практически нереально поставить.

PS: предпочтение я отдаю FreeBSD как серверной ОС.


"Nagios plugin для поиска больших логов на серверах"
Отправлено STALKER_BY , 28-Июл-09 18:05 
Просто ставь из сорсов, или с этим тоже есть проблемы?

"Nagios plugin для поиска больших логов на серверах"
Отправлено Nas_tradamus , 28-Июл-09 18:07 
>Просто ставь из сорсов, или с этим тоже есть проблемы?

Ну это уже, скорее, религиозное.
Хотя, может и поставлю скоро ).


"Nagios plugin для поиска больших логов на серверах"
Отправлено STALKER_BY , 28-Июл-09 20:24 
>>Просто ставь из сорсов, или с этим тоже есть проблемы?
>
>Ну это уже, скорее, религиозное.
>Хотя, может и поставлю скоро ).

Религия это хорошо, тем более на production серверах. Но в плане Nagios, насколько я убедился, без установки чего-то из сорсов никак :(.


"Nagios plugin для поиска больших логов на серверах"
Отправлено XoRe , 28-Июл-09 13:59 
Имхо, полезно, как часть большого списка проверок "на каждый чих".
А поиск самых больших логов...
find /var/log/ -type f -exec wc -c "{}" \; | sort -n
=)

"Nagios plugin для поиска больших логов на серверах"
Отправлено тигар , 28-Июл-09 15:46 
>Имхо, полезно, как часть большого списка проверок "на каждый чих".
>А поиск самых больших логов...
>find /var/log/ -type f -exec wc -c "{}" \; | sort -n

да, я тоже был крайне удивлен увидев целую простыню на perl вместо банального вызова find ;)



"Nagios plugin для поиска больших логов на серверах"
Отправлено STALKER_BY , 28-Июл-09 18:09 
>>Имхо, полезно, как часть большого списка проверок "на каждый чих".
>>А поиск самых больших логов...
>>find /var/log/ -type f -exec wc -c "{}" \; | sort -n
>
>да, я тоже был крайне удивлен увидев целую простыню на perl вместо
>банального вызова find ;)

Если ты действительно прочитал все что там написано, то заметил наверное что используется именно find.

>>find /var/log/ -type f -exec wc -c "{}" \; | sort -n

Эта чудо строка исключает из поиска папки с бэкапами?


"Nagios plugin для поиска больших логов на серверах"
Отправлено тигар , 28-Июл-09 21:41 
>>>Имхо, полезно, как часть большого списка проверок "на каждый чих".
>>>А поиск самых больших логов...
>>>find /var/log/ -type f -exec wc -c "{}" \; | sort -n
>>
>>да, я тоже был крайне удивлен увидев целую простыню на perl вместо
>>банального вызова find ;)
>
>Если ты действительно прочитал все что там написано, то заметил наверное что
>используется именно find.
>

если бы я каждый раз как только вижу код на pl читал его я бы наверное сошел с ума. Лично меня пугает и настораживает использование perl\python\etc в вещах которые можно сделать на sh который есть "из коробки". Предугадывая ответ: нет, я не буду _это_ переписывать на sh - не вижу необходимости подобного чека, я всегда знаю кто может и главное куда вести логи, вполне обхожусь плагином check_disk.

>>>find /var/log/ -type f -exec wc -c "{}" \; | sort -n
>
>Эта чудо строка исключает из поиска папки с бэкапами?

hint: в -exec можно запустить код написанный хоть на жаве который сделает все что душа пожелает, а также опционально отошлет секретарше письмо с minet request и еще много чего полезного сделает.


"Nagios plugin для поиска больших логов на серверах"
Отправлено XoRe , 29-Июл-09 14:21 
>>>find /var/log/ -type f -exec wc -c "{}" \; | sort -n
>
>Эта чудо строка исключает из поиска папки с бэкапами?

Нет, не ищет.
У ваших скриптов функционал больше.