The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Новая версия системы мониторинга Monitorix 3.12.0 , opennews (??), 22-Фев-20, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


38. "Новая версия системы мониторинга Monitorix 3.12.0 "  +/
Сообщение от пох. (?), 23-Фев-20, 01:18 
>> на rrdtool, без возможности посмотреть детали за прошлые периоды.
> Зато не требует терабайтных баз и DBA на их содержание. У rrdtool
> ключевое преимущество - мелкие базы, как раз потому что хранят агрегированную
> статистику. Ну и зачем мне логи сервера 5-летней давности? Кроме засорения

мне не логи нужны (логи нужны товарищмайору, в том числе в отставке, из внутренней безопасности, поэтому логи тоже хранятся - трехлетней давности уже хотели). А мне нужно посмотреть - вот это поведение у нас - каждую пятницу случается, каждую нечетную пятницу, или было что-то похожее пол-года назад. Или оно нетипичное и надо срочно разбираться, пока не превратилось в аварию.

Для этого нужна возможность посмотреть не "годовой график", где ничего не видно, а график именно за прошлую пятницу. Или за позапрошлую. С той же самой детализацией, что за сегодня. Этого rrdtool - не умеет.

Вероятно, забиксовая идея что тазы банных стали достаточно мощными, чтобы забить на эти странные поделки и просто хранить историю построчно, в том виде, в котором мы ее получили, в конечном итоге оказалась неудачной (базы-то стали, но и хранить народ повадился дохрена всякого ненужного мусора), но за это время появились идеи получше rrd - тот же prometeus, timescale и прочие, которые тоже хранят не плоскую таблицу history, но позволяют заглянуть в прошлое, если надо.

А может и с обычными rdb можно было бы жить, если бы нормальные программисты не сбежали из этого проекта на стадии 0.какого-то - вон где-то в районе вторых версий - умудрились sqlite сломать. НУ КАК?!
Причем не стали ни разбираться, ни пытаться привлечь разработчиков - просто выкинули ее поддержку из сервера. Хотя казалось бы - ну нахрена тому серверу ходить в базу через сокет, если он все равно не умеет ни балансировку ни HA (вместо ниасилиных кластеров - дурацкие "прокси" с собственными базами данных - хотя изначально был кластер, из полнофункциональных серверов).

Ответить | Правка | Наверх | Cообщить модератору

50. "Новая версия системы мониторинга Monitorix 3.12.0 "  +1 +/
Сообщение от Аноним (-), 23-Фев-20, 22:07 
> мне не логи нужны (логи нужны товарищмайору, в том числе в отставке,

Ну так пусть он их у себя и хранит, хоть 300 лет, если ему они нужны. Через 5 лет там уже провайдер не помнит кому он что выдавал и почему, клиента того уж и нет, а может и провайдера уже, айпи указывает на какое-то левое тело. Потому что тел у которых айпи жестко выделен именно им, на именно такой период, на этом глобусе немного, особенно v4, а записывать историю на такой период с такой детальностью - давайте еще все изменения состояний атомов с эпохи большого взрыва залоггируем. Где взять столько стоража в этой вселенной мы подумаем как-нибудь потом. Ну, например по китайской технологии реализуем, китайцы таки умеют законы физики нарушать если продать очень хочется.

> А мне нужно посмотреть - вот это поведение у нас - каждую пятницу случается, каждую
> нечетную пятницу, или было что-то похожее пол-года назад.

Дык rrdtool как раз для чего-то такого и катит, если агрегированная база с достаточным разрешением. Не надо ее обруюать так же как в мыльнице с опенвртой, там то места совсем нету, так что иногда жертвовать гламурностью графика все ж приходится :)

> Или оно нетипичное и надо срочно разбираться, пока не превратилось в аварию.

На rrdtool-ных графиках подобные вещи как раз неплохо видны, если не делать их совсем уж пятой точкой.

> Для этого нужна возможность посмотреть не "годовой график", где ничего не видно,

Все там видно, если достаточно точек. Можно каждые полчаса хранить в годовом графике. Не, у тебя что, энтерпрайзное железо реально не смогет там 20К точек? При том заметь, это фиксированный расход, он не растет по времени.

> а график именно за прошлую пятницу. Или за позапрошлую. С той
> же самой детализацией, что за сегодня. Этого rrdtool - не умеет.

Его пойнт в том чтобы уменьшить объем агрегированных данных до вменяемого размера.

> эти странные поделки и просто хранить историю построчно, в том виде,
> в котором мы ее получили, в конечном итоге оказалась неудачной

Наверное, rrdtool тоже можно в такой режим загнать, но если что-то начнет тупить или место все же начнет пождимать - пардон ребята, попробуйте в следующий раз каждый атом во вселенной логгить, это еще прикольнее.

Ответить | Правка | Наверх | Cообщить модератору

52. "Новая версия системы мониторинга Monitorix 3.12.0 "  +/
Сообщение от пох. (?), 23-Фев-20, 23:02 
[наивный бред пион..нецветочка - skipped. Мы храним логи. Те, которые нужны, чтобы удовлетворить возникшую потребность товарищей - их гораздо меньше чем ты нафантазировал.]

> Дык rrdtool как раз для чего-то такого и катит, если агрегированная база с достаточным
> разрешением.

агрегированная - означает что разрешение намеренно ограничено. Иначе нахрен бы нужно то агрегирование? Весь смысл RR - что старые записи - вытесняются новыми. А сохраняется огрубленная информация, и та удаляется по тому же принципу.

rrdtool "для такого" феерически бесполезен, поскольку если создать такое чудовище, которое будет хранить детальную информацию, оно лопнет раньше чем sql база в силу абсолютно неэффективного поиска и хранилища, двадцать лет назад уже устаревших.

> Все там видно, если достаточно точек. Можно каждые полчаса хранить в годовом графике.

Признайся честно - ты мониторишь только васян-хост, да?
Пол-часа - это вообще можно не хранить. Хранить надо изменения состояния, которые важны для сервиса - обычно это минуты, а иногда и секунды. А иногда ничего не меняется, и их можно вообще не хранить (достаточно хранить факт "не изменилось")

> При том заметь, это фиксированный расход, он не растет по времени.

потому что волшебство, да? Пятое измерение открыли? Нет, братело - этот "фиксированный расход" у тебя за счет того что данные просто удаляются. А чтобы они не удалялись - надо прямо сейчас занять то место, которое заполнилось бы за год - верх экономии, не включая мозгов. А буде понадобится пять лет - то занять место на пять лет вперед.

И я тебе страшную тайну открою - удалить данные можно и из sql.

> Его пойнт в том чтобы уменьшить объем агрегированных данных до вменяемого размера.

позволяющего нарисовать бесполезный график за год, за месяц и за неделю. Обычно у васянов, любителей rrd, такие. Которые мне как раз абсолютно не нужны.

> Наверное, rrdtool тоже можно в такой режим загнать

нельзя. Он и не предназначен для этого, и не способен переварить такой объем.

А вот sql на энтерпрайзном железе - вообще говоря, способен. Причем не надо пытаться заранее угадать, а потом плакать что огрубление произошло слишком сильно - всегда можно оставить себе запас, а поудалять потом, когда убедишься, что такая детализация тебе не пригодилась, а мощности начнет (если вообще начнет) не хватать.

Идея же хранения агрегированных данных совсем другая. Никому не интересны запросы к базе вида "что показывал этот параметр в 23:00:06.123". Во-первых, такого значения там нет. Ближайшее снято в 23:00:00.354, потому что этот параметр проверяется раз в две минуты, и проверка не мгновенна. Поиск подобных диапазонов в sql - неэффективен сам по себе. Во-вторых, мы не это на самом деле увидеть хотели. Мы хотели увидеть, вероятно, "возможное значение в этот момент, угаданное по известным точкам" (это ни разу не "среднее!"). А может и вовсе всего лишь получить примерную точку для графика, среди прочих пары тысяч с нужным интервалом (все подряд - не требуются, график крупный. А вот экстремумы не прочавкать - не помешало бы).
Это опять не лучшая задача для sql.

Для этого существуют базы, предназначенные хранить именно метрики. Но rrd среди них - давным-давно самый устаревший и бесполезный. Придуман когда компьютеры еще были большие, а емкость дисков и памяти - крохотными.


Ответить | Правка | Наверх | Cообщить модератору

75. "Новая версия системы мониторинга Monitorix 3.12.0 "  +/
Сообщение от Аноним (75), 25-Фев-20, 18:33 
Можно я влезу. О каких объемах речь, которые не способен переварить rrd?
Ответить | Правка | Наверх | Cообщить модератору

77. "Новая версия системы мониторинга Monitorix 3.12.0 "  +/
Сообщение от Аноним (75), 25-Фев-20, 18:38 
Касательно агрегирования vs архивирование. Действительно, rrd умеет делать агрегацию данных, но нигде не написано, что вы должны это использовать. Если нужна точная статистика за все периоды, то можно архивировать старые файлы (перед тем как пойдет новый цикл).

Есть плюс у СУБД перед rrd - съем рандомной, нетипизированной информации, например, просто строка ответа с произвольным текстом. В этом случае, действительно нужно другое хранилище, которое умеет делать индексацию по таким данным.

Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору

78. "Новая версия системы мониторинга Monitorix 3.12.0 "  +/
Сообщение от Аноним (-), 26-Фев-20, 12:34 
> удовлетворить возникшую потребность товарищей - их гораздо меньше чем ты нафантазировал.]

Если они через 5 лет всерьез приползают, их реальная потребность таки перестать жрать тормозную жидкость.

> агрегированная - означает что разрешение намеренно ограничено.

Ну так надо определиться какое разрешение разумное и угомониться. Врядли тебе нужен посекундный лог за 10 лет. Чего с ним делать?

> Иначе нахрен бы нужно то агрегирование?

Чтобы избежать неограниченного роста базы по времени, например.

> Весь смысл RR - что старые записи - вытесняются новыми.
> А сохраняется огрубленная информация, и та удаляется по тому же принципу.

Это однако ничего не говорит о том сколько и чего будет удалиться. Зачем надо посекундно 10-летний период? Чтобы хранилки впаривать, побольше и подороже? Ну это вариант, конечно :) А так - толку то тебе от знаний 10-летней давности? С тех пор многое могло измениться.

> будет хранить детальную информацию, оно лопнет раньше чем sql база в
> силу абсолютно неэффективного поиска и хранилища, двадцать лет назад уже устаревших.

Чего там такого "неэффективного"? Да еще по сравнению с монструозным скулем? Маркетинговый булшит чтоли? А, ну да, rrdtool просто работает, а не разводит голимый пиар :)

> Пол-часа - это вообще можно не хранить. Хранить надо изменения состояния, которые
> важны для сервиса - обычно это минуты, а иногда и секунды.

Вот прямо минуты и секунды - за последние 10 лет? Вопрос: что за изменения такие и чего это знание должно кому-то дать? Конкретные примеры, блин, давай, куда и как приткнуть тухляк десятилетней давности.

> А иногда ничего не меняется, и их можно вообще не хранить
> (достаточно хранить факт "не изменилось")

Это весьма годная оптимизация, но это как-то очень странно. Для кладбища, наверное, работает. Покуда новых клиентов не привозят.

> потому что волшебство, да? Пятое измерение открыли? Нет, братело - этот "фиксированный
> расход" у тебя за счет того что данные просто удаляются.

И что характерно - я нахожу такой подход очень разумным. Он сохраняет общий вид и пригоден для понимания нагрузок по временам суток/года/etc. А копаться под микроскопом в данных 10-летней давности в общем случае идиотизм. Хотя для поха нормально, он эксперт в простреливании своих пяток.

> А чтобы они не удалялись - надо прямо сейчас занять то место,
> которое заполнилось бы за год - верх экономии, не включая мозгов.
> А буде понадобится пять лет - то занять место на пять лет вперед.

Ну так это место все равно займется. Не, намного лучше будет если все про это забудут, поюзают место, а через 4.5 года - БАБАХ - no free space left on device. Во круто.

> И я тебе страшную тайну открою - удалить данные можно и из sql.

Можно. Но это гораздо более кривое и сложное действо.

> позволяющего нарисовать бесполезный график за год, за месяц и за неделю. Обычно
> у васянов, любителей rrd, такие. Которые мне как раз абсолютно не нужны.

Ну, не нужны так и не пользуйся. Можно подумать кто-то заставляет.

> нельзя. Он и не предназначен для этого, и не способен переварить такой объем.

Вообще он изначально все-таки не для этого.

> А вот sql на энтерпрайзном железе - вообще говоря, способен.

А, понятно, цель таки раскрутить контору на бабки.

> базе вида "что показывал этот параметр в 23:00:06.123".

Я не особо понимаю этот юзкейс. Большинство нагрузок на хосты, оборудование и проч имеет ярко выраженные паттерны по времени суток, года, ... - и смысл смотреть что было именно 23:00:06.123, 10 лет назад - ну даже если и посмотреть, то чего? С тех пор скорее всего многое изменилось.

> Для этого существуют базы, предназначенные хранить именно метрики. Но rrd среди них
> - давным-давно самый устаревший и бесполезный. Придуман когда компьютеры еще были
> большие, а емкость дисков и памяти - крохотными.

И таки я считаю что для обычных юзкейсов он вполне себе катит. А экономное отношение к ресурсам позволяет втулить его и туда где иначе на мониторинг просто забили бы.

Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору

80. "Новая версия системы мониторинга Monitorix 3.12.0 "  +/
Сообщение от пох. (?), 26-Фев-20, 20:12 
> Если они через 5 лет всерьез приползают

утечка всплыла через три года. До этого - ничем не воняло, воришка отлеживался на грунте.
Теперь всплыл - и тут же был посажен на бутылочку, наивный дятел, думавший что логи не хранятся, что это нечеловечески сложно и дорого.

> Ну так надо определиться какое разрешение разумное и угомониться. Врядли тебе нужен посекундный
> лог за 10 лет. Чего с ним делать?

я ж вроде детально разжевал, что - сравнивать с таким же точно логом на сейчас.
Если он сейчас зачем-то посекундный- значит, там что-то, что важно не пропустить на этом интервале, а не каком-то другом. А там где неважно - там и снимается раз в пять минут.
Нужно редко - и тот же mysql позволяет без особых хлопот отложить такое на медленный дешевый сторадж, оставив быстрый под сиюминутные потребности.

Ну и жабиксовая идея хранить "тренды" - она может не очень удачно реализованная, но сама по себе - хорошая. Это не "средние по больнице", ни разу.

> Ну так это место все равно займется. Не, намного лучше будет если все про это забудут,
> поюзают место, а через 4.5 года - БАБАХ - no free space left on device. Во круто.

круто, только совершенно неясно, зачем вам система мониторинга. У меня никакого бабаха не будет - через три года сработает триггер, что пора старые данные подвинуть на хранилку побольше. Кстати, она за это время дешевеет раза в два, судя по прошлому опыту. Правда, он гораздо раньше сработает. Но не из-за исторических данных, а из-за роста количества метрик. И там мы скорее упремся традиционно в inserts/s

> Ну, не нужны так и не пользуйся. Можно подумать кто-то заставляет.

разработчики rrd-based поделок. Почему-то именно эту муру они считают важной и нужной. Жабиксоиды были единственными, кто понял, что нужно на самом деле. Они, помнится, начинали с мониторинга собственных серверов, и первую версию писали именно для себя.

>> базе вида "что показывал этот параметр в 23:00:06.123".
> Я не особо понимаю этот юзкейс.

когда нам надо построить график - для sql-based хранилки нет других вариантов, кроме как попытаться найти наиболее близкий отсчет.

> И таки я считаю что для обычных юзкейсов он вполне себе катит.

для обычных вполне себе катит sql. Ничего ужасного, компьютеры перестали быть большими и стали довольно мощными. Когда не помещается в sql или требует специфических танцев - это уже не очень обычный.

Если у тебя на мониторинг можно просто забить - наверное, ты зря тратил время его настраивая, не оценят.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру