The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"В рамках проекта Glaber создан форк системы монитоирнга Zabbix "
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"В рамках проекта Glaber создан форк системы монитоирнга Zabbix "  +/
Сообщение от opennews (?), 08-Июл-19, 11:15 
Проект Glaber (https://glaber.io) развивает форк системы мониторинга Zabbix, нацеленный на повышение эффективности, производительности и масштабируемости, а также подходящий для создания отказоустойчивых конфигураций, динамически выполняемых на нескольких серверах. Изначально проект развивался как набор патчей для повышения производительности Zabbix, но в апреле началась работа по созданию обособленного форка. Код проекта распространяется (https://gitlab.com/mikler/glaber) под лицензией GPLv2.

На больших нагрузках пользователи Zabbix сталкиваются с отсутствием кластеризации как таковой в бесплатной версии и проблемами при необходимости хранения в СУБД очень больших объёмов данных. Поддерживаемые в  Zabbix реляционные СУБД, такие как PostgreSQL, MySQL, Oracle и mssql, плохо адаптированы для хранения трендов для истории - выборка по большому количеству метрик за пол года уже будет "тяжёлой" и нужно оптимизировать СУБД и запросы, строить кластеры серверов баз данных и т.п.


В качестве выхода  в Glaber воплощена идея по использованию специализированной СУБД ClickHouse (https://clickhouse.yandex/), которая обеспечивает хорошее сжатие данных и очень высокую скорость обработки запросов (на том же оборудовании можно добиться снижения нагрузки на CPU и дисковую систему в 20-50 раз). Кроме поддержки  ClickHouse в Glaber  также добавлены (https://gitlab.com/mikler/glaber/wikis/home) различные оптимизации, такие как использование асинхронных snmp-запросов, массовая (пакетная) обработка данных от агентов мониторинга и использование nmap для распараллеливания проверки доступности хостов, которые позволили ускорить опрос состояний более чем в 100 раз. В  Glaber также ведётся работа над поддержкой кластеризации (https://gitlab.com/mikler/glaber/wikis/ru-manual/%D0�...), для которой в будущем планируется использовать etcd (https://www.opennet.me/opennews/art.shtml?num=48024).

URL: https://glaber.io
Новость: https://www.opennet.me/opennews/art.shtml?num=51053

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  –1 +/
Сообщение от edv (?), 08-Июл-19, 11:15 
> и проблемами при необходимости хранения в СУБД очень больших объёмов данных.
> идея по использованию специализированной СУБД ClickHouse

Но ведь люди уже используют связку ClickHouse и Zabbix (основного, а не форка).

Ответить | Правка | Наверх | Cообщить модератору

2. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от terryfilchemail (ok), 08-Июл-19, 11:18 
где и какие люди ? было несколько упоминаний в видео и докладов, не более, ничего в виде патча до этого лично я не видел, если речь об https://mmakurov.blogspot.com/ - то это и есть тот же автор, только патч приобрел свое название и получил новые фичи.
Ответить | Правка | Наверх | Cообщить модератору

4. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от edv (?), 08-Июл-19, 11:19 
Да, вот эти ребята. А я думал они в upstream это внедрили.
Ответить | Правка | Наверх | Cообщить модератору

3. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  –1 +/
Сообщение от edv (?), 08-Июл-19, 11:18 
Гуглю за авторов форка. Оно?:

https://www.altinity.com/blog/2018/9/3/clickhouse-monitoring...

https://www.youtube.com/watch?v=3yRt9jSwrlg

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

5. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от edv (?), 08-Июл-19, 11:21 
Авторы (во втором случае) те же. Вопрос снят.
Ответить | Правка | Наверх | Cообщить модератору

67. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Denisemail (??), 10-Июл-19, 12:39 
В первом случае "Zabbix template for monitoring ClickHouse."
Ответить | Правка | Наверх | Cообщить модератору

6. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  –4 +/
Сообщение от Каша из топора (?), 08-Июл-19, 11:34 
> ClickHouse

Отлично! Теперь ещё PHP заменить на Telegraf/Chronograf/Capacitor, и будет отличный мониторинг, лол.

Ответить | Правка | Наверх | Cообщить модератору

13. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +10 +/
Сообщение от noname.htm (ok), 08-Июл-19, 12:25 
PHP там только вебморду обслуживает, так что тёплое на мягкое предлагаешь заменить.
Ответить | Правка | Наверх | Cообщить модератору

24. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +15 +/
Сообщение от А (??), 08-Июл-19, 16:39 
Ага, главное побольше новых непонятных слов, что бы сойти за умного.
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

27. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +3 +/
Сообщение от Аноним (27), 08-Июл-19, 17:30 
Дорогая редакция!

Пишет вам тонкая ценительница Шопенгауэра и других умных слов...

Ответить | Правка | Наверх | Cообщить модератору

7. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +1 +/
Сообщение от asand3remail (ok), 08-Июл-19, 11:40 
> PostgreSQL, MySQL, Oracle и mssql

Таки Zabbix не поддерживает MS SQL Server.

Ответить | Правка | Наверх | Cообщить модератору

11. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +1 +/
Сообщение от terryfilchemail (ok), 08-Июл-19, 11:54 
сори за дезинформацию, исправил ;)
Ответить | Правка | Наверх | Cообщить модератору

8. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +18 +/
Сообщение от CHERTSemail (ok), 08-Июл-19, 11:40 
У zabbix отвратительное взаимодействие с комьюнити, в частности продвинуть свои патчи просто не реально, их не примут, а попробуют написать свою реализацию, то есть на это потребуется куча времени у официальных разрабов, а время стоит денег и поэтому фактически свои патчи влить в забикс нереально. Ну и самой компании zabbix sia по сути не выгодно делать гибкую и производительную систему мониторинга из коробки, т.к. тогда к ним никто не будет обращаться для платной оптимизации безбожно тормозящих инсталяций у клиентов, которые достигли предела производительности.
Ответить | Правка | Наверх | Cообщить модератору

68. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +2 +/
Сообщение от Аноним (68), 10-Июл-19, 13:24 
> их не примут, а попробуют написать свою реализацию, то есть на это потребуется куча
> времени у официальных разрабов

Смотрите чуть ширше и дальше, и поймете, что такая политика позволит в будущем сменить лицензию достаточно просто, ибо все авторы собраны в одну корзину и получают з/п из одного окна.

Ответить | Правка | Наверх | Cообщить модератору

9. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  –3 +/
Сообщение от SunXE (ok), 08-Июл-19, 11:47 
Интересная штука.
А в Docker контейнерах она будет?
Ответить | Правка | Наверх | Cообщить модератору

10. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +1 +/
Сообщение от terryfilchemail (ok), 08-Июл-19, 11:52 
да, позжее
Ответить | Правка | Наверх | Cообщить модератору

12. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  –2 +/
Сообщение от Вася (??), 08-Июл-19, 12:05 
Давно пора!
Ответить | Правка | Наверх | Cообщить модератору

14. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  –3 +/
Сообщение от dBuster (?), 08-Июл-19, 13:03 
"с отсутствием кластеризации как таковой в бесплатной версии" - ех, если не умеешь Corosync/Pacemaker, то это не означает отсутсвие кластеризации, и где нашлась платная версия? Еще и MS SQL  вписали в поддерживаемые... Походу форкать не безопасно, мифические спеки мерещаться.
Ответить | Правка | Наверх | Cообщить модератору

15. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от terryfilchemail (ok), 08-Июл-19, 13:27 
Платная, имеется ввиду поддержка и те плюшки, которые она дает.
Ответить | Правка | Наверх | Cообщить модератору

16. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от terryfilchemail (ok), 08-Июл-19, 13:30 
Что касается Corosync/Pacemaker - это ок, но ведь не из коробки... diff я думаю понятен.
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

17. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +1 +/
Сообщение от имя (?), 08-Июл-19, 13:54 
> если не умеешь Corosync/Pacemaker

Это, случаем, не те же нашлёпки, из-за которых гитхаб сутки валялся, потому что готовить их уметь надо как рыбу фугу?

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

18. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +3 +/
Сообщение от имя (?), 08-Июл-19, 13:58 
Сам спросил, сам отвечу: нет, там был Orchestrator, очередная поделка про Raft.

https://github.blog/2018-10-30-oct21-post-incident-analysis/

Впрочем, моего недоверия к остальным кластеризаторам «просто добавить воды» это всё равно не снимает.

Ответить | Правка | Наверх | Cообщить модератору

19. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +2 +/
Сообщение от Andrey Mitrofanov_N0 (??), 08-Июл-19, 14:04 
> это всё равно не снимает.

пох/нах, хватит плодить трёхбуквенные ники.  мы т-тя видим.

Ответить | Правка | Наверх | Cообщить модератору

20. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от пох. (?), 08-Июл-19, 14:12 
это не мой ник - я бы ту фигню даже и изучать не стал. Везде где читаю "кластеры на линухах" - читаю "данные и надежность не требовались". Ни разу еще не ошибся.
Ответить | Правка | Наверх | Cообщить модератору

28. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +2 +/
Сообщение от evkogan (?), 08-Июл-19, 17:39 
Ну у каждого свое кривоглазие.
Не читайте, от этого глазам вредно
Ответить | Правка | Наверх | Cообщить модератору

36. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Онаним (?), 08-Июл-19, 20:52 
Ну вот по факту да. Тот же коросинк - адовое нестабильное угрёбище, разве что в пределах одного зала юзабельное, да и то с оговорками. Пацемакер - адовый набор бессмысленной и беспощадной конфигурации и кривых скриптов вокруг.

На винде правда ещё хуже.

Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

41. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  –1 +/
Сообщение от пох. (?), 09-Июл-19, 07:35 
> На винде правда ещё хуже.

ну хер знает - 140T на нем живет, и то что четыре года назад положено - все еще выглядит как настоящее, а не мешаниной байтиков. Проблемы были, но не с развалом кластера, и редко.
Правда, в отличие от коровасинка навоз не я выношу, так что может коллеги там так же и страдают, просто снаружи ничем не воняет.

Ответить | Правка | Наверх | Cообщить модератору

71. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от tensor (?), 10-Июл-19, 19:41 
Нет, это как раз и есть отсутствие кластеризации на уровне приложения, раз вынуждает использовать внешний стек (вроде сorosync/pacemaker) для отслеживания и управления его состояниями.
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

21. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Mikevmk (?), 08-Июл-19, 15:17 
Крутота. Люблю Zabbix, но проблем роста у него миллион. Рад, что кто-то взялся за решение
Ответить | Правка | Наверх | Cообщить модератору

23. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +6 +/
Сообщение от Онаним (?), 08-Июл-19, 15:36 
Попытка адаптации заббикса под яндексовскую поделку методом костылинга через форк? Не, нафигг.
Ответить | Правка | Наверх | Cообщить модератору

31. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от ОЛЕГ (?), 08-Июл-19, 19:21 
Ну кликхаус далеко не поделка
С остальным согласен
Ответить | Правка | Наверх | Cообщить модератору

25. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  –5 +/
Сообщение от Аноним (25), 08-Июл-19, 16:42 
Просто оставлю это здесь: https://getnoc.com/
Ответить | Правка | Наверх | Cообщить модератору

33. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +1 +/
Сообщение от Онаним (?), 08-Июл-19, 20:44 
Трогали 100500 лет назад. Слишком много гвоздями прибитых сущностей, Zabbix зело универсальнее.
Ответить | Правка | Наверх | Cообщить модератору

30. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Нанобот (ok), 08-Июл-19, 18:02 
> использование nmap для распараллеливания проверки доступности хостов

какое-то костыльное решение

Ответить | Правка | Наверх | Cообщить модератору

34. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Онаним (?), 08-Июл-19, 20:46 
На самом деле nmap и к обычному заббиксу прикручивается без проблем, через sender и API, если очень хочется, для этого не надо форк городить. Примитивный скрипт: через API выгребаем все "nmap.ping" (условно) трап-итемы, скармливаем нмапу, пушим назад через сендер.
Ответить | Правка | Наверх | Cообщить модератору

44. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Andrey Mitrofanov_N0 (??), 09-Июл-19, 09:24 
>nmap и к обычному заббиксу прикручивается
>для этого не надо форк
>Примитивный скрипт: через API выгребаем все "nmap.ping" (условно) трап-итемы,

А чтоб заменить встроенную реализацию icmpping[] таки надо форк.

Ещё можно переписать на динамический язык такой, где можно реализацию "переобувать" на ходу,...  но это ж ещё больший форк.

Ответить | Правка | Наверх | Cообщить модератору

47. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Онаним (?), 09-Июл-19, 10:20 
> А чтоб заменить встроенную реализацию icmpping[] таки надо форк.

Можно и из буханки хлеба троллейбус сделать, но зачем? :)


Ответить | Правка | Наверх | Cообщить модератору

54. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  –1 +/
Сообщение от Andrey Mitrofanov_N0 (??), 09-Июл-19, 11:07 
>> А чтоб заменить встроенную реализацию icmpping[] таки надо форк.
> Можно и из буханки хлеба троллейбус сделать, но зачем? :)

Деситтна, зачем это яндексу....
   Поиграть в угадайку-перепись прямо ЗДЕСЬ >>==>

Ответить | Правка | Наверх | Cообщить модератору

55. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Онаним (?), 09-Июл-19, 11:58 
> Деситтна, зачем это яндексу....

Тут вопрос по-другому стоит. Зачем вообще яндекс?

Ответить | Правка | Наверх | Cообщить модератору

43. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Andrey Mitrofanov_N0 (??), 09-Июл-19, 09:19 
>> использование nmap для распараллеливания проверки доступности хостов
> какое-то костыльное решение

Ты панимаешь, zabbix [sia] не умеет в параллелизьм, yandex не умеет в параллелизьм...  Поэтому один пускает фиксированное число однопоточных воркеров, второй заменяет их вызовом внеш.утили, таки умеющей в параллелизьм...

Эдак, скоро кто-нибудь додумается SNMP для-вместо Zabbix-в собирать с помощью collectd...  fping-и пускать с помошью xargs или GNU parallel...

Это ж он -- юникс вей!

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

48. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +1 +/
Сообщение от Онаним (?), 09-Июл-19, 10:24 
> Эдак, скоро кто-нибудь додумается SNMP для-вместо Zabbix-в собирать с помощью collectd...

Не, вот с SNMP как раз у заббикса-то всё и очень хорошо.
Да и fping, честно говоря. Ну fping и fping. Форкается, задачи принимает пачками, каши много не просит.

Ответить | Правка | Наверх | Cообщить модератору

32. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Аноним (32), 08-Июл-19, 19:26 
Нафига поделие нужно? Закопать давно пора это Г.

Используем божественную Icinga2, которая умеет в Ifra as Code и в кластеризацию из коробки.

+умеет в TSDB из коробки.

+классное комюнити.

Ответить | Правка | Наверх | Cообщить модератору

35. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +3 +/
Сообщение от Онаним (?), 08-Июл-19, 20:50 
Цинга - это очень куцый обрезок по сравнению с Zabbix, по функциональности близко не стоящий. Нет, там где полтора локалхоста и три свитча - нормально, но если надо мониторить фурами, то уже не катит.
Ответить | Правка | Наверх | Cообщить модератору

37. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  –3 +/
Сообщение от Аноним (37), 08-Июл-19, 21:33 
3k+ хостов достаточно?

Там, где можно парой строчек обойтись в Icinga, придется возить мішей в зябиксе до посинения. Ну, или обмазаться XML.

Так себе удоволсьтвие в любом случае.

Ответить | Правка | Наверх | Cообщить модератору

39. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +2 +/
Сообщение от пох. (?), 09-Июл-19, 07:29 
> 3k+ хостов достаточно?

дай угадаю - либо все абсолютно одинаковые, либо вы собираете миллионы ненужных метрик (а потом эти же люди жалуются, что жабикс+mysql тормозит и требуют нескучных новых кликшмяк-технологий)

> Там, где можно парой строчек обойтись в Icinga, придется возить мішей в зябиксе до посинения.
> Ну, или обмазаться XML.

или освоить, наконец, LLD и шаблоны. Но это, видимо, для вас сложно.

P.S. с xml все как раз плохо - уже почти половина настроек в него не экспортируется.
Для неискателей легких путей еще есть прямая запись в базу. Чем мы и пользоватилсь еще задолго до того как появился экспорт, дискавери в ее нынешнем пригодном для пользования виде и т д - к сожалению, ее структура либо вообще не документирована (примерно представляя себе уровень разработчиков, легко в это поверю) либо хранится за десятью замками для любимых коммерческих клиентов.

Ответить | Правка | Наверх | Cообщить модератору

42. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  –3 +/
Сообщение от Аноним (32), 09-Июл-19, 09:16 
Не угадал. Хості разніе, но хостнейм стандартизировані, так как кровавій ентерпрайз.
Поетому у нас есть возможность привязівать шаблоні на основе хостнеймов + есть инвентарная база (а-ля Device42), в которой хранится вся инфа про инфру и постоянно синкается.

Про метрики - не миллион, но собираем. Надо же как-то хотя б сеть (пинг) мониторить между 5 ДЦ.

Ответить | Правка | Наверх | Cообщить модератору

49. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Онаним (?), 09-Июл-19, 10:26 
> 3k+ хостов достаточно?

В моём случае недостаточно.
Ну и хосты != элементы для проверки. Хотя бы 100000 элементов наскребёте?

Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

57. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Аноним (32), 09-Июл-19, 12:57 
Да, конечно. Так как там крутятся свои продукті, то чеки на каждій продукт свои - проверки всяких АРІ, внутренних компонентов систем.
Примерно 130к сервис-чеков, которіе размазані по поллерам (агентам) и сателитам (аналог заббикс-прокси).

Часть чеков идет по снмп.

Ответить | Правка | Наверх | Cообщить модератору

59. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Онаним (?), 09-Июл-19, 15:22 
130k уже нормально, да, согласен.

У нас >10k хостов и >500k совершенно разнородных чеков (ping, SNMP, tcp, Web, скрипты, агенты, парсеры и сендеры). Часть хостов импортируется через API.

SNMP навскидку больше всего. Размазано... ну как размазано, сервер и две прокси, всё на одной аппаратной площадке под XenServer.

~300k чеков на основном сервере, ~200k на отдельном прокси для тех хостов, которые идут через API - они могут из сети пропадать, это управляемые хосты клиентов. И ещё ~30к на отдельном прокси для "медленных" хостов типа оборудования DWDM/SDH, которые могут результат по SNMP то отдавать, то не отдавать, или отдавать секунд за 40-70 - на этом прокси выкручены таймауты.

Ответить | Правка | Наверх | Cообщить модератору

60. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Онаним (?), 09-Июл-19, 15:26 
Совершенно разнородных - в смысле в плане методов проверки. Так-то конечно всё собрано в темплейты и LLD, кое-что регулируется постпроцессингом, кое-что API.
Ответить | Правка | Наверх | Cообщить модератору

61. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  –4 +/
Сообщение от Аноним (32), 09-Июл-19, 15:57 
Мі делали тесті - ложили один из мастеров 9 сигналом - все чеки переезжали на второго мастера буквально за 2 минуті.
Вместе с оповещениями и всем другим. После поднятия второго мастера, Icinga сама снова распределяет всю эту штуку по ооим мастерам.

Что будет, если у вас ляжет сервак? Как отказоустойчивость реализована?

Ответить | Правка | К родителю #59 | Наверх | Cообщить модератору

65. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +1 +/
Сообщение от Онаним (?), 10-Июл-19, 09:24 
> Что будет, если у вас ляжет сервак? Как отказоустойчивость реализована?

У нас тут несколько моментов.
- Ничего страшного не случится, не 100% критичный сервис.
- Уйдёт уведомление мне лично и ещё нескольким людям.
- Будет заново поднят или перезапущен на другой Xen-ноде.
- За 5 лет не ложился сам по себе в принципе, только во время плановых работ.
Короче говоря, в нашем случае мы тупо не заморачиваемся. Даже если оно за год три раза ляжет само по себе на сутки, 99% доступности нас устраивает :)

Если бы заморачивался - делал бы очень просто: реплицированная база мастер-мастер, кроме хистори, и вторая нода, готовая подняться в любой момент.

Ответить | Правка | Наверх | Cообщить модератору

50. "В рамках проекта Glaber создан форк системы монитоирнга Zabb..."  +/
Сообщение от Онаним (?), 09-Июл-19, 10:27 
> Там, где можно парой строчек обойтись в Icinga, придется возить мішей в

Кроме мыши есть ещё:
- LLD
- Шаблоны
- API

Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

38. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +/
Сообщение от Аноним (38), 09-Июл-19, 05:15 
я добился прогресса просто переселив заббикс с мускула на пг, нагрузка ушла полностью и он теперь не ссыт мне в мозги.
Ответить | Правка | Наверх | Cообщить модератору

40. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +/
Сообщение от пох. (?), 09-Июл-19, 07:31 
через годик приходи. расскажешь про "vacuum full нинужна, нинужна, нинужна, и задепрекейтим, задепрекейтим". И про то как он у тебя "не тормозит".

Ответить | Правка | Наверх | Cообщить модератору

45. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +/
Сообщение от Andrey Mitrofanov_N0 (??), 09-Июл-19, 09:28 
> через годик приходи. расскажешь про "vacuum full нинужна,

прямо сейчас:  pg_repack же.

Ответить | Правка | Наверх | Cообщить модератору

46. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +/
Сообщение от Andrey Mitrofanov_N0 (??), 09-Июл-19, 09:54 
>И про то как он у тебя "не тормозит".

Но да, тормозит адски.  :(
ПользователЯ ж привыкли, что метрики-хосты только добавляют, "всё ж работает, чё" (а я ж не _померял_ те тормоза, да--).  А ещё нам бы надо хранить то, что старше года, в трендсах-то, и не стирать -- буде взбредёт в голову, аналитичненько!, посмотреть кривулину "за всё время".  

Во-о-от...  база растёт и тормозит, и тормозит и растёт.
П[ро|ост]гресс-то не остановить.

Вот уже пора [опять, кстати, да! в районе 1.8 делал-- потом патч посеял] ...
...переписывать housekeeper, чтоб не падало.

Опять хочется странного типа cstore_fdw, tab_tier или типа.  Но нет Героя.  То есть кроме -- косоглазых продаванов с амазонами, ажурами, кликхаусами, таймскейлами, уисперами.

Мож, просто поменять 15К шпиндели на такой же массив из 8... или 16?...  флешей-ссд-нвме и ещё пару лет сидеть ровно.   План!

Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

51. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +1 +/
Сообщение от Онаним (?), 09-Июл-19, 10:29 
Ну я так и сделал, хотя по сути и на дисках жило ровно ещё.
Только не NVMe, а обычные SAS Enterprise Mixed WL. Теперь запаса по росту точно лет на пять.
Ответить | Правка | Наверх | Cообщить модератору

52. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +/
Сообщение от Catwoolfiiemail (ok), 09-Июл-19, 10:49 
>через годик приходи. расскажешь про "vacuum full нинужна

А через 2 года vacuum full действительно станет "нинужна"

Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

53. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +2 +/
Сообщение от пох. (?), 09-Июл-19, 11:00 
ты опоздал родиться - я эту сказку про нинужна и "в следующей версии уже совсем зуб даем стоодинпроцент задиприкейтим!" - с 2009го слышу. А оно - вот...

а учитывая что именно с этой базой делает жаббикс с его delete/update ... in (... ... стопиццотштук ) - результат довольно предсказуем.

Ответить | Правка | Наверх | Cообщить модератору

69. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +/
Сообщение от Аноним (68), 10-Июл-19, 13:39 
https://npm.pkg.github.com/Doctorbal/zabbix-postgres-partiti...

и остатки ваших волос будут гладкими и шелковистыми.

Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

70. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +/
Сообщение от Andrey Mitrofanov_N0 (??), 10-Июл-19, 14:24 
> https://npm.pkg.github.com/Doctorbal/zabbix-postgres-partiti...
> и остатки ваших волос будут гладкими и шелковистыми.

Спасибо! Буду читать...


Пока смущают версии, например, --  у меня другие.  Копать :/ надо.  #лопата-здесь

В этом зоопарке --

"" With PostgreSQL version 11 it is possible to create a "default" partition. This stores rows that do not fall into any existing partition's range. ""
https://npm.pkg.github.com/Doctorbal/zabbix-postgres-partiti...

-- только самые прожжённые "консультанты" :((( разберутся.

"" This extension should work with Postgres 9.1 and above. ""
https://github.com/peak6/tab_tier#compatibility

Видимо, tab_tier основан на том, что _все_ insert-ы  идут в "default table"  -- до версии, типа, 11 без учёта ограничений.

Ответить | Правка | Наверх | Cообщить модератору

56. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +1 +/
Сообщение от Аноним (56), 09-Июл-19, 12:15 
Забудьте слова Zabbix и Яндекс! Нет там его давно, как и тех людей, которые его пытались подпиливать и поддерживать. они своих собственных систем мониторинга понаписали.
Ответить | Правка | Наверх | Cообщить модератору

58. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +1 +/
Сообщение от пох. (?), 09-Июл-19, 13:14 
> они своих собственных систем мониторинга понаписали.

но те настолько секретные, что тебя убьют если ты о них скажешь, или настолько гнилые, что их существование стараются не афишировать чтоб не позориться?

Ответить | Правка | Наверх | Cообщить модератору

62. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +/
Сообщение от Аноним (56), 09-Июл-19, 18:25 
По памяти помню пару. Первая - это juggler:
https://events.yandex.ru/lib/talks/35/

Вторая - golovan (система мониторинга поискового кластера). И та и другая написана на python, если что.

Ответить | Правка | Наверх | Cообщить модератору

63. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +/
Сообщение от Аноним (56), 09-Июл-19, 18:31 
Все, нет там вашего Zabbix. Выносите тело.

~> host golovan.yandex-team.ru
golovan.yandex-team.ru is an alias for yasm.yandex-team.ru.
yasm.yandex-team.ru is an alias for yasm.search.yandex.net.
yasm.search.yandex.net has address 141.8.146.12
yasm.search.yandex.net has IPv6 address 2a02:6b8:0:3400::2:12

~> host zabbix.yandex-team.ru
Host zabbix.yandex-team.ru not found: 3(NXDOMAIN)

Ответить | Правка | Наверх | Cообщить модератору

73. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +/
Сообщение от Аноним (73), 31-Дек-19, 12:29 
Ну, там уже давно не только python, все тормоза "смазаны" плюсами тоже, впрочем, достаточно давно
Ответить | Правка | К родителю #62 | Наверх | Cообщить модератору

64. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +/
Сообщение от InuYasha (?), 09-Июл-19, 20:09 
Странно что никто не упомнает модный нынче гоу-Прометеус.
А интересно бы мнения узнать.
Ответить | Правка | Наверх | Cообщить модератору

66. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +/
Сообщение от Andrey Mitrofanov_N0 (??), 10-Июл-19, 09:56 
> Странно что никто не упомнает модный нынче гоу-Прометеус.
> А интересно бы мнения узнать.

Модные ребяты про него уже "узнали".  Теперь им стыдно, молчат.

Ответить | Правка | Наверх | Cообщить модератору

72. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  –1 +/
Сообщение от crypt (ok), 16-Июл-19, 08:20 
ну, этот форк был всего лишь вопрос времени. забиксовцам давно уже про это все говорили, а они не чесались. посмотрим теперь, насколько стабильным выйдет форк.
Ответить | Правка | Наверх | Cообщить модератору

74. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  –1 +/
Сообщение от edo (ok), 02-Янв-20, 20:50 
Форк скорее мёртв?
Ответить | Правка | Наверх | Cообщить модератору

75. "В рамках проекта Glaber создан форк системы мониторинга Zabb..."  +/
Сообщение от terryfilch (ok), 20-Фев-20, 09:19 
Нет конечно, вот сегодня вышел релиз с фиксами.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру