The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Выпуск VictoriaMetrics 1.94, СУБД для построения систем мониторинга"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск VictoriaMetrics 1.94, СУБД для построения систем мониторинга"  +/
Сообщение от opennews (??), 05-Окт-23, 12:27 
Доступен выпуск платформы VictoriaMetrics 1.94.0, предоставляющей СУБД для хранения и обработки данных в форме временного ряда (запись образует время и набор соответствующих этому времени значений, например, полученных через периодический опрос состояния датчиков или сбор метрик), оптимизированную для  решения задач мониторинга. Проект конкурирует с такими решениями, как InfluxDB, TimescaleDB, Thanos, Cortex и Uber M3, и отличается более высокой производительностью. СУБД может использоваться в качестве долговременного хранилища данных, подключённого к Prometheus и Grafana, а также в форме прозрачной замены InfluxDB. Код написан на языке Go и  распространяется под лицензией Apache 2.0...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=59875

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


2. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  –15 +/
Сообщение от InuYasha (??), 05-Окт-23, 12:31 
> СУБД
> Код написан на языке Go

Меня чувство некоторого диссонанса.

Ответить | Правка | Наверх | Cообщить модератору

4. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +12 +/
Сообщение от Массоны Рептилоиды (?), 05-Окт-23, 13:08 
И что? Прометей тоже на Go.
Если это у тебя вызывает диссонанс, то почитай про Datomic или Neo4j, впадёшь в глубокую депрессию
Ответить | Правка | Наверх | Cообщить модератору

20. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  –11 +/
Сообщение от InuYasha (??), 05-Окт-23, 16:43 
> И что? Прометей тоже на Go.

Аргумент Поехавшего #3: "ну, свиньи же жрут своё говно - ну а что?".

Так что, я не впадаю в депрессию, я пополняю список ненужного. Хотя, уже проще содержать список нужного.

Ответить | Правка | Наверх | Cообщить модератору

26. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +8 +/
Сообщение от Аноним (26), 05-Окт-23, 17:12 
У вас какая-то нездоровая зацикленность на фекалиях и их поедании.
Ответить | Правка | Наверх | Cообщить модератору

27. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от OpenEcho (?), 05-Окт-23, 17:17 
>...Хотя, уже проще содержать список нужного.

Вот это "правильное" решение, только святой Бейсик, хотя нет, добавь еще в список нужного https://scratch.mit.edu/


Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

53. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от лютый арчешкольник... (?), 06-Окт-23, 09:43 
>ну, свиньи же жрут своё говно

если на жабке можно написать промышленную графовую субд, а на других языках нет (нет какаких вменяемых конкурентов у нео, всё поделки. не знаешь, не спорь), то скорее это сишники кюшают свой кактус, всё накюшаться не могут )

Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

34. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Аноним (34), 05-Окт-23, 18:55 
Только rrdtool, только хардкор.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

5. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +5 +/
Сообщение от OpenEcho (?), 05-Окт-23, 13:14 
>> СУБД
>> Код написан на языке Go
>
>  Меня чувство некоторого диссонанса.

Интервью профессиального водителя:

Работодатель: Вы можете ездить на грузовых и легковых автомобилях?
Кандидат: Грузовые у меня вызывают чувство диссонанса...

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

6. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +1 +/
Сообщение от kusb (?), 05-Окт-23, 13:58 
Инструмент или его использование может вызывать диссонанс. Язык программирования, это аналог не классов машин, а какой-то конкретной марки, наверное.
Ответить | Правка | Наверх | Cообщить модератору

7. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +4 +/
Сообщение от Tron is Whistling (?), 05-Окт-23, 14:03 
Автомобили с квадратными колёсами и у меня вызывают чувство глубокого диссонанса.
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

9. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +1 +/
Сообщение от Любитель треугольных колёс (?), 05-Окт-23, 14:20 
> Автомобили с квадратными колёсами и у меня вызывают чувство глубокого диссонанса.

То ли дело треугольные!
https://etudes.ru/etudes/wheel-inventing/

Ответить | Правка | Наверх | Cообщить модератору

10. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Tron is Whistling (?), 05-Окт-23, 14:24 
Угу. Сферическая потуга академиков в вакууме от математики. Физика им не нужна.
Ответить | Правка | Наверх | Cообщить модератору

22. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от InuYasha (??), 05-Окт-23, 16:52 
> Интервью профессиального водителя:

Работодатель: Вы можете ездить на грузовых автомобилях, сделанных из Lego?
Кандидат: ... не, ну, в шлеме и мотоэкипе можно, но если только грузовик пустой.

- так точнее будет.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

25. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от OpenEcho (?), 05-Окт-23, 17:11 
> ...сделанных из Lego?
> - так точнее будет.

Ну очень увесиситый аргумент...

:)

Ответить | Правка | Наверх | Cообщить модератору

14. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  –10 +/
Сообщение от Аноним (14), 05-Окт-23, 15:53 
А на чём ещё БД писать? На Rust долго, на Java получится медленно.
Унылое древнее типа С и С++ не беру, т.к. на этом писать в 2023 БД уже моветон. Тупо по историческим соображениями postgres на них, замена для PG - CockroachDB на Go написан. Больше не на чем писать кароч.
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

19. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +3 +/
Сообщение от Аноним (26), 05-Окт-23, 16:37 
Clickhouse на крестах написан. Между прочим, лучший в классе column family.
Ответить | Правка | Наверх | Cообщить модератору

21. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от InuYasha (??), 05-Окт-23, 16:48 
Postgres, MongoDB, MS SQL, SQLite... - да всё дохипстерское сишно-плюсовое и, ЧСХ, работало, и даже быстро, и масштабировалось. Но нет, толпы адептов выученного вчера языка завалили мир пруф-концептами и завертелось...
Ответить | Правка | Наверх | Cообщить модератору

24. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +2 +/
Сообщение от Аноним (26), 05-Окт-23, 17:10 
> Postgres, MongoDB, MS SQL, SQLite...
> и масштабировалось.

Остроумно.

Как и назвать монгу (влажная мечта любого JS-хипстора) дедовской, кстати.

Ответить | Правка | Наверх | Cообщить модератору

31. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от User (??), 05-Окт-23, 18:20 
Масштабирующийся postgres/mssql? Воу, sqlite!
Мужики-то не знали, ёлки!
Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

30. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от User (??), 05-Окт-23, 18:18 
Cassandra смотрит на вас с недоумением
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

75. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Заноним (?), 07-Окт-23, 04:15 
Fixed:
Cassandra смотрит на вас с недоумением javающего ленивца.
Тогда как ScyllaDB уже и прожевала и переварила.
Ответить | Правка | Наверх | Cообщить модератору

76. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от User (??), 07-Окт-23, 10:11 
> Fixed:
> Cassandra смотрит на вас с недоумением javающего ленивца.
> Тогда как ScyllaDB уже и прожевала и переварила.

А вот с ней как раз не работал, но отзывы от работавших - гм, противоречивые. Вплоть до того, что на реальных задачах трехлетней давности - была _медленней_

Ответить | Правка | Наверх | Cообщить модератору

78. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от лютый арчешкольник... (?), 07-Окт-23, 10:42 
>ScyllaDB уже и прожевала и переварила.

признайся, что ты только презку в паверпоинте посмотрел про сцыклу, а кассандру даже не использовал

Ответить | Правка | К родителю #75 | Наверх | Cообщить модератору

103. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Заноним (?), 25-Ноя-23, 02:20 
>>ScyllaDB уже и прожевала и переварила.
> признайся, что ты только презку в паверпоинте посмотрел про сцыклу, а кассандру
> даже не использовал

ip -s l show eth0 кажет по ~154T принятых в каждую ноду кластера scylla в проде. А кассандру я похоронил вместе с jvm в 2013.

В общем - держи свои галлюцинации при себе.


Ответить | Правка | Наверх | Cообщить модератору

77. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от лютый арчешкольник... (?), 07-Окт-23, 10:40 
>на Java получится медленно.

весь хайлоад стек написан на жабе. маня-мирок, порвись )

кассандра, neo4j, elasticsearch.... не, не слышали )

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

79. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Аноним (79), 07-Окт-23, 12:28 
Если нет жёстких требований к SLA, то действительно пишут на языках со сборкой мусора. А вот если есть, как в биржевой торговле и алготрейдинге, то только кресты/rust или извращения с написанием кода в garbage-free стиле на ЯП с GC. А если речь просто о хайлоаде, то всякие выстрелившие стартапы любят делиться историями успеха, как они 500К RPS держат на микросервисах на каком-нибудь Ruby, так как запихали все в кубер и поднимают под нагрузку десятки инстансов.
Ответить | Правка | Наверх | Cообщить модератору

84. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от лютый арчешкольник... (?), 07-Окт-23, 19:48 
>в биржевой торговле и алготрейдинге,

маргинальщина. это надо 0.01% от всего ИТ...

>языках со сборкой мусора

для обычного применения уже несколько ЛЕТ как нет GC с заметными не под микроскопом паузами

Ответить | Правка | Наверх | Cообщить модератору

90. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от ptr (??), 09-Окт-23, 02:50 
> для обычного применения уже несколько ЛЕТ как нет GC с заметными не под микроскопом паузами

Странно. Последний раз буквально пару лет нарывался на проблемы с С#.
Суть проблемы была в том, что при пиковой загрузке GC не успевал освобождать память. Что ни пробовали - это приводило к заметным провалам в производительности. После переписывания на C++ на пиковой нагрузке сервис просто упирался в 100% загрузку всех ядер CPU, но не устраивал явный провал пропускной способности через миллисекунды после этого, как на C#.

Ответить | Правка | Наверх | Cообщить модератору

92. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от лютый арчешкольник... (?), 09-Окт-23, 18:51 
>буквально пару лет нарывался на проблемы с С#.

с# тут каким боком?

вообще, ты кажись не понимаешь, что чудес не бывает. маленькие паузы == меньшая ПСП. для задач где паузы не мешают, с ними никто не борется. но при желании есть платные ГЦ вообще без пауз.

ну а плюсы твои с колхозным самописным ГЦ вообще не обязательно что даже жабу с шанондой догонят.

Ответить | Правка | Наверх | Cообщить модератору

100. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от ptr (??), 10-Окт-23, 17:56 
> с# тут каким боком?

Тем, что в нем нет никаких средств явно и в нужный момент освободить память занимаемую объектом. Это выполняется только GC.

> плюсы твои с колхозным самописным ГЦ

Зачем там GC? Достаточно самому выполнять delete по необходимости. Или у Вас даже в мозгу не укладывается, что можно самому управлять памятью?

Ответить | Правка | Наверх | Cообщить модератору

104. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от qsdg (ok), 27-Янв-24, 04:55 
Как раз в биржах (алготрейдинге и HFT) jvm достаточно популярна. Хотя практики у них там не стандартные жавовские -- без нужды память не аллоцируют, а стараются переиспользовать. Ну и некоторые извращаются с кастомными runtime engine. Rust гораздо меньше чем жавы (хотя кресты конечно наше всё). Но и на крестах никто не пишет свободно без дисциплины где половину фич C++ запрещено использовать, и правильно.

Собственно, в VictoriaMetrics то же самое в коде, повсюду переиспользуемые массивы, с блокировками для мультипоточности.

А по производительности примерно одинаково всё в результате, кроме startup (на стандартном JRE без прекомпиляции) -- медленнее запускается, и минимальная память требуется больше. Но уже через минуту работы результат примерно однаковый, не зависит от языка, а зависит от того как писать.

Ответить | Правка | К родителю #79 | Наверх | Cообщить модератору

89. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от ptr (??), 09-Окт-23, 02:39 
Смотря какую БД. Как только начинается страничная организация хранения данных, так сразу Go потребует лишних копирований память-память, которых можно избежать на C/C++. Что при достаточно большом кеше становится очень болезненным.
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

105. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от qsdg (ok), 27-Янв-24, 04:57 
В VictoriaMetrics все буферы стараются быть привязанными к потоку, чтобы между кешами CPU не переезжать. Это не столько к языку, сколько к тому как на нём писать.
Ответить | Правка | Наверх | Cообщить модератору

8. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Аноним VictoriaMetrics (?), 05-Окт-23, 14:15 
> В тестах производительности VictoriaMetrics опережает InfluxDB
> и TimescaleDB при выполнение операций вставки и выборки данных
> до 20 раз, потребляя при этом в 10 раз меньше ОЗУ, чем InfluxDB
> и в 7 раз меньше, чем Prometheus, Thanos и Cortex при обработке
> миллионов уникальных временных рядов

Сильное заявление. Но в сравнении с TimescaleDB, например, разрабы VictoriaMetrics подобос*ались с конфигами оппонента , используя устаревшие данные (себя настроили как надо, кстати), затем не ответили на вопросы касательно тестирования. И так во всех трёх сравнениях. При этом называют самописный DSL преимуществом перед SQL-совместимым синтаксисом.

Подозреваю, сравнение с другими СУБД такая же проблема, раз они в своих тестах три года подряд придерживались одной стратегии, не исправляя при этом косяки за всё время. Да и оставив без ответа конструктивную критику по поводу методов тестирования. Сейчас, 3 годя спустя после последнего такого сравнения (без исправлений своих косяков) они могли ещё сильнее отстать от оппонентов, но при этом всё ещё ссылаются на устаревшие (ноябрь 2018, с тех пор было много новых релизов и VM, и оппонентов) предвзятые (только своих сотрудников) неверное построенные (обозначенные косяки не поправили) сравнения.

Ответить | Правка | Наверх | Cообщить модератору

17. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +4 +/
Сообщение от Аноним (26), 05-Окт-23, 16:34 
> Сильное заявление. Но в сравнении с TimescaleDB, например, разрабы VictoriaMetrics подобос*ались с конфигами оппонента , используя устаревшие данные (себя настроили как надо, кстати), затем не ответили на вопросы касательно тестирования.

В данном случае вообще пофиг, в 20 или в 18.9 раз. Один фиг, timescale является настройкой над постгресом, который является типичным RDBMS и будет всасывать у любой более-менее нормальной TSDB со свистом.

> При этом называют самописный DSL преимуществом перед SQL-совместимым синтаксисом.

Вы, похоже, вообще с миром мониторинга не знакомы. PromQL - это как бы стандарт.
Вы ещё до сишников докопайтесь, что это они свои программы пишут на недоязычке, вместо того, чтобы использовать SQL-совместимый синтаксис.

Ответить | Правка | Наверх | Cообщить модератору

45. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Стандарт (?), 05-Окт-23, 23:15 
> Вы, похоже, вообще с миром мониторинга не знакомы. PromQL - это как бы стандарт.
> timeseries
> PromQL - это как бы стандарт

Вы, видимо, с миром разработки ПО не знакомы, Мониторинг - не единственное, где применяется timeseries. Тот же InfluxDB тут не просто так, наверное. Хоть и немножко несовременен в силу происхождения.

И часто ли Вы руками пишете PromQL-запросы? Или всё же используете API инструмента и GUI? Или у Вас шпаргалка, к который Вы раз в несколько месяцев обращаетесь, чтобы написать нормальный запрос?
В противовес могу сказать, что SQL-запросы вполне себе ежедневный момент, и тут порой быстрее накидать такой запрос, чем пытаться достать данные гуёвым путём.

Но в целом ок, если Вы чисто девопс, который по какой-то нелепой причине никогда не имеете дело с РСУБД, то да, PromQL это то, что доктор прописал.

Ответить | Правка | Наверх | Cообщить модератору

54. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  –2 +/
Сообщение от лютый арчешкольник... (?), 06-Окт-23, 09:47 
>если Вы чисто девопс, который по какой-то нелепой причине никогда не имеете дело с РСУБД

ну я техлид ) уже лет 10 не писал SQL, потому что выкинул все реляционки, потому что они тормозные.  в целом, считаю притягивание SQL к NOSQL лютым бредом, потому что оно всё равно обрастает какими-то нестандартными командочками и перестает быть им. хотя SQL даже для КРУДа неудобный! talk to my hand!

Ответить | Правка | Наверх | Cообщить модератору

81. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от NoSQL (?), 07-Окт-23, 19:19 
> уже лет 10 не писал SQL, потому что выкинул все реляционки, потому что они тормозные
> хотя SQL даже для КРУДа неудобный

А где же вы храните данные? В текстовых файлах? В Mongo? Redis? Кликхаус? В словарях в памяти приложения?
А, стоп, может Вы техлид статического сайта с 5 посетителями в год, уточнений же не было.

Ответить | Правка | Наверх | Cообщить модератору

85. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от лютый арчешкольник... (?), 07-Окт-23, 19:51 
и как это к делу относится? храню терабайты в монге, сотни гигабайт в neo4j (cypher пакость, но альтернатив нет)... то что в монге нет SQL это её огромный плюс (хоть и не единственный)
Ответить | Правка | Наверх | Cообщить модератору

86. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от лютый арчешкольник... (?), 07-Окт-23, 20:06 
+ терабайты в эластике.... всё сразу и не вспомнишь ) там тоже sql как козе баян
Ответить | Правка | Наверх | Cообщить модератору

91. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от ptr (??), 09-Окт-23, 12:39 
Мониторинг он воообще то разный. Например, имеем данные трекинга 100 тыс. вагонов. Задача определить среднее время оборотов разгрузки и погрузки вагонов на станции за заданный период, считая как разницу по времени между первой и последней операцией на станции, и исключая случаи, когда между этими операциями возникали операции ремонта или бросания. При расчете среднего учитываем только события между 0.25 и 0.75 перцентилем. Данные трекинга не обязательно приходят в порядка возрастания времени. Например, операции перевода в нерабочий парк и обратно могут прийти с задержкой на недели, поэтому на лету не очень то посчитаешь, даже если как то придумать, как считать на лету перцентили (квантили).
Сколько я ни вкуривал PromQL, так и не придумал, как на нем такой запрос написать. Тогда как на SQL CTE и оконными функциями он пишется легко и просто.
Ответить | Правка | К родителю #45 | Наверх | Cообщить модератору

106. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от qsdg (ok), 27-Янв-24, 05:04 
Да, PromQL (как и VictoriaMetrics) он больше для мониторинга IT инфраструктуры. Там обычно данные через неделю уже очень-то и нужны. Зато очень нужны алёрты, дашборды и большие объёмы.

Теоретически конечно можно сделать, но у каждой тулсы своя фокус-ниша. А так -- любая БД конкурирует с Excel вообще-то.

Ответить | Правка | Наверх | Cообщить модератору

32. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от User (??), 05-Окт-23, 18:23 
Ну, я с timescale'ом лично сравнивал. В дефолтах разница примерно на порядок, после чего желание тюнить само собой отпало.
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

46. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от дефолт (?), 05-Окт-23, 23:16 
> я с timescale'ом лично сравнивал

В 2018?

Ответить | Правка | Наверх | Cообщить модератору

48. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Аноним (48), 06-Окт-23, 00:09 
Я сравнивал в 2022 / 2023.
Разница всё так же на порядок
Ответить | Правка | Наверх | Cообщить модератору

62. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +1 +/
Сообщение от User (??), 06-Окт-23, 12:06 
>> я с timescale'ом лично сравнивал
> В 2018?

В 22ом. Затащил timescale\tobs - вышло вполне адекватно проекту, но по сравнению с соседями на victoriametrics разница на порядок и есть.

Ответить | Правка | К родителю #46 | Наверх | Cообщить модератору

47. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +3 +/
Сообщение от Аноним (48), 06-Окт-23, 00:09 
У нас на работе используется Вика.
И да, мы сравнивали производительность и потребление ресурсов VictoriaMetrics vs Postgres + TimescaleDB на одном и том же сервере / профиле нагрузки.
Я изначально был за PG, но связка Postgres + TimescaleDB настолько сильно тупила и жрала ресурсы, что это было даже не смешно.
Собственно, аргументы на этом у меня закончились, потому Вика )
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

58. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от ыы (?), 06-Окт-23, 10:02 
А вот чтобы это небыло рекламой, покажите параметры обрудования, конфиги, размер данных и NVPS ?
Ответить | Правка | Наверх | Cообщить модератору

72. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от asand3remail (ok), 06-Окт-23, 22:22 
Я легко верю, что VM производительней в виду заточенности под профиль нагрузки.
Однако, всё же когда приводят цифры, хочется понимать как тестировали, адекватно ли настроили оппонента. PostgreSQL сам по себе довольно непросто настраивается и требует определенных компетенций как в области самого ПО так и настройки ОС.
VM же, по факту, даже настраивать не нужно - просто заваливаешь её процессором, памятью, быстрым диском и всё работает. Моё любимое - зайдите в гугл и попробуйте поискать "victoriametrics performance tuning".
Ответить | Правка | К родителю #47 | Наверх | Cообщить модератору

73. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Аноним (48), 06-Окт-23, 23:40 
Как писал парень выше - тут всё просто:
Ставишь Victoria Metrics, просто запускаешь и просто всё работает.
Ставишь PG & Timescale, для начала прогоняешь минимальный тюнинг при помощи pgtune & timescaledb-tune. Получаешь отвратительный результат (работает на порядок медленнее конкурента, при этом ресурсов жрёт конкретно больше и самое печальное, даже со сжатием, потребляет катастрофически много дискового пространства) и осознаёшь, что дальнейший тюнинг возможен (точно можно сделать несколько лучше), но нецелесообразен (догнать даже незатюненную Victoria Metrics - в принципе нереально).

Сносишь PG & Timescale в баню и радуешься жизни :)

Ответить | Правка | Наверх | Cообщить модератору

74. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  –1 +/
Сообщение от asand3remail (ok), 06-Окт-23, 23:43 
> Как писал парень выше - тут всё просто:
> Ставишь Victoria Metrics, просто запускаешь и просто всё работает.
> Ставишь PG & Timescale, для начала прогоняешь минимальный тюнинг при помощи pgtune
> & timescaledb-tune. Получаешь отвратительный результат (работает на порядок медленнее
> конкурента, при этом ресурсов жрёт конкретно больше и самое печальное, даже
> со сжатием, потребляет катастрофически много дискового пространства) и осознаёшь, что
> дальнейший тюнинг возможен (точно можно сделать несколько лучше), но нецелесообразен (догнать
> даже незатюненную Victoria Metrics - в принципе нереально).
> Сносишь PG & Timescale в баню и ...

... деградируешь. =)

Ответить | Правка | Наверх | Cообщить модератору

87. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от ptr (??), 09-Окт-23, 02:09 
А дальше то как? Что с ACID? Через какой FDW к ней ходить? TimeScaleDB ставят когда нужно работать с временными сериями в реляционной БД.
Ответить | Правка | К родителю #47 | Наверх | Cообщить модератору

107. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от qsdg (ok), 27-Янв-24, 05:08 
ACID -- это не про мониторинг, а про транзакции. В мониторинг тулзах никому ни разу ещё не понадобился ACID. Там нету как транзакций, так и вообще UPDATE в принципе.
Ответить | Правка | Наверх | Cообщить модератору

11. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Аноним (11), 05-Окт-23, 14:31 
Кто такая Виктория?
Ответить | Правка | Наверх | Cообщить модератору

13. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Аноним (13), 05-Окт-23, 15:03 
И где она живет?
(Наверное в той же общаге, что и Элис)
Ответить | Правка | Наверх | Cообщить модератору

49. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Аноним (48), 06-Окт-23, 00:11 
А вдруг она не курит, и в $&)@# не даёт...

Извините (картинка со слоником из "38 попугаев".jpg) :)

Ответить | Правка | Наверх | Cообщить модератору

12. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  –1 +/
Сообщение от Tron is Whistling (?), 05-Окт-23, 14:34 
Downsampling только в энтерпрайзе.
Прелесть. Не, я уж лучше дальше в rrdtool.
Ответить | Правка | Наверх | Cообщить модератору

108. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от qsdg (ok), 27-Янв-24, 05:09 
> Downsampling только в энтерпрайзе.
> Прелесть. Не, я уж лучше дальше в rrdtool.

На Perl пишете небось?

Ответить | Правка | Наверх | Cообщить модератору

115. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Tron is Whistling (?), 27-Янв-24, 09:46 
PHP брал, C брал, Pascal брал...
Perl не брал.
Ответить | Правка | Наверх | Cообщить модератору

29. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Аноним (29), 05-Окт-23, 18:07 
Тоже как то пытались перейти на это игровое решение с самоделки на тараниуле и упёрлись в то что нет даунсемплинга, который был в подделке. Вопрос закрыли после трёх недель работы.

Потом переехали на редис плюс постгрес, ну понятно что с пострадавшей гибкостью.

Ответить | Правка | Наверх | Cообщить модератору

41. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Tron is Whistling (?), 05-Окт-23, 21:48 
Я для графиков живу на MySQL в коротком отрезке - 7 дней, там сотня с фигом гигабайт получается, далее непрерывно выгружаю то, что требуется, в RRD - для быстрой отрисовки и истории.
Ответить | Правка | Наверх | Cообщить модератору

42. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Tron is Whistling (?), 05-Окт-23, 21:53 
Но у меня кейс специфичный - мне графики нужны в промышленном масштабе...
Ответить | Правка | Наверх | Cообщить модератору

35. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +2 +/
Сообщение от Легивон (?), 05-Окт-23, 20:15 
Когда она только появилась быстро отметил её как проект занимающийся восновном балобольством, сказками про большую в 9000 раз производительность.
Ничего не изменилось, вот и сейчас они снова "положили" thanos на лопатки в 7 раз одновременно и по памяти и по сжатию.
Сжатие в семь раз относительно проектов которые так же использую сжатие - это просто сказки для маленьких детей. Удивительно, как эта система каким-то образом обрасла совершенно упоротыми фанатиками сектантами, расказывающими такие же небылицы. Видимо лозунги специально заточены на аудиторию психических.
Пруфы то будут? Как воспроизвести ваши "эксперименты"? Выкладывайте семплы и скрипты как залить их в ващу ненужную поделку и в прометей? Вместо пруфов - только победы в интернете, да?
Вангую на танос в тестах всегда подается белый шум в метриках и лейблах, а в викторию постоянка. Иного варианта про 700% сжатия от сжатого и быть не может.
Еще прочитал описание... даунсемплинга нет, лол. Для чего оно тогда вообще нужно?
Еще одна система мониторинга косплеющая прометей с киллер фитчей - официально ни для чего не нужна?
Ответить | Правка | Наверх | Cообщить модератору

80. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от x (?), 07-Окт-23, 15:43 
> Удивительно, как эта система каким-то образом обрасла совершенно упоротыми фанатиками сектантами, расказывающими такие же небылицы

ыкспэрты опеннета против фанатиков из CERN

https://www.theregister.com/2023/09/18/lhc_infrastructure_mo.../

Ответить | Правка | Наверх | Cообщить модератору

82. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Легивон (?), 07-Окт-23, 19:38 
Что ты хотел сказать?
Ты читал эту статью?
Где пруфы: графики, методика воспроизведения?
Ответить | Правка | Наверх | Cообщить модератору

98. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Roman (??), 10-Окт-23, 16:23 
Посмотрите бенчмарки с примерами воспроизведения здесь https://docs.victoriametrics.com/Articles.html#benchmarks

Например https://victoriametrics.com/blog/mimir-benchmark содержит абсолютно всё для воспроизведения. Даже полные снапшоты дашбордов во время выполнения бенчмарка.

Ответить | Правка | Наверх | Cообщить модератору

99. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Мимир (?), 10-Окт-23, 16:40 
> Посмотрите бенчмарки с примерами воспроизведения здесь
> https://docs.victoriametrics.com/Articles.html#benchmarks

Тебя 100 раз уже носом тыкнули в несостоятельность этих тестов, а ты их как доказательство продолжаешь использовать.

> Например https://victoriametrics.com/blog/mimir-benchmark

Разве что это хоть как-то похоже на сравнение. Но опять же - ни комментариев от разрабов Mimir, ни тестовых данных. И сама статья "сравнения" расположена внезапно на сайте виктории, что вообще ни разу не предвзято, ага.

Ответить | Правка | Наверх | Cообщить модератору

109. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от qsdg (ok), 27-Янв-24, 05:14 
>> Например https://victoriametrics.com/blog/mimir-benchmark
> Разве что это хоть как-то похоже на сравнение. Но опять же -
> ни комментариев от разрабов Mimir, ни тестовых данных. И сама статья
> "сравнения" расположена внезапно на сайте виктории, что вообще ни разу не
> предвзято, ага.

Разрабы Мимира участвовали в бенчмарке, там же написано. И они бы у себя откомментировали быстро, если бы было что сказать. Но они понимают что это fight that you cannot win, поэтому молчат.

Ответить | Правка | Наверх | Cообщить модератору

83. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от ыы (?), 07-Окт-23, 19:46 
вас ничего не смутило в этой статье?
Ответить | Правка | К родителю #80 | Наверх | Cообщить модератору

93. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Балабол (?), 09-Окт-23, 21:02 
Вот тут ребята с вами не согласны - https://docs.victoriametrics.com/CaseStudies.html
Ответить | Правка | К родителю #35 | Наверх | Cообщить модератору

36. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Имя (?), 05-Окт-23, 20:41 
А что у них там с ACID?
Ответить | Правка | Наверх | Cообщить модератору

110. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от qsdg (ok), 27-Янв-24, 05:16 
> А что у них там с ACID?

А его нету :)

Нет UPDATE -- значит нет транзакций вообще. В мониторинге никому не нужен ACID.

Ответить | Правка | Наверх | Cообщить модератору

40. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +2 +/
Сообщение от Аноним (40), 05-Окт-23, 21:37 
Переехали на неё в прошлом году. Имели 80 нод кубера, прометеус умирал при таком количестве нод, а при подключении виктории все проблемы исчезли.
Ответить | Правка | Наверх | Cообщить модератору

43. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +1 +/
Сообщение от Аноним (43), 05-Окт-23, 23:00 
Сколько у нас нод не скажу, но аналогично девопсы заменили Прометеус на Викторию и ситуация существенно улучшилась.
Ответить | Правка | Наверх | Cообщить модератору

55. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Tron is Whistling (?), 06-Окт-23, 09:50 
Лучше расскажите, сколько у вас MVPS на это количество нод, а мы посмеёмся.
Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

56. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Tron is Whistling (?), 06-Окт-23, 09:50 
// NVPS
Ответить | Правка | Наверх | Cообщить модератору

94. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  –1 +/
Сообщение от Балабол (?), 09-Окт-23, 21:04 
Вот тут у ребят из Roblox 120 миллионов NVPS - https://www.datanami.com/2023/05/30/why-roblox-picked-victor.../
Ответить | Правка | К родителю #55 | Наверх | Cообщить модератору

97. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Roblox (?), 09-Окт-23, 23:53 
> 120 миллионов NVPS

И ни слова о точности, потерях. Наверное 99,9% потерь, точность 4 знака до запятой и 0 после, раз не указали. А лейбл однобуквенный от ascii-таблицы. Только дата с временем, и та - с точностью только до секунд, миллисекунды отбрасываются, коллизии теряются. При таких условиях - вполне можно поверить, что у VictoriaMetrics наберётся 120 миллионов NVPS.

Ответить | Правка | Наверх | Cообщить модератору

111. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от qsdg (ok), 27-Янв-24, 05:29 
>> 120 миллионов NVPS
> И ни слова о точности, потерях. Наверное 99,9% потерь, точность 4 знака
> до запятой и 0 после, раз не указали. А лейбл однобуквенный
> от ascii-таблицы. Только дата с временем, и та - с точностью
> только до секунд, миллисекунды отбрасываются, коллизии теряются. При таких условиях -
> вполне можно поверить, что у VictoriaMetrics наберётся 120 миллионов NVPS.

Наверное нет. Наверное длина лейблов вообще не важна, миллисекунды есть, точность норм. Наверное в Роблоксе не лаптем щи хлебают.

Ответить | Правка | Наверх | Cообщить модератору

95. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Tron is Whistling (?), 09-Окт-23, 21:10 
> Лучше расскажите, сколько у вас MVPS на это количество нод, а мы
> посмеёмся.

Вы про себя расскажите.

Ответить | Правка | К родителю #55 | Наверх | Cообщить модератору

57. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от ыы (?), 06-Окт-23, 09:59 
Как вы полагаете, за счет чего достигается такой прорыв в производительности? Законы физики полагаю разработчики этого ПО не переделывали?
Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

65. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +1 +/
Сообщение от Аноним (43), 06-Окт-23, 13:18 
Ну никого же не смущает, что, например, ms sql быстрее чем postgresql работает.
Вполне могут быть разные подходы к одинаковым задачам.
Я точно не помню уже, но мне казалось что они просто взяли архитектуру кликхауса и на его основе сделали свою таймсериас дб. Но могу и врать, давно уже интересовался этим.
Ответить | Правка | Наверх | Cообщить модератору

70. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от ыы (?), 06-Окт-23, 19:05 
Когда производительность на схожих задачах отличается разительно - смущает. Возникает вопрос- за счет чего достигнут такой эффект. И начинаются оговорки...
Ответить | Правка | Наверх | Cообщить модератору

96. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Балабол (?), 09-Окт-23, 21:11 
Почему ClickHouse быстрее Postgres'а в 1000 раз, а сохраненные в ClickHouse данные занимают в 10-100 раз меньше места на диске по сравнению с ClickHouse? Наверное, разработчики ClickHouse балаболы...
Ответить | Правка | Наверх | Cообщить модератору

112. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от qsdg (ok), 27-Янв-24, 05:31 
> Ну никого же не смущает, что, например, ms sql быстрее чем postgresql
> работает.
> Вполне могут быть разные подходы к одинаковым задачам.
> Я точно не помню уже, но мне казалось что они просто взяли
> архитектуру кликхауса и на его основе сделали свою таймсериас дб. Но
> могу и врать, давно уже интересовался этим.

Нет, из архитектуры Кликхауса там только LSM tree. Но оно сейчас у всех есть.

Ответить | Правка | К родителю #65 | Наверх | Cообщить модератору

59. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от ыы (?), 06-Окт-23, 10:16 
>в 70 раз - по сравнению с TimescaleDB

а говорят что в Постгрес есть сжатие... Вы сжатые данные в 70 раз сжали? А не п.здишь ли мил человек?

Ответить | Правка | Наверх | Cообщить модератору

66. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +1 +/
Сообщение от Аноним (43), 06-Окт-23, 13:24 
Ну можно видео сжать zip'ом, а можно H265... Это не означает, что можно zip сжать повторно сверху с помощью H265.
А вообще перед тем как у себя внедрять - бизнес/девопсы приносили кучу статей со сравнительными тестированиями этих БД и все были в пользу Виктории. Я правда потыкал носом в то, что имена авторов статей подозрительно с сотрудниками Виктории совпадали...)) В общем, авторы Виктории - те еще любители маркетинговых сказок...
Ответить | Правка | Наверх | Cообщить модератору

69. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от ыы (?), 06-Окт-23, 18:30 
Речь идет не о сжатии видео. Речь идет о такого рода данных которые нельзя сжимать с потерями. А количество алгоритмов для таких преобразований не так много.
Ответить | Правка | Наверх | Cообщить модератору

71. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +1 +/
Сообщение от Аноним (43), 06-Окт-23, 20:00 
Кроме всего прочего, time-series БД оперируют именно настройкой степени потерь, от потерь в точности хранения вещественных чисел и разрешения DateTime, до потерь во временной области, когда несколько последовательных отсчетов сэмплируются в один отсчет с той или иной агрегацией.
Аналогия с видео подразумевала, что ваш посыл с повторным сжатием в N раз уже сжатых данных - не верен. Сжимают исходные несжатые данные в таких системах.
Ответить | Правка | Наверх | Cообщить модератору

88. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от ptr (??), 09-Окт-23, 02:28 
> от потерь в точности хранения вещественных чисел и разрешения DateTime,

А вот это должно решаться клиентом, а не БД. Например, для GPS данных мы фиксируем точность в отдельном поле. И какие либо потери там могут сильно искажать картину.

> до потерь во временной области, когда несколько последовательных отсчетов
> сэмплируются в один отсчет с той или иной агрегацией

Супер, особенно для данных, для которых порядок критически важен, так как они зависимы.

Ответить | Правка | Наверх | Cообщить модератору

101. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от Легивон (?), 10-Окт-23, 21:39 
Дядя, ты не шаришь. Иди гугли "теорему CAP".
В прометее и деревативах осознано дропнули "C", потому что для его назначения - мониторинг, оно не нужно. А его наличие только вредит. Когда ты выбираешь "consistency", ты должен париться насчет распределенных коммитов, дожидаться синхронного подтверждения записи, должен в целом синхронизовать процессы протекающие в распределенной системе. Это вообще никак не вяжется с необходимостью ворочать миллионами семплов, для чего он и создавался и то почему он так адцки выстрелил.
Зато отказ от "C" приносит кучу плюсов. К примеру попробуй угадать с 1 попытки как проще всего (и это вполне адекватно) сделать отказоустойчивый прометей? За счет этого прометей имеет огромный потенциал по простому маштабированию.
Ответить | Правка | Наверх | Cообщить модератору

102. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от ptr (??), 13-Окт-23, 17:33 
Какое отношение конситенция имеет к потере точности данных или нарушению их последовательности? Когда данные искажаются БД - это уже ни в какие ворота не лезет. Причем для большинства видов мониторинга. Даже ПИД-регулирование на искаженных данных или без сохранения их оригинальной последовательности просто не сможет нормально работать.
Ответить | Правка | Наверх | Cообщить модератору

114. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от qsdg (ok), 27-Янв-24, 05:36 
> Какое отношение конситенция имеет к потере точности данных или нарушению их последовательности?
> Когда данные искажаются БД - это уже ни в какие ворота
> не лезет. Причем для большинства видов мониторинга. Даже ПИД-регулирование на искаженных
> данных или без сохранения их оригинальной последовательности просто не сможет нормально
> работать.

Точность не теряется. То что вы говорите -- это семплирование, и оно используется только во время запросов, как юзер спросил. А сырые данные сохраняются на диске все, для каждого таймстемпа. Последовательность тоже не нарушается, иначе бы LSM tree вообще нельзя было бы применить.

Ответить | Правка | Наверх | Cообщить модератору

113. "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мони..."  +/
Сообщение от qsdg (ok), 27-Янв-24, 05:33 
> Дядя, ты не шаришь. Иди гугли "теорему CAP".
> В прометее и деревативах осознано дропнули "C", потому что для его назначения - мониторинг, оно не нужно.

Не совсем так. CAP очень легко достигается, если просто не поддерживать UPDATE и DELETE :)
Но да, в мониторинге оно никому не нужно.

Ответить | Правка | К родителю #101 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру