|
2.10, анонимчик (?), 12:38, 18/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– |
и чем же оно годнота? тем что поверх pgsql - а на кой ляд во временных рядах возможность изменения данных.
| |
|
|
|
5.23, Аноним (1), 16:24, 18/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
А если мне нужно не для метрик, а для исторических данных на десятки терабайт?
| |
|
6.27, нах. (?), 18:22, 18/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
> А если мне нужно не для метрик, а для исторических данных на
> десятки терабайт?
а sql им зачем?
| |
|
|
8.41, нах. (?), 10:00, 19/04/2020 [^] [^^] [^^^] [ответить] | –3 +/– | а теперь расскажи нам, как выглядит запрос к бд с метрикой, снимающеся раз в, до... текст свёрнут, показать | |
|
|
10.57, нах. (?), 22:41, 19/04/2020 [^] [^^] [^^^] [ответить] | –2 +/– | ну просто намек, что очевидный алгоритм в лоб будет неверным - съест резкие ... текст свёрнут, показать | |
|
|
|
7.56, DeadMustdie (??), 21:04, 19/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– |
> а sql им зачем?
Чтобы самим не писать вручную алгоритмы доступа к данным, включая миллионную в мире кривую реализацию Hash Merge.
А оный Merge возникнет рано или поздно при сопоставении разных групп наблюдений.
| |
|
8.58, нах. (?), 22:54, 19/04/2020 [^] [^^] [^^^] [ответить] | +/– | хренассе а точно-точно timescale это то, что подходит для подобных данных п... текст свёрнут, показать | |
|
|
6.29, Lex (??), 20:25, 18/04/2020 [^] [^^] [^^^] [ответить]
| +2 +/– |
“ и чем же оно годнота? тем что поверх pgsql - а на кой ляд во временных рядах возможность изменения данных.“ ?
Ви таки собрались изменять «исторические данные» задним числом ?
| |
|
7.37, funny.falcon (?), 09:24, 19/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
Не вопрос. Подскажи что-нибудь для хранения исторических данных и разнообразных запросов к ним без возможности изменения.
| |
|
8.66, qsdg (ok), 17:35, 21/04/2020 [^] [^^] [^^^] [ответить] | +/– | Victoriametrics же выше сказали Отключай автоматический ретеншн, и будут твои д... текст свёрнут, показать | |
|
7.38, funny.falcon (?), 09:26, 19/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
А друшой момент: бывают данные не срвсем исторические, но скорость изменения которых падает пропорционально их возрасту.
| |
7.42, Алексей Морозов (ok), 16:36, 19/04/2020 [^] [^^] [^^^] [ответить]
| +4 +/– |
Не мы такие, жись такая.
Вот идет поток, скажем, от GPS-трекера. И все бы хорошо, но время от времени этот чертов трекер начинает досылать данные, накопленные в своем черном ящике,
| |
|
6.68, qsdg (ok), 17:45, 21/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
> А если мне нужно не для метрик, а для исторических данных на
> десятки терабайт?
В подходящей базе десятки терабайт превращаются в просто терабайты, а если повезёт, то и в гигабайты, за счёт data-aware компрессии.
Для olap -- кликхаус. Для метрик -- victoriametrics.
У таймскейла вообще никакая компрессия, всё время тормозит из-за IO.
| |
|
|
|
|
|
|
|
3.34, Аноним (34), 21:38, 18/04/2020 [^] [^^] [^^^] [ответить]
| –1 +/– |
А разве на СУБД без подобных расширений нельзя хранить выборки через заданные промежутки времени? А то разработчики всяких там АИИС КУЭ и не знают.
| |
|
|
5.40, нах. (?), 09:52, 19/04/2020 [^] [^^] [^^^] [ответить]
| –1 +/– |
осталось понять, являются ли сопли и клей поверх postgres "специализированной бд для временных рядов", и насколько быстро тот постгрез лопнет.
| |
|
6.49, DeadMustdie (??), 20:50, 19/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
> являются ли сопли и клей поверх postgres
В каких-то пределах являются.
Разумной альтернативой является разве что Informix с его Time Series, концептуально история аналогично.
И да, там только за деньги (не очень большие, правда), и ни разу не open source.
| |
|
|
|
|
2.30, Lex (??), 20:27, 18/04/2020 [^] [^^] [^^^] [ответить]
| –3 +/– |
Тем же, чем и блокчейн[ т.е ничем, но хомяки одобрят ]
| |
|
3.65, Аноним (65), 13:17, 20/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
> одобрят
Вы им не говорите, что данные менять нельзя, а то не одобрят.
| |
|
|
|
|
3.51, DeadMustdie (??), 20:54, 19/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
> тем что тормознутее, ибо pq не колоночная DB.
В subj для хранения временных рядов используются специфические структуры данных.
Построчное хранение идентификационной информации по рядам не обязательно плохо влияет на производительность, там данных обычно на 3 копейки, особенно на фоне самих рядов.
| |
|
|
3.50, DeadMustdie (??), 20:52, 19/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
> А чем сабж лучше чем DB2?
Не совсем сравнимо. Скорее аналог - Informix Time Series, который проработан существенно лучше, но реализует ту же самую идею.
| |
|
|
|
4.52, DeadMustdie (??), 20:55, 19/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
> тем что тормознутее, ибо pq не колоночная DB.
А вот не факт.
Приложения разные бывают.
| |
4.63, Аноним (-), 10:56, 20/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
отсутствие транзакций никогда не является плюсом, это всегда компромис во имя чего-то другого
| |
|
|
|
|
|
|
4.53, DeadMustdie (??), 20:56, 19/04/2020 [^] [^^] [^^^] [ответить]
| +2 +/– |
> Если timeseries, то victoriametrics. Если OLAP, то ClickHouse.
Расскажите об этом коллегам из Teradata, Microsoft, IBM, Oracle, SAP и Vertica.
| |
|
|
|
1.43, анонимуслинус (?), 16:44, 19/04/2020 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
вот она база данных для научных вычислений и экспериментов. вопрос только в том выдержит она скажем записи данных с одронного коллайдера или других физических экспериментов с миллионами мелких датчиков?))
| |
|
2.55, DeadMustdie (??), 21:02, 19/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
> вопрос только в том выдержит она скажем записи данных с одронного коллайдера или других физических экспериментов с миллионами мелких датчиков?))
Интересный вопрос.
Когда я последний раз интересовался (довольно давно), самая здоровая единая реляционная БД в мире как раз обслуживала вроде бы ЦЕРН-овский, если не путаю, ускоритель. И сделана она была на DB2 в горизонтально масштабируемой конфигурации (Database Partitioning Feature = DPF, если быть точным).
Но воды с тех пор немало утекло, так что рекордсмен наверное поменялся.
| |
|
3.62, Анончик (?), 06:01, 20/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
Наверное путаете, в цене судя по докаладам оракл во все поля за редким исключением.
| |
|
4.64, DeadMustdie (??), 11:31, 20/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– |
> Наверное путаете, в цене судя по докаладам оракл во все поля за редким исключением.
Не путаю, у Оракла встроенный "шардинг" лишь относительно недавно появился, и до сих пор довольно кривенький.
| |
|
|
2.67, qsdg (ok), 17:39, 21/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
В коллайдере у них там несколько уровней предобработки данных перед записью, на каждом уровне по 99% данных выбрасываются за ненужностью. И только потом записываются. Иначе в мире дисков не хватит чтобы сырые данные с одного эксперимента записать.
| |
|
|