The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Опубликована распределённая СУБД Citus 13.0"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от opennews (??), 10-Фев-25, 13:57 
Компания Citus Data, принадлежащая Microsoft, опубликовала распределённую СУБД Citus 13.0, реализованную в форме расширения к PostgreSQL 17. Citus обеспечивает горизонтальное масштабирование PostgreSQL в кластере на базе типового оборудования и позволяет разносить данные по узлам при помощи шардинга (sharding) с настройкой  разделения на уровне столбцов и схемы хранения. Для приложений кластер Citus выглядит как один большой сервер PostgreSQL, объединяющий ресурсы образующих его узлов.  Код написан на языке Си и распространяется под лицензией AGPLv3...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=62701

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


5. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Анонем (?), 10-Фев-25, 14:54 
Интересно, с 1С совместимо?
Ответить | Правка | Наверх | Cообщить модератору

11. "Опубликована распределённая СУБД Citus 13.0"  +5 +/
Сообщение от Семен (??), 10-Фев-25, 15:19 
да, только Сitus это не СУБД, в новости ошибка, это расширение для PostgreSQL, которое на себя берет функции шардинга. "Citus is a PostgreSQL extension that transforms Postgres into a distributed database—so you can achieve high performance at any scale." Т.е. вы можете иметь любую версию PostgreSQL, накатить расширение и развернуть кластер. Для 1c для лучшей производительности и работы с юникодом вам желательно накатить патчи для PostgreSQL и пересобрать PostgreSQL. Плюс Сitus не берет на себя функции менеджера соединений, в PostgreSQL дорогое создание соединений, поэтому для нормального кластера вам понадобится еще что-то типа PgBouncer, да и без кластера PgBouncer может быть не лишним. Суть в том, что если вам нужна быстрая аналитика и построение отчетов, то к примеру вам выгоднее иметь 10 серверов с шардами по 100гб, чем один сервер с базой 1TB. Т.е. вы можете получить плюсы OLTP и OLAP одновременно. С OLTP на больших базах у вас будет очень дорогое и медленное создание индексов, индексы могут весить намного больше полезных данных, в итоге вы будете вынуждены минимизировать количество индексов в бд, и практиковать частичные индексы, чтобы это работало более менее нормально, но не везде это применимо.
Ответить | Правка | Наверх | Cообщить модератору

20. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Аноним (20), 10-Фев-25, 16:32 
> да, только Сitus это не СУБД,

На сайте и в  документации называют "Citus database". Например https://docs.citusdata.com/en/v13.0/get_started/what_is_citu...


Ответить | Правка | Наверх | Cообщить модератору

22. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Аноним (22), 10-Фев-25, 16:45 
1C - позорище, до сих пор не могут сделать поддержку Postgre без патчей.
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

32. "Опубликована распределённая СУБД Citus 13.0"  +1 +/
Сообщение от Аноним (32), 10-Фев-25, 21:58 
ИМХО, там всё схвачено заранее. Дают заработать ребятам из postgres pro.
Ответить | Правка | Наверх | Cообщить модератору

33. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Аноним (22), 10-Фев-25, 22:19 
Да, раньше это было похоже на картельный сговор. Но теперь это больше похоже на диверсию. Только подумайте, что будет если МС с патчем безопасности отключит возможность использования mssql на территориях где не продаётся Виндовс ;)
Так можно и отрицательный рост ВВП устроить из за проблем с бухучетом.
ЗЫ Напомню, что последние официальные патчи от 1с вышли к постгресу 9.6 и было это в далёком 2016 году.
Ответить | Правка | Наверх | Cообщить модератору

41. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Аноним (-), 11-Фев-25, 03:58 
> ИМХО, там всё схвачено заранее. Дают заработать ребятам из postgres pro.

Смотрите, дети - это называется коррупцией. И не понятно почему они еще в полном составе не переехали ... куда-нибудь на юх за такое.

Ответить | Правка | К родителю #32 | Наверх | Cообщить модератору

38. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Семен (??), 10-Фев-25, 23:12 
Скажу в защиту 1C, поддержка postgresql в 1С появилась более 15 лет назад, и за эти 15 лет они очень сильно оптимизировали работу со всеми СУБД, изначально у них был опыт только с mssql, отсюда они работали с ораклом и с postgresql как с mssql, не беря во внимание архитектурные особенности. Так же все современные конфигурации были переписаны, чтобы эффективнее работать с бд и блокировками. На самопале и на старых версиях платформы 1с предприятия есть проблемы, и где-то их не спешат обновлять, на новых все работает довольно хорошо. Так же эти 1с патчи не сильно изменились, и их не сложно портировать на новые версии postgresql. Есть другой вопрос, и он юридический, если вы обрабатываете персональные данные вам нужна СУБД с сертификатом ФСТЭК. В остальных случаях вы можете хоть самопальную СУБД использовать.
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

39. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от AnonNoX (?), 11-Фев-25, 00:32 
1C-ники плевались от ПГ 15 лет назад. Сейчас с удовольствием читаю, что там подгорает. Проблем с использованием MS SQL c 1C, теоретически, быть не должно ))
Ответить | Правка | Наверх | Cообщить модератору

27. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Аноним (27), 10-Фев-25, 19:14 
> Плюс Сitus не берет на себя функции менеджера соединений, в PostgreSQL дорогое создание соединений

Хех... А если софтину, которую я юзаю, писали умные люди и она держит пул соедиений к БД, через которые идут все запросы, так сабж для меня ващще тортик?

Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

30. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Семен (??), 10-Фев-25, 21:29 
Citus это кластер и это несколько серверов. Если у вас несколько серверов вам в любом случае нужно что-то типа HAProxy для нормальной балансировки нагрузки. Насчет PgBouncer сказать сложно, нужен он вам или нет, надо смотреть во что упирается БД, это может быть IOPS, оперативная память под кэш, или процессор. Вполне вероятно у вас просто нет нагрузок к бд, и можно обойтись без прочего инструментария. Если упирается в IOPS вряд ли проблема у вас с соединениями, тут скорее сигнал, что надо расширять хранилище - добавлять диски в рейд или добавлять сервера в кластер, и самое главное вероятно надо пересмотреть структуру БД и более грамотно спроектировать индексы. Новое соединение, требует к примеру память и процессор, так как надо к примеру скопировать часть кэшей, и данные не сразу записываются на диск. "писали умные люди" для всех "умные люди" это совсем разный люди и критерии. По опыту, что связанно с данными и обработкой данных, даже умные люди не могут решить все проблемы, и есть много подводных моментов, с которыми вы можете столкнуться или вовсе никогда не столкнуться, у всех разные данные и структуры данных. Поэтому пока не проверишь, сказать сложно.
Ответить | Правка | Наверх | Cообщить модератору

40. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от AnonNoX (?), 11-Фев-25, 00:36 
Citus умеет в мультимастер симулейшн с 16.2, кажется.
Ответить | Правка | Наверх | Cообщить модератору

31. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Семен (??), 10-Фев-25, 21:51 
Кстати, если вы считаете, что софтину писали умные люди. Просто откройте багрепорты PgBouncer, Pgpool, Odyssey, да и просто почитайте статьи по ним, вы поймете, что не все так просто, и там просто овер дофига проблем, которые возникают на ровном месте и которые очень сложно решить.

Есть несколько веток развития:
1. Ограничение фунционала, чтобы снизить количество багов.
2. Приложение молодое, широкий функционал, и много багов.
3. Средний функционал, мало багов, приложение старое и работает надежно как автомат калашникова.

И есть представители из всех 3 категорий в достаточно "простом" приложении, как пулер соединений.

Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

6. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от chdlb (?), 10-Фев-25, 14:55 
кто может сравнить c Yugabyte?
Ответить | Правка | Наверх | Cообщить модератору

15. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Семен (??), 10-Фев-25, 15:39 
Это так же как сравнить куй с пальцем. Есть условно ваниальный PostgreSQL которому почти 30 лет, он надежен как автомат калашникова, а есть хипстерские новомодные СУБД с блекджеком и шардингом, там больше функций, но и больше багов, что может быть критично в продакшене. Citus в РФ более популярен, и большая часть багов адекватно решаемые.
Ответить | Правка | Наверх | Cообщить модератору

35. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Аноня (?), 10-Фев-25, 22:45 
Он "настолько надёжен" что втихушку теряет данные без возможности восстановления. Потом они пофиксили этот баг (которому овердофига лет), но бэкпортить в 14 не стали (он там тоже есть).

А в Release Notes написали так, как будто это какое-то мелкое исправление, про потерю данных там ничего написано не было (но они это знали - понятно по описанию коммита исправляющего)

Ответить | Правка | Наверх | Cообщить модератору

37. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Семен (??), 10-Фев-25, 23:02 
Вас расстрою, но на больших данных все бд могут терять данные, и дело даже не в бд, банально диски могут отказывать, поэтому бэкапы никто не отменял. В том же оракле был очень веселый баг, когда оракл начинал отжирать всю память на серваке, и его прибивал OOM, и базу корежило. Не знаю решили ораклы этот баг или нет, но оракл не умел ограничивать использование памяти. В каких-то БД все эти баги возникают чаще, где-то реже, вопрос к зрелости и возрасту проекта. И для таких как вы есть параметр -k для initdb, чтобы быстрее отлавливать ошибки повреждения данных. В любом нормальном руководстве по postgresql вы увидите, что в продакшене надо обязательно включать --data-checksums. По умолчанию они были отключены в ванильном postgresql, в postgresql pro они включены по умолчанию. Если лыжи не едут по асфальту, то дело далеко не в лыжах, а в ездаке...
Ответить | Правка | Наверх | Cообщить модератору

7. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от chdlb (?), 10-Фев-25, 15:01 
а всё, вопрос снимается, эта шляпа single-master, а multi-master только через DTC и вообще не является режимом по умолчанию, или с кастомным механизмом резолва конфликтов
Ответить | Правка | Наверх | Cообщить модератору

8. "Опубликована распределённая СУБД Citus 13.0"  +2 +/
Сообщение от Аноним (8), 10-Фев-25, 15:08 
У Майкрософта и documentdb на базе постгри. Этим они открыто показывают полную несостоятельность ms sql server.
Ответить | Правка | Наверх | Cообщить модератору

10. "Опубликована распределённая СУБД Citus 13.0"  –1 +/
Сообщение от Ося Бендер (?), 10-Фев-25, 15:16 
В таком случае и Оракул несостоятелен. У них тоже МайЭсКюЗль есть.
Думаю МикроСофт все делает, чтобы поднасрать. Ну или, когда не можешь победить, нужно возглавить.
Ответить | Правка | Наверх | Cообщить модератору

9. "Опубликована распределённая СУБД Citus 13.0"  –2 +/
Сообщение от Аноним (9), 10-Фев-25, 15:15 
А сами PG не смогли это реализовать? Все нужные фичи приходится корпорациям добавлять.
Ответить | Правка | Наверх | Cообщить модератору

12. "Опубликована распределённая СУБД Citus 13.0"  +1 +/
Сообщение от Семен (??), 10-Фев-25, 15:30 
Они реализованы сторонними компаниями и за не малые бабки. Потому что сделать надежный шардинг на уровне бд довольно сложно, много подводных моментов, ошибок, которые надо отловить. По этой причине не мало компаний практикуют шардинг на уровне приложения, вместо шардинга средствами СУБД. Про это даже есть не мало научных статей, это только со стороны обывателей кажется легкой задачей. Даже если взять просто PgBouncer, который является менеджером соединений, вроде все просто, ничего сложного обрабатывать соединения и проксировать запросы к СУБД, но даже там есть кучу серьезных багов, которое отлавливали и фиксили годами, просто так даже такое "простое" приложение не написать. Плюс у PostgreSql есть определенные архитектурные проблемы, которые мешают реализовать все это, поэтому проще создать новую СУБД заточенную именно под шардинг, и так появились некоторые модные субд.
Ответить | Правка | Наверх | Cообщить модератору

14. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Аноним (14), 10-Фев-25, 15:38 
А корпорации не могли реализовать свои БД, почему они делют это для постгреса?
Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

36. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Аноня (?), 10-Фев-25, 22:50 
Совместимость и экосистема. Диалекты SQL у всех разные.

Своё - переписывать прикладное ПО. Все ORM сразу отваливаются и т.д. и т.п.

У потенциальных клиентов уже что-то "стоит" - и скорее всего это будет Postgres.

Ответить | Правка | Наверх | Cообщить модератору

17. "Опубликована распределённая СУБД Citus 13.0"  +1 +/
Сообщение от Аноним (8), 10-Фев-25, 15:46 
Ты наверно поправильному хотел спросить зачем вообще шардирование нужно рсубд. Ведь всем кому это действительно нужно используют nosql где шардирование работает из коробки с нулём лишних телодвижений.
Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

21. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Аноним (9), 10-Фев-25, 16:36 
Раз мс это сделал, значит им это было нужно и готовые варианты их не устроили.
Ответить | Правка | Наверх | Cообщить модератору

28. "Опубликована распределённая СУБД Citus 13.0"  +1 +/
Сообщение от Аноним (8), 10-Фев-25, 20:09 
Да Них синдром. Возможно даже просто эксперимент.
Ответить | Правка | Наверх | Cообщить модератору

13. "Опубликована распределённая СУБД Citus 13.0"  –1 +/
Сообщение от Аноним (13), 10-Фев-25, 15:30 
Хорошо, я это все забыл. Голова реально взрывалась от этих идиотских прослоек! Почему этого нет в функционале СУБД, когда это реально нужно?!
Ответить | Правка | Наверх | Cообщить модератору

16. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Семен (??), 10-Фев-25, 15:45 
Потому что вы не закоммитили этот функционал. Опенсорс же, критикуешь - предлагай свое решение и коммить его. Кому реально нужно, они нанимают разработчиков и реализуют функционал сами, а даренному коню в зубы не смотрят. Как выше писал, с виду простые проблемы в СУБД, требуют огромных, дорогих исследований и научной работы, не всегда есть такие ресурсы у опенсорс.
Ответить | Правка | Наверх | Cообщить модератору

18. "Опубликована распределённая СУБД Citus 13.0"  +1 +/
Сообщение от Аноним (8), 10-Фев-25, 15:46 
Это не простая проблема. Это вообще ненужная функция в рамках рсубд.
Ответить | Правка | Наверх | Cообщить модератору

26. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Catwoolfii (ok), 10-Фев-25, 18:11 
Есть небольшой обзор-сравнение сабжа с greenplum:
https://docs.arenadata.io/ru/blog/current/ADB/greenplum-vs-c...
Ответить | Правка | Наверх | Cообщить модератору

29. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Аноним (8), 10-Фев-25, 20:12 
Он большой.
Ответить | Правка | Наверх | Cообщить модератору

34. "Опубликована распределённая СУБД Citus 13.0"  +/
Сообщение от Аноним (34), 10-Фев-25, 22:32 
Беда. Тогда не читайте.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру