forum.opennet.ru - "Опубликован Kubegres, инструментарий для развёртывания кластера PostgreSQL" (93)

"Опубликован Kubegres, инструментарий для развёртывания кластера PostgreSQL"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Опубликован Kubegres, инструментарий для развёртывания кластера PostgreSQL"	+/–
Сообщение от opennews (??), 24-Апр-21, 10:01
Опубликованы исходные тексты проекта Kubegres, предназначенного для создания кластера реплицированных серверов с СУБД PostgreSQL, развёртываемого в инфраструктуре контейнерной изоляции на базе платформы Kubernetes. Пакет также позволяет управлять репликацией данных между серверами, создавать отказоустойчивые конфигурации и организовать резервное копирование. Код проекта написан на языке Go и распространяется под лицензией Apache 2.0... Подробнее: https://www.opennet.me/opennews/art.shtml?num=55023
Ответить \| Правка \| Cообщить модератору

Оглавление

Скрыто модератором, Аноним (1), 10:01 , 24-Апр-21, (1) +3
В случае сбоя на первичном узле и почему может быть сбой в первичном узле Нак, Аноним (2), 11:21 , 24-Апр-21, (2) –6

Кубер грознит постгрю за превышение лимитов Физически сервер выгорит Да мало ли-, Ананизмус (?), 11:27 , 24-Апр-21, (3) +1
Стандартный процесс вывода физического сервера на maintenance kubectl drain --i, Аноним (6), 11:38 , 24-Апр-21, (6)
Да хоть обновление ядра На одном узле, конечно, можно пытаться сделать отказоус, Аноним (45), 16:14 , 24-Апр-21, (45) +5
К первичному серверу наведалось ФСБ обэп по доброте душевной с конфискацией обор, кук (?), 19:58 , 24-Апр-21, (69) –3

Я даже несколько стесняюсь спросить, но надо свои комплексы преодолевать А про , Bx (ok), 20:13 , 24-Апр-21, (71) +1

Я - не слышал Расскажи Всякие умнообразные любят формулировки а вы слышали Яв, Аноним (94), 06:28 , 25-Апр-21, (94)

ну про яйца и корзину человечество знает уже несколько сот тысяч лет , Аноним (122), 07:02 , 28-Апр-21, (122)

А есть KubeMySQL 129300 , Иваня (?), 11:33 , 24-Апр-21, (4)

https blogs oracle com developers introducing-the-oracle-mysql-operator-for-ku, Всем Анонимам Аноним (?), 12:56 , 24-Апр-21, (21) +1

Чем это лучше классики zalando postgres-operator Насколько я могу судить, разв, Аноним (6), 11:35 , 24-Апр-21, (5) –1
Взяли хорошй, годный PostgreSQL и обернули его во всякую гадость Go, Docker, Ku, InuYasha (??), 11:40 , 24-Апр-21, (7) –9

Попробуйте сделать на этом хорошем, годном мульти-мастер, например , Аноним (6), 11:42 , 24-Апр-21, (8) +1

зачем вообще мультимастер это по определнию тормоза и или косяки с потерей данн, лютый жабби__ (?), 12:16 , 24-Апр-21, (13) +1

Для постгреса - да Потому что он хороший, годный И может обрабатывать upser, Аноним (6), 12:54 , 24-Апр-21, (19)

Нагрузку на запись обычно масштабируют шардированием Мультимастер не даёт сущес, anonymous (??), 13:33 , 24-Апр-21, (27) +2

Да, наиболее очевидный путь Когда приходится решать типовую задачу раз в полчас, Аноним (6), 13:39 , 24-Апр-21, (31)

Возможно стоит задуматься о дизайне приложения и о дизайне хранения данных И не, anonymous (??), 13:46 , 24-Апр-21, (33) +1

И в итоге в таких случаях умным решением окажется не постгрес, а кликхаус если , Аноним (6), 13:53 , 24-Апр-21, (35) –1

Для многих приложений скорее всего так и будет А для, например, крупной социало, anonymous (??), 13:57 , 24-Апр-21, (37)

Только если нужно тащить легаси Если делать такой проект с чистого листа - ника, Аноним (6), 14:25 , 24-Апр-21, (38)

ты не из подольска случаем , robpike (?), 18:25 , 27-Апр-21, (120)

Правильно тебе минус поставили за эластик с редисом, Аноним (94), 05:56 , 25-Апр-21, (90) –2

И это уже не говоря о том, как весело будет выглядеть реализация репликации, фей, Аноним (6), 13:48 , 24-Апр-21, (34)

Полагаю, для этого и делают все эти оркестраторы хотя не пользовался Чтобы вз, anonymous (??), 13:55 , 24-Апр-21, (36)

Не видел ни одного более-менее готового оркестратора, облегчающего работу в план, Аноним (6), 14:29 , 24-Апр-21, (39)

В таких случаях часто разумно не делать селект раз в полчаса, а повесить триггер, Аноним (109), 07:32 , 26-Апр-21, (109) +1

Такие костыли не от хорошей жизни делаются На все несколько десятков таблиц три, Аноним (6), 13:14 , 26-Апр-21, (113)

Разве это мультимастер Емнип, в ПГ мультимастера пока нет, есть герой-одиночка , YetAnotherOnanym (ok), 12:19 , 24-Апр-21, (14)

Нет, конечно Для РСУБД с ACID, насколько я знаю, задача мультимастера в настоящ, Аноним (6), 12:56 , 24-Апр-21, (20)

С чего бы постгресу на 1 ТБ сдыхать Вполне себе работает с 1,3Тб уже и не парит, Neandertalets (ok), 13:28 , 24-Апр-21, (25) +1

Достаточно просто с ним более-менее интенсивно работать Набить данных и хранить, Аноним (6), 13:34 , 24-Апр-21, (29) +1

Вполне нормальная нагрузка банк Есть федеральный проект, но тут ещё только к 1, Neandertalets (ok), 17:16 , 24-Апр-21, (53)

С высокой долей вероятности вас ждёт уникальный и незабываемый опыт Я это уже пр, Аноним (6), 18:39 , 24-Апр-21, (55) –2

Я один такой неудачник, что в ОПСОС 30 ТБ в одно рыло разработал и тащу 500ГБ, , Bx (ok), 19:26 , 24-Апр-21, (62)

Вау Вот всегда к постгресу приглядывался, но до дела никак ни доходило А тут т, Аноним (94), 06:01 , 25-Апр-21, (91)

Сказать, что всё плёхо - это ещё не есть всё плёхо Автор всё плёхо п, Neandertalets (ok), 10:49 , 25-Апр-21, (101) +1
Смотря кто будет проектировать систему С постгресом можно сколько угодно, но на, Аноним (104), 17:02 , 25-Апр-21, (104) +1

А чем плох percona cluster для мультимастера , anonymous (??), 13:34 , 24-Апр-21, (28) –1

Тем, что mysql - недобд Вы хочите бд - идите к нам с оракле, Bx (ok), 19:32 , 24-Апр-21, (65) +1

Потом вы, конечно, сильно огребёте из-за нашей политики, цен и необходимости , Neandertalets (ok), 10:47 , 25-Апр-21, (100)

Я не про это исходно, но перкона - это про зарабатывание денег , Bx (ok), 16:54 , 25-Апр-21, (103)

попробуй сделать что-нибудь на божественном глобальном и надёжном ораклЕ, mos87 (ok), 09:28 , 25-Апр-21, (96) –2

о ретрограда локалхостов порвало, Аноним (-), 11:47 , 24-Апр-21, (9) –1

Ну да, надо же размазать базу по нодам чем больше, тем круче и гордо об этом , pin (??), 12:06 , 24-Апр-21, (12) +5

Нет, как раз для с этим прекрасно справляются мускуль и постгрес, благо объёмы и, Аноним (6), 12:59 , 24-Апр-21, (22)

На самом деле, с этим в больших объёмах справляется эластик Но это сама по себе, InuYasha (??), 16:39 , 24-Апр-21, (48)

Эластик под другие задачи заточен, чем обычно РСУБД используется , Neandertalets (ok), 19:26 , 24-Апр-21, (63)

Многие люди любят совать РСУБД там, где достаточно более простого хранилища Пото, Аноним (6), 13:31 , 26-Апр-21, (114)

Выкиньте вы уже этот ваш эластик Из головы, для начала Пользуйтесь lucene, это, Аноним (94), 06:07 , 25-Апр-21, (92) –1

Галоперидол не выпил lucene это мотор, ES мотоцикл можно конечно и мотор эмб, лютый жабби__ (?), 16:50 , 27-Апр-21, (118)

Любопытства ради, а как вообще обрабатывать серьёзный большой продакшн без разм, anonymous (??), 13:38 , 24-Апр-21, (30) +3

По слухам, в постгреспро умеют А так-то 1 Найти человека компанию , который зна, Bx (ok), 19:43 , 24-Апр-21, (66) –1

А есть годные решения, работающие как хочется из коробки Постгрес, как и л, Neandertalets (ok), 10:53 , 25-Апр-21, (102)

Ну сколько раз объяснять 1 Вася, который пришел и ушел2 Вася, который пришел, , Bx (ok), 17:05 , 25-Апр-21, (106)

В чём разница, если вместо Постгреса указать тот же Кубер или любое другое сл, Neandertalets (ok), 19:46 , 25-Апр-21, (107)

Если этот gовносайт - фейсбук, то без размазывания вряд ли получится , Аноним (104), 17:04 , 25-Апр-21, (105) +1

Срач про модное и не_модное в другой ветке, Lex (??), 12:00 , 24-Апр-21, (11) –1
о мамонт вылез вы еще не померли, любители все героически настраивать руками , Аноним (16), 12:23 , 24-Апр-21, (16) –1

Нет, профессионалы писать софт на Си , InuYasha (??), 16:39 , 24-Апр-21, (50) –3

Не стоит применять опыт написания программ учёта для небольших складов к проекта, Аноним (6), 18:44 , 24-Апр-21, (57) –4

Не стоит применять опыт написания на английском языке небольших комментариев на , InuYasha (??), 18:56 , 24-Апр-21, (59) –1

А по-моему наоборот - взяли падучий кусок г-на, так и не научившийся надежной и , пох. (?), 22:41 , 26-Апр-21, (116)

Что не так с hot standby в PostgreSQL , andy (??), 16:27 , 27-Апр-21, (117)

то что костылякать всю кучу подпорок тебе надо вручную Вручную же следить за ее, пох. (?), 18:35 , 27-Апр-21, (121)

То что в новости описано не делает из постгреса мультимастер Также как сделать , Павел (??), 11:49 , 24-Апр-21, (10)

это лучше, чем goto , adolfus (ok), 12:34 , 24-Апр-21, (17)
Спасибо, Капитан С помощью PHP, немытой головы и обгрызенных ногтей, которыми го, Аноним (6), 13:01 , 24-Апр-21, (23)

Если админ оракла все данные и логику пхают в базы, то фаны кубернетса, пхают вс, IvAnZ (?), 13:04 , 24-Апр-21, (24) +1

Админы как раз ничего в базу не отправляют просто так А кубер реально во многих , Аноним (26), 13:29 , 24-Апр-21, (26) –2
Если у меня в шкафу семь рубашек, но каждый раз я надеваю не более одной - это з, Аноним (6), 13:44 , 24-Апр-21, (32) –1

Тут скорее больше подойдет аналогия с самолетами У тебя 6 самолетов, летаешь ты , Ann (??), 15:21 , 24-Апр-21, (42)

Мне больше нравится другая аналогия Вот у тебя есть 6 любовниц одновременно, ыы (?), 16:49 , 24-Апр-21, (52)

Нравиться может что угодно Самая близкая из трех - аналогия с самолетами А с л, Ann (??), 18:42 , 24-Апр-21, (56)

А, так вы выступаете против идеи репликации И против идеи бэкапов, очевидно, тож, Аноним (6), 18:47 , 24-Апр-21, (58)

и очевидно против идеи виртуализации тоже даже не смотря на то что как тольк, ыы (?), 19:11 , 24-Апр-21, (61)

Вы, погромисты, странные люди У каждой любовницы еще по 5 пахарей, тут проблема, Bx (ok), 19:53 , 24-Апр-21, (68)

Именно Но судя по постам - они либо слова такого не знают, либо его значение для, Ann (??), 20:23 , 24-Апр-21, (72)

Почему же табу, очепятка Да и про табу есть сомнения Эк меня сегодня на, Bx (ok), 20:43 , 24-Апр-21, (74)

Вот, вы правильно понимаете аналогию и состояние дел в виртаулизации и облаках , ыы (?), 20:33 , 24-Апр-21, (73)

А про самолеты - это Вы про что Я, конечно, не против поуправлять государством,, Bx (ok), 20:45 , 24-Апр-21, (75)

ваши оценки сомнительны в наиболее виртуало-скептических источниках я видел дру, СеменСеменыч777 (?), 09:34 , 25-Апр-21, (97)

Вы похоже вообще не понимаете о чем идет разговор А разговор идет о том, что , ыы (?), 21:36 , 25-Апр-21, (108)

Да почему же - с любовницами какраз в точку - обеспечивать нужно всех одинаково,, Аноним (77), 20:56 , 24-Апр-21, (77)
Да, там должно быть Вот ты известный дизайнер одежды и у тебя есть 6 любовников, Аноним (86), 01:19 , 25-Апр-21, (86)

С одним, тогда уж Гадко, но надо Никогда не понимал очеловечивания железа Вс, Bx (ok), 02:11 , 25-Апр-21, (89)

Вот Вот он тот самый случай когда айтишники рассуждают о том, о чем не имеют ни, Аноним (94), 06:15 , 25-Апр-21, (93)

Действительно, откуда у айтишника любовницы Айтишнику хотябы одну где ни, ыы (?), 09:07 , 25-Апр-21, (95)

на одной вешалке см выше, mos87 (ok), 09:36 , 25-Апр-21, (98)

Недавно видел забор логов с удаленных систем и отправку их в агрегатор через куб, Bx (ok), 19:51 , 24-Апр-21, (67)

Чем это отличается от stolon или patroni , Аноним (40), 14:45 , 24-Апр-21, (40)

https blog flant com comparing-kubernetes-operators-for-postgresql , Вероятно тем и отличается (?), 01:47 , 25-Апр-21, (87)

Сообщения [Сортировка по времени | RSS]

1. Скрыто модератором +3 +/–

Сообщение от Аноним (1), 24-Апр-21, 10:01

Ждём инсталлятора pythorust. Чтобы 2 в 1

Ответить | Правка | Наверх | Cообщить модератору

2. "Опубликован Kubegres, инструментарий для развёртывания класт..." –6 +/–

Сообщение от Аноним (2), 24-Апр-21, 11:21

"В случае сбоя на первичном узле" и почему может быть сбой в первичном узле? Накопитель? Так мега raid можно сделать. Сеть? Так тогда переконфигурировать master-slave не выйдет.

Ответить | Правка | Наверх | Cообщить модератору

3. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от Ананизмус (?), 24-Апр-21, 11:27

Кубер грознит постгрю за превышение лимитов?
Физически сервер выгорит?
Да мало ли- не?

Ответить | Правка | Наверх | Cообщить модератору

6. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (6), 24-Апр-21, 11:38

> "В случае сбоя на первичном узле" и почему может быть сбой в первичном узле?
Стандартный процесс вывода физического сервера на maintenance: kubectl drain --ignore-daemonsets --delete-local-data $NODENAME
Никто не гарантирует, что поды будут жить вечно. Это же продовое окружение, а не подкроватный сервер Васи, который проработает пять лет без обновлений, а потом помрет из-за износа SSD.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

45. "Опубликован Kubegres, инструментарий для развёртывания класт..." +5 +/–

Сообщение от Аноним (45), 24-Апр-21, 16:14

Да хоть обновление ядра. На одном узле, конечно, можно пытаться сделать отказоустойчивую систему, но любое её обслуживание превратится в ад. Малейшая ошибка админа - и всё рассыпалось, ювелирная работа, перед которой нужно ещё и учения делать.
В распределенный системе типичный сценарий обслуживания - вывел сервер из кластера автоматикой, поэкспериментировал ручками, сделал что хотел, протестировал, ввёл обратно в строй. Никакого стресса.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

69. "Опубликован Kubegres, инструментарий для развёртывания класт..." –3 +/–

Сообщение от кук (?), 24-Апр-21, 19:58

К первичному серверу наведалось ФСБ/обэп по доброте душевной с конфискацией оборудования. Или ваш любимый датацентр сгорел.
На одном хосте ты ничего вменяемого никогда сделать не сможешь, это уже понятно всем лет как 10.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

71. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от Bx (ok), 24-Апр-21, 20:13

> К первичному серверу наведалось ФСБ/обэп по доброте душевной с конфискацией оборудования.
> Или ваш любимый датацентр сгорел.
> На одном хосте ты ничего вменяемого никогда сделать не сможешь, это уже
> понятно всем лет как 10.
Я даже несколько стесняюсь спросить, но надо свои комплексы преодолевать! А про CAP теорему Вы слышали?

Ответить | Правка | Наверх | Cообщить модератору

94. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (94), 25-Апр-21, 06:28

Я - не слышал. Расскажи.
Всякие умнообразные любят формулировки "а вы слышали?"
Яви нам свой ум.
Рассказывай.

Ответить | Правка | Наверх | Cообщить модератору

122. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (122), 28-Апр-21, 07:02

ну про яйца и корзину человечество знает уже несколько сот тысяч лет :)

Ответить | Правка | К родителю #69 | Наверх | Cообщить модератору

4. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Иваня (?), 24-Апр-21, 11:33

А есть KubeMySQL?🤔

Ответить | Правка | Наверх | Cообщить модератору

21. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от Всем Анонимам Аноним (?), 24-Апр-21, 12:56

https://blogs.oracle.com/developers/introducing-the-oracle-m...

Ответить | Правка | Наверх | Cообщить модератору

5. "Опубликован Kubegres, инструментарий для развёртывания класт..." –1 +/–

Сообщение от Аноним (6), 24-Апр-21, 11:35

Чем это лучше классики (zalando/postgres-operator)?
Насколько я могу судить, разве что возможностью задать StorageClass без лишних плясок с бубном.
Ну и держать полноценную дисковую БД (будь то постгрес или эластик) имеет смысл только на локальных физических носителях (в крайнем случае, на дисковой полке). В облаках будет работать весьма неторопливо.

Ответить | Правка | Наверх | Cообщить модератору

7. "Опубликован Kubegres, инструментарий для развёртывания класт..." –9 +/–

Сообщение от InuYasha (??), 24-Апр-21, 11:40

Взяли хорошй, годный PostgreSQL и обернули его во всякую гадость: Go, Docker, Kubernetes, YAML... ещё какого-нибудь фронт-енда на java/node.js не хватает.

Ответить | Правка | Наверх | Cообщить модератору

8. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от Аноним (6), 24-Апр-21, 11:42

Попробуйте сделать на этом "хорошем, годном" мульти-мастер, например.

Ответить | Правка | Наверх | Cообщить модератору

13. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от лютый жабби__ (?), 24-Апр-21, 12:16

>Попробуйте сделать на этом "хорошем, годном" мульти-мастер
зачем вообще мультимастер? это по определнию тормоза и/или косяки с потерей данных.
даже в божественной монге не делают мультимастер )

Ответить | Правка | Наверх | Cообщить модератору

19. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (6), 24-Апр-21, 12:54

> зачем вообще мультимастер? это по определнию тормоза и/или косяки с потерей данных.
Для постгреса - да. Потому что он "хороший, годный". И может обрабатывать (upsert, например) ровно такой объем данных, с которым может справиться один физический сервер. Круто, правда?

Ответить | Правка | Наверх | Cообщить модератору

27. "Опубликован Kubegres, инструментарий для развёртывания класт..." +2 +/–

Сообщение от anonymous (??), 24-Апр-21, 13:33

Нагрузку на запись обычно масштабируют шардированием. Мультимастер не даёт существенного горизонтального масштабирования. Мультимастер -- это скорее про удобство.

Ответить | Правка | Наверх | Cообщить модератору

31. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (6), 24-Апр-21, 13:39

> Нагрузку на запись обычно масштабируют шардированием.
Да, наиболее очевидный путь.
> Мультимастер не даёт существенного горизонтального масштабирования. Мультимастер -- это скорее про удобство.
Когда приходится решать типовую задачу "раз в полчаса нужно сделать SELECT с кучей JOIN-ов из нескольких десятков таблиц и применить к этому хитрые правила агрегации, а потом записать это в ещё одну таблицу, тоже шардированную, потому что данных дофига" - начинаешь задумываться об удобстве.

Ответить | Правка | Наверх | Cообщить модератору

33. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от anonymous (??), 24-Апр-21, 13:46

Возможно стоит задуматься о дизайне приложения и о дизайне хранения данных. И не всегда данные изначально надо хранить нормализованными. В общем надо смотреть на конкретный случай и искать умное решение.
Но что важнее, multimaster тут не добавляет удобства. Он добавляет удобства в том смысле, что не приходится заморачиваться с master-slave схемами, когда хочется тупо HA.

Ответить | Правка | Наверх | Cообщить модератору

35. "Опубликован Kubegres, инструментарий для развёртывания класт..." –1 +/–

Сообщение от Аноним (6), 24-Апр-21, 13:53

>  Возможно стоит задуматься о дизайне приложения и о дизайне хранения данных. И не всегда данные изначально надо хранить нормализованными. В общем надо смотреть на конкретный случай и искать умное решение.
И в итоге в таких случаях умным решением окажется не постгрес, а кликхаус (если юзкейс позволяет не обновлять таблицы, а пересоздавать их) или эластик, со слоем кэширования в виде редиса.
И вся логика по хитровыделанной обработке данных уходит на сторону приложения, которое можно масштабировать хоть до посинения (если разработчики слышали про map-reduce и прочие умные слова).
А в РСУБД остается только минимальный объём данных, где действительно необходимы транзакции.

Ответить | Правка | Наверх | Cообщить модератору

37. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от anonymous (??), 24-Апр-21, 13:57

Для многих приложений скорее всего так и будет. А для, например, крупной социалочки будет просто шардированный master-slave mysql:)

Ответить | Правка | Наверх | Cообщить модератору

38. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (6), 24-Апр-21, 14:25

Только если нужно тащить легаси. Если делать такой проект с чистого листа - никаких РСУБД среди основных компонентов там не будет.
Работал некоторое время на один проект, который в принципе можно назвать крупной социалочкой, и который около 2015 года (как раз в начале активного роста) переехал с монги на эластик. Это не xUSSR, конечно.

Ответить | Правка | Наверх | Cообщить модератору

120. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от robpike (?), 27-Апр-21, 18:25

ты не из подольска случаем?

Ответить | Правка | Наверх | Cообщить модератору

90. "Опубликован Kubegres, инструментарий для развёртывания класт..." –2 +/–

Сообщение от Аноним (94), 25-Апр-21, 05:56

Правильно тебе минус поставили за эластик с редисом

Ответить | Правка | К родителю #35 | Наверх | Cообщить модератору

34. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (6), 24-Апр-21, 13:48

И это уже не говоря о том, как весело будет выглядеть реализация репликации, фейловера и backup/restore для шардированных данных в постгресе.
Легким (на самом деле нет) движением ваши проблемы увеличиваются в 10 (или сколько там шардов) раз.

Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

36. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от anonymous (??), 24-Апр-21, 13:55

Полагаю, для этого и делают все эти оркестраторы (хотя не пользовался). Чтобы взрослые конфигурации могли себе позволить не только большие компании, но и маленькие.

Ответить | Правка | Наверх | Cообщить модератору

39. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (6), 24-Апр-21, 14:29

Не видел ни одного более-менее готового оркестратора, облегчающего работу в плане шардирования.
Для нешардированных данных - да, тот же Patroni. А шардирование в постгресе настолько тяжко, что обычно проще выкинуть постгрес.

Ответить | Правка | Наверх | Cообщить модератору

109. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от Аноним (109), 26-Апр-21, 07:32

В таких случаях часто разумно не делать селект раз в полчаса, а повесить триггеры и делать денормализацию/агрегацию на лету. Тут, кстати, бывает полезен fdw.

Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

113. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (6), 26-Апр-21, 13:14

Такие костыли не от хорошей жизни делаются. На все несколько десятков таблиц триггер вешать? И пусть при вставке весь мир подождёт?

Ответить | Правка | Наверх | Cообщить модератору

14. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от YetAnotherOnanym (ok), 24-Апр-21, 12:19

> реплицированных в режиме реального времени вторичных pod-узлов, синхронизированных с первичным узлом
Разве это мультимастер? Емнип, в ПГ мультимастера пока нет, есть герой-одиночка Коити Сузуки, который пилит то ли Postgres-XL, то ли Postgres-XC, то ли Postgres-X2, то ли ещё под каким-то названием, но до продакшона там как до Токио раком.

Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

20. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (6), 24-Апр-21, 12:56

> Разве это мультимастер?
Нет, конечно. Для РСУБД с ACID, насколько я знаю, задача мультимастера в настоящее время не решена.
И вряд ли будет решена в обозримом будущем.
Это просто был довольно толстый стёб над "хорошим, годным" постгресом, который сдыхает уже на 1 Тб независимо от крутизны сервера.

Ответить | Правка | Наверх | Cообщить модератору

25. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от Neandertalets (ok), 24-Апр-21, 13:28

С чего бы постгресу на 1 ТБ сдыхать? Вполне себе работает с 1,3Тб уже и не парится, прирастая по 3-5 Гб в сутки. Причём на совершенно не крутом сервере.
Даже не знаю, как криво надо поставить Постгрес, чтобы он на 1 ТБ  сдыхал.

Ответить | Правка | Наверх | Cообщить модератору

29. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от Аноним (6), 24-Апр-21, 13:34

> Даже не знаю, как криво надо поставить Постгрес, чтобы он на 1 ТБ  сдыхал.
Достаточно просто с ним более-менее интенсивно работать. Набить данных и хранить их можно хоть в SQLite (фанаты не-хипсторства и по 30 Тб туда засовывают).

Ответить | Правка | Наверх | Cообщить модератору

53. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Neandertalets (ok), 24-Апр-21, 17:16

Вполне нормальная нагрузка (банк).
Есть федеральный проект, но тут ещё только к 1ТБ приближается объём (пока только миграция данных со старых систем), но в проекте 8-12 ТБ (возможно увеличение проекта с соотв.ростом базы до 20-30ТБ).

Ответить | Правка | Наверх | Cообщить модератору

55. "Опубликован Kubegres, инструментарий для развёртывания класт..." –2 +/–

Сообщение от Аноним (6), 24-Апр-21, 18:39

С высокой долей вероятности вас ждёт уникальный и незабываемый опыт.
Я это уже прошёл, и больше повторять не хочу.

Ответить | Правка | Наверх | Cообщить модератору

62. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Bx (ok), 24-Апр-21, 19:26

Я один такой неудачник, что в ОПСОС 30+ТБ в одно рыло разработал и тащу?
~500ГБ, >2e9 записей в сутки, шардирования нет, но проверял - работает через postgres_fdw, но там даже 10Гб линков нет, нет смысла :(
Кто хочет - ищет возможности, кто не хочет - ищет отговорки.

Ответить | Правка | Наверх | Cообщить модератору

91. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (94), 25-Апр-21, 06:01

Вау. Вот всегда к постгресу приглядывался, но до дела никак ни доходило. А тут такое пишут. Терабайт. Охренеть. У нас на говномонге сейчас этих терабайт уже около 80. И мы еще думали куда-то сваливать.
Неужели все так плохо?

Ответить | Правка | К родителю #53 | Наверх | Cообщить модератору

101. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от Neandertalets (ok), 25-Апр-21, 10:49

> Неужели все так плохо?
   Сказать, что "всё плёхо" - это ещё не есть "всё плёхо".
   Автор "всё плёхо" пока свои слова никак не доказал.

Ответить | Правка | Наверх | Cообщить модератору

104. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от Аноним (104), 25-Апр-21, 17:02

Смотря кто будет проектировать систему. С постгресом можно сколько угодно, но надо понимать его ограничения, чтобы не упереться в них. С монгой, впрочем, то же самое.
Если, скажем, Бартунов с Сигаевым, то все будет хорошо. Если аноним с опеннета, все будет плохо. Ну и все промежуточные варианты. :)

Ответить | Правка | К родителю #91 | Наверх | Cообщить модератору

28. "Опубликован Kubegres, инструментарий для развёртывания класт..." –1 +/–

Сообщение от anonymous (??), 24-Апр-21, 13:34

А чем плох percona cluster для мультимастера?

Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

65. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от Bx (ok), 24-Апр-21, 19:32

Тем, что mysql - недобд. Вы хочите бд - идите к нам (с) оракле

Ответить | Правка | Наверх | Cообщить модератору

100. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Neandertalets (ok), 25-Апр-21, 10:47

> Тем, что mysql - недобд. Вы хочите бд - идите к нам (с) оракле
   Потом вы, конечно, сильно огребёте из-за нашей политики, цен и необходимости иметь ДБА за немалую зарплату (да, мы - Ынтерпрайз, но без постоянного пригляда ваша БД долго работать не сможет), но это - потом. Зато мы круты! (С) Оракля

Ответить | Правка | Наверх | Cообщить модератору

103. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Bx (ok), 25-Апр-21, 16:54

>> Тем, что mysql - недобд. Вы хочите бд - идите к нам (с) оракле
>    Потом вы, конечно, сильно огребёте из-за нашей политики, цен
> и необходимости иметь ДБА за немалую зарплату (да, мы - Ынтерпрайз,
> но без постоянного пригляда ваша БД долго работать не сможет), но
> это - потом. Зато мы круты! (С) Оракля
Я не про это исходно, но перкона - это про зарабатывание денег.

Ответить | Правка | Наверх | Cообщить модератору

96. "Опубликован Kubegres, инструментарий для развёртывания класт..." –2 +/–

Сообщение от mos87 (ok), 25-Апр-21, 09:28

попробуй сделать что-нибудь на божественном глобальном и надёжном ораклЕ

Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

9. "Опубликован Kubegres, инструментарий для развёртывания класт..." –1 +/–

Сообщение от Аноним (-), 24-Апр-21, 11:47

о ретрограда локалхостов порвало

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

12. "Опубликован Kubegres, инструментарий для развёртывания класт..." +5 +/–

Сообщение от pin (??), 24-Апр-21, 12:06

Ну да, надо же размазать базу по нодам (чем больше, тем круче)  и гордо об этом заявлять на  смузи вечеринках, при этом хранить в базе goвнокомментарии какого-нибудудь goвносайта.

Ответить | Правка | Наверх | Cообщить модератору

22. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (6), 24-Апр-21, 12:59

> при этом хранить в базе goвнокомментарии какого-нибудудь goвносайта.
Нет, как раз для с этим прекрасно справляются мускуль и постгрес, благо объёмы и нагрузки там смешные.
Да и олдовые труЪ-программисты на своём пыхе умеют только с PDO работать.

Ответить | Правка | Наверх | Cообщить модератору

48. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от InuYasha (??), 24-Апр-21, 16:39

На самом деле, с этим в больших объёмах справляется эластик. Но это сама по себе головная боль с его тягой выеданию памяти. Но это потому что java.

Ответить | Правка | Наверх | Cообщить модератору

63. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Neandertalets (ok), 24-Апр-21, 19:26

> На самом деле, с этим в больших объёмах справляется эластик. Но это
> сама по себе головная боль с его тягой выеданию памяти. Но это потому что java.
   Эластик под другие задачи заточен, чем обычно РСУБД используется.

Ответить | Правка | Наверх | Cообщить модератору

114. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (6), 26-Апр-21, 13:31

Многие люди любят совать РСУБД там, где достаточно более простого хранилища.
Потому что в РСУБД можно запихать очень много бизнес-логики. Для всеми забытого интернет-магазина это работает, для нагруженных проектов - нет.

Ответить | Правка | Наверх | Cообщить модератору

92. "Опубликован Kubegres, инструментарий для развёртывания класт..." –1 +/–

Сообщение от Аноним (94), 25-Апр-21, 06:07

Выкиньте вы уже этот ваш эластик. Из головы, для начала. Пользуйтесь lucene, это несложно, а возможностей больше.

Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

118. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от лютый жабби__ (?), 27-Апр-21, 16:50

>Пользуйтесь lucene, это несложно, а возможностей больше
Галоперидол не выпил? lucene это мотор, ES мотоцикл... можно конечно и мотор эмбеднуть в какую-то микроподелку и даже радоваться, но чтобы хаять ES это мощно )

Ответить | Правка | Наверх | Cообщить модератору

30. "Опубликован Kubegres, инструментарий для развёртывания класт..." +3 +/–

Сообщение от anonymous (??), 24-Апр-21, 13:38

Любопытства ради, а как вообще обрабатывать серьёзный большой продакшн без "размазывания"? "Смузи вечеринки", блин.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

66. "Опубликован Kubegres, инструментарий для развёртывания класт..." –1 +/–

Сообщение от Bx (ok), 24-Апр-21, 19:43

По слухам, в постгреспро умеют.
А так-то:
1. Найти человека(компанию), который знает, что вам нужно, лучше вас. Да, обычно это дорого. Иногда очень дорого.
2. Обучить своего человека, сильно менее дорого, но сильно более долго. А потом понять, что на хрен нам такая музыка.
3. Еще раз подумать.

Ответить | Правка | Наверх | Cообщить модератору

102. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Neandertalets (ok), 25-Апр-21, 10:53

> По слухам, в постгреспро умеют.
> А так-то:
> 1. Найти человека(компанию), который знает, что вам нужно, лучше вас. Да, обычно это дорого. Иногда очень дорого.
> 2. Обучить своего человека, сильно менее дорого, но сильно более долго. А потом понять, что на хрен нам такая музыка.
> 3. Еще раз подумать.
   А есть годные решения, работающие "как хочется" из коробки? Постгрес, как и любой технический объект универсального применения, требует подстройки под конкретный проект. Но каких-то мегатайн там нет: документация - отличная. Надо набираться опыта. Без опыта и с кубером особо не поработаешь. Даже развернуть его для продуктивной площадки - весьма не тривиальная задача.

Ответить | Правка | Наверх | Cообщить модератору

106. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Bx (ok), 25-Апр-21, 17:05

>    А есть годные решения, работающие "как хочется" из коробки?
> Постгрес, как и любой технический объект универсального применения, требует подстройки
> под конкретный проект. Но каких-то мегатайн там нет: документация - отличная.
> Надо набираться опыта. Без опыта и с кубером особо не поработаешь.
> Даже развернуть его для продуктивной площадки - весьма не тривиальная задача.
Ну сколько раз объяснять?
1. Вася, который пришел и ушел
2. Вася, который пришел, научился, "спасибо", см. п. 1
3. Вася, который пришел, научился, вас всех в юх не ставит
Другие варианты стоят денег.

Ответить | Правка | Наверх | Cообщить модератору

107. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Neandertalets (ok), 25-Апр-21, 19:46

> Ну сколько раз объяснять?
> 1. Вася, который пришел и ушел
> 2. Вася, который пришел, научился, "спасибо", см. п. 1
> 3. Вася, который пришел, научился, вас всех в юх не ставит
> Другие варианты стоят денег.
   В чём разница, если вместо Постгреса указать тот же Кубер или любое другое сложное ПО?
   Это вопрос организационный, причём совсем не обязательно, что Вася п.2 станет Васей п.3.

Ответить | Правка | Наверх | Cообщить модератору

105. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от Аноним (104), 25-Апр-21, 17:04

Если этот gовносайт - фейсбук, то без размазывания вряд ли получится. ;)

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

11. "Опубликован Kubegres, инструментарий для развёртывания класт..." –1 +/–

Сообщение от Lex (??), 24-Апр-21, 12:00

Срач про модное и не_модное в другой ветке

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

16. "Опубликован Kubegres, инструментарий для развёртывания класт..." –1 +/–

Сообщение от Аноним (16), 24-Апр-21, 12:23

о мамонт вылез.
вы еще не померли, любители все героически настраивать руками?

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

50. "Опубликован Kubegres, инструментарий для развёртывания класт..." –3 +/–

Сообщение от InuYasha (??), 24-Апр-21, 16:39

Нет, профессионалы писать софт на Си.

Ответить | Правка | Наверх | Cообщить модератору

57. "Опубликован Kubegres, инструментарий для развёртывания класт..." –4 +/–

Сообщение от Аноним (6), 24-Апр-21, 18:44

Не стоит применять опыт написания программ учёта для небольших складов к проектам, работающим с большими объёмами данных. Это делает вас выглядеть глупо.

Ответить | Правка | Наверх | Cообщить модератору

59. "Опубликован Kubegres, инструментарий для развёртывания класт..." –1 +/–

Сообщение от InuYasha (??), 24-Апр-21, 18:56

Не стоит применять опыт написания на английском языке небольших комментариев на форчане к русскому языку. Это выставляет вас к крайне глупом положении.
Не стоит применять опыт телепатии или угадывания если он отсутствует. Это выставляет вас к крайне глупом положении.
Не стоит применять иронию/юмор/сарказм/гротеск, если она/он отсутствует.

Ответить | Правка | Наверх | Cообщить модератору

116. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от пох. (?), 26-Апр-21, 22:41

А по-моему наоборот - взяли падучий кусок г-на, так и не научившийся надежной и просто настраиваемой репликации/фэйловеру (никакого multimaster тут нет, если что), и облепив его достаточно тривиальными и простыми _стандартными_ обертками - добились таки возможности использовать без риска что оно развалится само по себе или ему не хватит мощности.
Редкий случай, когда я не могу придраться к использованию kubernetes, все вроде бы в соответствии с общепринятыми практиками и по делу.

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

117. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от andy (??), 27-Апр-21, 16:27

> А по-моему наоборот - взяли падучий кусок г-на, так и не научившийся
> надежной и просто настраиваемой репликации/фэйловеру (никакого multimaster тут нет, если
> что).
Что не так с hot standby в PostgreSQL?

Ответить | Правка | Наверх | Cообщить модератору

121. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от пох. (?), 27-Апр-21, 18:35

то что костылякать всю кучу подпорок тебе надо вручную. Вручную же следить за ее живостью, вручную костылить переключение если вдруг чего, вручную восстанавливать сдохшее.
Тут все за тебя сделает инуитивно приятный скриптик на игого, и не забудет свой ботинок на красной кнопке. Предполагая, разумеется, что у тебя и так есть k8s кластер для всего остального.
Даже про бэкапы не забыли, понимая, что рано или поздно понадобятся все равно ;-)

Ответить | Правка | Наверх | Cообщить модератору

10. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Павел (??), 24-Апр-21, 11:49

То что в новости описано не делает из постгреса мультимастер. Также как сделать это с помощью go и др хипстерства не выйдет. Это все не более чем оркестратор.

Ответить | Правка | Наверх | Cообщить модератору

17. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от adolfus (ok), 24-Апр-21, 12:34

это лучше, чем goto?

Ответить | Правка | Наверх | Cообщить модератору

23. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (6), 24-Апр-21, 13:01

> То что в новости описано не делает из постгреса мультимастер.
> Это все не более чем оркестратор.
Спасибо, Капитан!
> Также как сделать это с помощью go и др хипстерства не выйдет.
С помощью PHP, немытой головы и обгрызенных ногтей, которыми гордятся не-хипстеры - тоже, увы.

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

24. "Опубликован Kubegres, инструментарий для развёртывания класт..." +1 +/–

Сообщение от IvAnZ (?), 24-Апр-21, 13:04

Если админ оракла все данные и логику пхают в базы, то фаны кубернетса, пхают все что можно в кубер.
А потом оказывается, что часто кубер самый overprovisioned
https://www.itproportal.com/news/majority-of-cloud-spend-is-.../

Ответить | Правка | Наверх | Cообщить модератору

26. "Опубликован Kubegres, инструментарий для развёртывания класт..." –2 +/–

Сообщение от Аноним (26), 24-Апр-21, 13:29

Админы как раз ничего в базу не отправляют просто так.
А кубер реально во многих случаях не нужен, если это небольшая система, уж проще через композ, если на то пошло.

Ответить | Правка | Наверх | Cообщить модератору

32. "Опубликован Kubegres, инструментарий для развёртывания класт..." –1 +/–

Сообщение от Аноним (6), 24-Апр-21, 13:44

> А потом оказывается, что часто кубер самый overprovisioned
Если у меня в шкафу семь рубашек, но каждый раз я надеваю не более одной - это значит, что у меня рубашки overprovisioned, и шесть надо выкинуть?

Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

42. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Ann (??), 24-Апр-21, 15:21

Тут скорее больше подойдет аналогия с самолетами:
У тебя 6 самолетов, летаешь ты на одном - а остальные 5 простаивают и жрут деньги. В то время как достаточно иметь 1 борт + 1 запасной.

Ответить | Правка | Наверх | Cообщить модератору

52. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от ыы (?), 24-Апр-21, 16:49

Мне больше нравится другая аналогия...
Вот у тебя есть 6 любовниц... одновременно ты проводишь время только с одной... (можно и больше на самом деле, но мы ужесточим условия задачи :) а 5 томятся в ожидании...
Ну и нормально чувак, просто попробуй ...  :)

Ответить | Правка | Наверх | Cообщить модератору

56. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Ann (??), 24-Апр-21, 18:42

Нравиться может что угодно. Самая близкая из трех - аналогия с самолетами. А с любовницами - вообще мимо. У тебя инстансы постгреса должны быть все в одинаковом состоянии. Никаких "томятся" здесь быть не может.

Ответить | Правка | Наверх | Cообщить модератору

58. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (6), 24-Апр-21, 18:47

А, так вы выступаете против идеи репликации.
И против идеи бэкапов, очевидно, тоже, потому что это overprovisioning дискового пространства.

Ответить | Правка | Наверх | Cообщить модератору

61. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от ыы (?), 24-Апр-21, 19:11

и очевидно против идеи виртуализации тоже... даже не смотря на то что  как только  компании начинают виртуализировать ресурсы- перерасход ресурсов сразу же становится в 3-4 раза.. а у хостеров так в десятки раз...
странный чел.... лучше бы любовницу себе завел... ну даже если не 6, а хоть одну :)

Ответить | Правка | Наверх | Cообщить модератору

68. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Bx (ok), 24-Апр-21, 19:53

> и очевидно против идеи виртуализации тоже... даже не смотря на то что
>  как только  компании начинают виртуализировать ресурсы- перерасход ресурсов сразу
> же становится в 3-4 раза.. а у хостеров так в десятки
> раз...
> странный чел.... лучше бы любовницу себе завел... ну даже если не 6,
> а хоть одну :)
Вы, погромисты, странные люди. У каждой любовницы еще по 5 пахарей, тут проблема ортимизации :)

Ответить | Правка | Наверх | Cообщить модератору

72. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Ann (??), 24-Апр-21, 20:23

>тут проблема ортимизации :)
Именно.
Но судя по постам - они либо слова такого не знают, либо его значение для них сродни табу.

Ответить | Правка | Наверх | Cообщить модератору

74. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Bx (ok), 24-Апр-21, 20:43

>>тут проблема ортимизации :)
> Именно.
> Но судя по постам - они либо слова такого не знают, либо
> его значение для них сродни табу.
Почему же табу, очепятка :))))) Да и про "табу" есть сомнения.
Эк меня сегодня на поговорить расперло :)

Ответить | Правка | Наверх | Cообщить модератору

73. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от ыы (?), 24-Апр-21, 20:33

Вот, вы правильно понимаете аналогию и состояние дел в виртаулизации и облаках... а про самолеты- ахинея оторванная от жизни...

Ответить | Правка | К родителю #68 | Наверх | Cообщить модератору

75. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Bx (ok), 24-Апр-21, 20:45

> Вот, вы правильно понимаете аналогию и состояние дел в виртаулизации и облаках...
> а про самолеты- ахинея оторванная от жизни...
А про самолеты - это Вы про что? Я, конечно, не против поуправлять государством, но при этом не логинлюсь, обознатушки?

Ответить | Правка | Наверх | Cообщить модератору

97. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от СеменСеменыч777 (?), 25-Апр-21, 09:34

> как только  компании начинают виртуализировать ресурсы- перерасход ресурсов сразу же становится в 3-4 раза.. а у хостеров так в десятки раз...
ваши оценки сомнительны. в наиболее виртуало-скептических источниках я видел другие цифры - оверхед на виртуализацию максимум 25-30%.

Ответить | Правка | К родителю #61 | Наверх | Cообщить модератору

108. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от ыы (?), 25-Апр-21, 21:36

Вы похоже вообще не понимаете о чем идет разговор...
А разговор идет о том, что  там вверху этой нитки,  некто дал ссылку на чейто выхлоп в духе "один канадский, английский, чукотский, китайский, чубушский ученый заявил", в которой утверждается, что "Организации ежегодно тратят миллиарды долларов на неиспользуемые облачные решения" ну и далее по тексту статьи...
На что, я и привел оценку, на основе знания работы реальных датацентров а не тех что исследовал тот чубушский ученый, и облачные решения  не то что "неиспользуемые" ка кутверждает автор той статьи - они вкалывают с загрузкой 300-1000%. В промышленных компаниях - выделеные ресурсы на порой 3 раза превышают имеющиеся физические, в хостинге - до 10 раз легко.
а  "оверхед НА виртуализацию" - это совсем совсем другой параметр, ортогональный теме.

Ответить | Правка | Наверх | Cообщить модератору

77. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (77), 24-Апр-21, 20:56

Да почему же - с любовницами какраз в точку - обеспечивать нужно всех одинаково, время проводишь с одной, а все остальные "томятся" без тебя, но с кем то другим (для поддержания одинакового состояния однако ;) )

Ответить | Правка | К родителю #56 | Наверх | Cообщить модератору

86. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (86), 25-Апр-21, 01:19

> А с любовницами - вообще мимо.
Да, там должно быть
"Вот ты известный дизайнер одежды и у тебя есть 6 любовников... одновременно ты проводишь время только с одной... (можно и больше на самом деле, но мы ужесточим условия задачи :) а 5 томятся в ожидании и тянут бабки... а на самом деле тебе и один нахрен не сдался, потому что тебя к женщинам тянет - но "не поймут-с", сразу без клиентов останешся.

Ответить | Правка | К родителю #56 | Наверх | Cообщить модератору

89. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Bx (ok), 25-Апр-21, 02:11

>> А с любовницами - вообще мимо.
> Да, там должно быть
> "Вот ты известный дизайнер одежды и у тебя есть 6 любовников... одновременно
> ты проводишь время только с одной... (можно и больше на самом
> деле, но мы ужесточим условия задачи :) а 5 томятся в
> ожидании и тянут бабки... а на самом деле тебе и один
> нахрен не сдался, потому что тебя к женщинам тянет - но
> "не поймут-с", сразу без клиентов останешся.
С одним, тогда уж. Гадко, но надо :(
Никогда не понимал очеловечивания железа. Все эти женские имена серверов вызывают :)
Вот ты - изветный админ/программер (БД/Unix/Network/Java/C+++), очередь выстраиваться должна из коллег, которые тебя ждут. Очередь работодателей - это для мартышек, которые сегодня здесь, завтра там, а даже год у одного платителя денег провести не могут.

Ответить | Правка | Наверх | Cообщить модератору

93. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (94), 25-Апр-21, 06:15

Вот! Вот он тот самый случай когда айтишники рассуждают о том, о чем не имеют ни понятия, ни предмета, который приводят в аналонию.
А потом, а потом они с умным видом собеседуют аналогичных персонажей с попыткой изображать супермегапсихологов (это в лучшем случае), и в итоге мы имеем то, что имеем.
Айти сдохло en masse лет 20 назад. Ничего нового не ждите.

Ответить | Правка | К родителю #56 | Наверх | Cообщить модератору

95. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от ыы (?), 25-Апр-21, 09:07

Действительно, откуда у айтишника любовницы... :) Айтишнику хотябы одну.. где нибудь, как нибудь... :)

Ответить | Правка | Наверх | Cообщить модератору

98. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от mos87 (ok), 25-Апр-21, 09:36

>Если у меня в шкафу семь рубашек
на одной вешалке.
>это значит, что
см. выше

Ответить | Правка | К родителю #32 | Наверх | Cообщить модератору

67. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Bx (ok), 24-Апр-21, 19:51

> Если админ оракла все данные и логику пхают в базы, то фаны
> кубернетса, пхают все что можно в кубер.
> А потом оказывается, что часто кубер самый overprovisioned
> https://www.itproportal.com/news/majority-of-cloud-spend-is-.../
Недавно видел забор логов с удаленных систем и отправку их в агрегатор через кубрнет, да еще и со ссылкой на тытрубу, где он этому научился. Слов нет.

Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

40. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Аноним (40), 24-Апр-21, 14:45

Чем это отличается от stolon или patroni?

Ответить | Правка | Наверх | Cообщить модератору

87. "Опубликован Kubegres, инструментарий для развёртывания класт..." +/–

Сообщение от Вероятно тем и отличается (?), 25-Апр-21, 01:47

https://blog.flant.com/comparing-kubernetes-operators-for-po.../

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. Скрыто модератором	+3 +/–
Сообщение от Аноним (1), 24-Апр-21, 10:01
Ждём инсталлятора pythorust. Чтобы 2 в 1
Ответить \| Правка \| Наверх \| Cообщить модератору

2. "Опубликован Kubegres, инструментарий для развёртывания класт..."	–6 +/–
Сообщение от Аноним (2), 24-Апр-21, 11:21
"В случае сбоя на первичном узле" и почему может быть сбой в первичном узле? Накопитель? Так мега raid можно сделать. Сеть? Так тогда переконфигурировать master-slave не выйдет.
Ответить \| Правка \| Наверх \| Cообщить модератору


	3. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+1 +/–
	Сообщение от Ананизмус (?), 24-Апр-21, 11:27
	Кубер грознит постгрю за превышение лимитов? Физически сервер выгорит? Да мало ли- не?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	6. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
	Сообщение от Аноним (6), 24-Апр-21, 11:38
	> "В случае сбоя на первичном узле" и почему может быть сбой в первичном узле? Стандартный процесс вывода физического сервера на maintenance: kubectl drain --ignore-daemonsets --delete-local-data $NODENAME Никто не гарантирует, что поды будут жить вечно. Это же продовое окружение, а не подкроватный сервер Васи, который проработает пять лет без обновлений, а потом помрет из-за износа SSD.
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	45. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+5 +/–
	Сообщение от Аноним (45), 24-Апр-21, 16:14
	Да хоть обновление ядра. На одном узле, конечно, можно пытаться сделать отказоустойчивую систему, но любое её обслуживание превратится в ад. Малейшая ошибка админа - и всё рассыпалось, ювелирная работа, перед которой нужно ещё и учения делать. В распределенный системе типичный сценарий обслуживания - вывел сервер из кластера автоматикой, поэкспериментировал ручками, сделал что хотел, протестировал, ввёл обратно в строй. Никакого стресса.
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	69. "Опубликован Kubegres, инструментарий для развёртывания класт..."	–3 +/–
	Сообщение от кук (?), 24-Апр-21, 19:58
	К первичному серверу наведалось ФСБ/обэп по доброте душевной с конфискацией оборудования. Или ваш любимый датацентр сгорел. На одном хосте ты ничего вменяемого никогда сделать не сможешь, это уже понятно всем лет как 10.
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	71. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+1 +/–
	Сообщение от Bx (ok), 24-Апр-21, 20:13
	> К первичному серверу наведалось ФСБ/обэп по доброте душевной с конфискацией оборудования. > Или ваш любимый датацентр сгорел. > На одном хосте ты ничего вменяемого никогда сделать не сможешь, это уже > понятно всем лет как 10. Я даже несколько стесняюсь спросить, но надо свои комплексы преодолевать! А про CAP теорему Вы слышали?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	94. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
	Сообщение от Аноним (94), 25-Апр-21, 06:28
	Я - не слышал. Расскажи. Всякие умнообразные любят формулировки "а вы слышали?" Яви нам свой ум. Рассказывай.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	122. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
	Сообщение от Аноним (122), 28-Апр-21, 07:02
	ну про яйца и корзину человечество знает уже несколько сот тысяч лет :)
	Ответить \| Правка \| К родителю #69 \| Наверх \| Cообщить модератору

4. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
Сообщение от Иваня (?), 24-Апр-21, 11:33
А есть KubeMySQL?🤔
Ответить \| Правка \| Наверх \| Cообщить модератору


	21. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+1 +/–
	Сообщение от Всем Анонимам Аноним (?), 24-Апр-21, 12:56
	https://blogs.oracle.com/developers/introducing-the-oracle-m...
	Ответить \| Правка \| Наверх \| Cообщить модератору

5. "Опубликован Kubegres, инструментарий для развёртывания класт..."	–1 +/–
Сообщение от Аноним (6), 24-Апр-21, 11:35
Чем это лучше классики (zalando/postgres-operator)? Насколько я могу судить, разве что возможностью задать StorageClass без лишних плясок с бубном. Ну и держать полноценную дисковую БД (будь то постгрес или эластик) имеет смысл только на локальных физических носителях (в крайнем случае, на дисковой полке). В облаках будет работать весьма неторопливо.
Ответить \| Правка \| Наверх \| Cообщить модератору

7. "Опубликован Kubegres, инструментарий для развёртывания класт..."	–9 +/–
Сообщение от InuYasha (??), 24-Апр-21, 11:40
Взяли хорошй, годный PostgreSQL и обернули его во всякую гадость: Go, Docker, Kubernetes, YAML... ещё какого-нибудь фронт-енда на java/node.js не хватает.
Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+1 +/–
	Сообщение от Аноним (6), 24-Апр-21, 11:42
	Попробуйте сделать на этом "хорошем, годном" мульти-мастер, например.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	13. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+1 +/–
	Сообщение от лютый жабби__ (?), 24-Апр-21, 12:16
	>Попробуйте сделать на этом "хорошем, годном" мульти-мастер зачем вообще мультимастер? это по определнию тормоза и/или косяки с потерей данных. даже в божественной монге не делают мультимастер )
	Ответить \| Правка \| Наверх \| Cообщить модератору


	19. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
	Сообщение от Аноним (6), 24-Апр-21, 12:54
	> зачем вообще мультимастер? это по определнию тормоза и/или косяки с потерей данных. Для постгреса - да. Потому что он "хороший, годный". И может обрабатывать (upsert, например) ровно такой объем данных, с которым может справиться один физический сервер. Круто, правда?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	27. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+2 +/–
	Сообщение от anonymous (??), 24-Апр-21, 13:33
	Нагрузку на запись обычно масштабируют шардированием. Мультимастер не даёт существенного горизонтального масштабирования. Мультимастер -- это скорее про удобство.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	31. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
	Сообщение от Аноним (6), 24-Апр-21, 13:39
	> Нагрузку на запись обычно масштабируют шардированием. Да, наиболее очевидный путь. > Мультимастер не даёт существенного горизонтального масштабирования. Мультимастер -- это скорее про удобство. Когда приходится решать типовую задачу "раз в полчаса нужно сделать SELECT с кучей JOIN-ов из нескольких десятков таблиц и применить к этому хитрые правила агрегации, а потом записать это в ещё одну таблицу, тоже шардированную, потому что данных дофига" - начинаешь задумываться об удобстве.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	33. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+1 +/–
	Сообщение от anonymous (??), 24-Апр-21, 13:46
	Возможно стоит задуматься о дизайне приложения и о дизайне хранения данных. И не всегда данные изначально надо хранить нормализованными. В общем надо смотреть на конкретный случай и искать умное решение. Но что важнее, multimaster тут не добавляет удобства. Он добавляет удобства в том смысле, что не приходится заморачиваться с master-slave схемами, когда хочется тупо HA.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	35. "Опубликован Kubegres, инструментарий для развёртывания класт..."	–1 +/–
	Сообщение от Аноним (6), 24-Апр-21, 13:53
	> Возможно стоит задуматься о дизайне приложения и о дизайне хранения данных. И не всегда данные изначально надо хранить нормализованными. В общем надо смотреть на конкретный случай и искать умное решение. И в итоге в таких случаях умным решением окажется не постгрес, а кликхаус (если юзкейс позволяет не обновлять таблицы, а пересоздавать их) или эластик, со слоем кэширования в виде редиса. И вся логика по хитровыделанной обработке данных уходит на сторону приложения, которое можно масштабировать хоть до посинения (если разработчики слышали про map-reduce и прочие умные слова). А в РСУБД остается только минимальный объём данных, где действительно необходимы транзакции.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	37. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
	Сообщение от anonymous (??), 24-Апр-21, 13:57
	Для многих приложений скорее всего так и будет. А для, например, крупной социалочки будет просто шардированный master-slave mysql:)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	38. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
	Сообщение от Аноним (6), 24-Апр-21, 14:25
	Только если нужно тащить легаси. Если делать такой проект с чистого листа - никаких РСУБД среди основных компонентов там не будет. Работал некоторое время на один проект, который в принципе можно назвать крупной социалочкой, и который около 2015 года (как раз в начале активного роста) переехал с монги на эластик. Это не xUSSR, конечно.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	120. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
	Сообщение от robpike (?), 27-Апр-21, 18:25
	ты не из подольска случаем?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	90. "Опубликован Kubegres, инструментарий для развёртывания класт..."	–2 +/–
	Сообщение от Аноним (94), 25-Апр-21, 05:56
	Правильно тебе минус поставили за эластик с редисом
	Ответить \| Правка \| К родителю #35 \| Наверх \| Cообщить модератору


	34. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
	Сообщение от Аноним (6), 24-Апр-21, 13:48
	И это уже не говоря о том, как весело будет выглядеть реализация репликации, фейловера и backup/restore для шардированных данных в постгресе. Легким (на самом деле нет) движением ваши проблемы увеличиваются в 10 (или сколько там шардов) раз.
	Ответить \| Правка \| К родителю #31 \| Наверх \| Cообщить модератору


	36. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
	Сообщение от anonymous (??), 24-Апр-21, 13:55
	Полагаю, для этого и делают все эти оркестраторы (хотя не пользовался). Чтобы взрослые конфигурации могли себе позволить не только большие компании, но и маленькие.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	39. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
	Сообщение от Аноним (6), 24-Апр-21, 14:29
	Не видел ни одного более-менее готового оркестратора, облегчающего работу в плане шардирования. Для нешардированных данных - да, тот же Patroni. А шардирование в постгресе настолько тяжко, что обычно проще выкинуть постгрес.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	109. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+1 +/–
	Сообщение от Аноним (109), 26-Апр-21, 07:32
	В таких случаях часто разумно не делать селект раз в полчаса, а повесить триггеры и делать денормализацию/агрегацию на лету. Тут, кстати, бывает полезен fdw.
	Ответить \| Правка \| К родителю #31 \| Наверх \| Cообщить модератору


	113. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
	Сообщение от Аноним (6), 26-Апр-21, 13:14
	Такие костыли не от хорошей жизни делаются. На все несколько десятков таблиц триггер вешать? И пусть при вставке весь мир подождёт?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	14. "Опубликован Kubegres, инструментарий для развёртывания класт..."	+/–
	Сообщение от YetAnotherOnanym (ok), 24-Апр-21, 12:19
	> реплицированных в режиме реального времени вторичных pod-узлов, синхронизированных с первичным узлом Разве это мультимастер? Емнип, в ПГ мультимастера пока нет, есть герой-одиночка Коити Сузуки, который пилит то ли Postgres-XL, то ли Postgres-XC, то ли Postgres-X2, то ли ещё под каким-то названием, но до продакшона там как до Токио раком.
	Ответить \| Правка \| К родителю #8 \| Наверх \| Cообщить модератору