The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Первый выпуск свободной PaaS-платформы Cozystack на базе Kubernetes, opennews (??), 21-Фев-24, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


53. "Первый выпуск свободной PaaS-платформы Cozystack на базе Kub..."  +/
Сообщение от похъ (?), 21-Фев-24, 22:48 
>> готовую платформу для хостинг провайдеров

тут скорее - готовую платформу для продажи ее поштучно самим хостинг провайдером.
В целом - почему бы и нет. Мож кто и купит из мелких и глупых сам-все-сам.

> PostgreSQL (если считать её за промышленную БД) не поддерживает NUMA. И
> из-за этого в некоторых конфигурациях она работает быстрее на виртуальной машине,

э... и ты можешь обосновать это решение? Процессор-то у нас ровно тот же самый. Больше ядер на кристалл от виртуализации в нем не станет.
И если мы не поместились в один - здравствуй либо vNUMA (от которой постгрезу ни жарко не холодно и бесплатные решения ее не умеют) либо снова неэффективное использование памяти уже всей vm.

> железо, а лучше купить нормальную БД. Опять же себе такое ставить...

сперва надо купить нормальный паспорт. Товар штучный, не каждому губернатору Севастополя продадут.

> Или подождите... неужели вы все настолько наивные и думаете, что Red Hat
> просто так взял и выбросил на помойку RHEV/oVirt. Там же с

а вот с этого места - поподробнее - он его точно-точно не потому выбросил что хочет такое же но чтоб без этих ваших игорь в шва6одку? И что теперь у нас объявлено новым рулезом ?

> Почитал их github и сайтик... Это наполовину форк OpenShift, который без платного
> саппорта Red Hat не работоспособен, такова бизнес-стратегия. Лицензия у Cozystack, Apache

на минуточку - до третьей включительно версии был вполне себе работоспособен. (ну то есть до покупки и назначения правильного менеджера от IBM), ну в смысле - OKD а не openshift(r)(tm)
Пихон-девелоперы были прямщасливы что могут обмазываться свежайшим еще до попадания его в редхатовский релиз. А потом... пришел медвед, сел на теремок сверху...

> похороны VMware, теперь "by Broadcom" на Bare-Metal OpenShift переходить попахивает экстремизмом.

будут поверх опенстека внедрять. Работ на годы, премии менеджерам хорошие обеспечат...

И чо я, дурак, до сих пор винду админить не научился, а?

Ответить | Правка | Наверх | Cообщить модератору

65. "Первый выпуск свободной PaaS-платформы Cozystack на базе Kub..."  +2 +/
Сообщение от Аноним (55), 21-Фев-24, 23:38 
> э... и ты можешь обосновать это решение?

Это пример экстремального случая.

Например, если мы возьмем PostgreSQL и поставим его на многопроцессорный сервер, который собрали как бык поSSaл, то есть есть один печальный сетевой адаптер Intel на первом сокете и HBA, которая торчит на другом сокете, то мы получим то самое чудовищное снижение производительности в десятки процентов по сравнению с односокетником, когда растёт нагрузка.

Вся идея использовать shared memory, fork-join и прочий OpenMP-образный код в том, что память общая. А она больше не общая. На Intel Xeon Scalable и AMD Epyc у тебя якобы физическое ядро может быть, а доступа к DRAM-контроллеру с него нет. То есть у тебя даже на односокетнике безудержное веселье.

Как выходят из положения постгресы и прочие nginx? А вы пойдите в UEFI вашей матери и всё NUMA API отключите. Пусть ОС думает, что у нее все ядра имеют одну и ту же дистанцию. И это вполне официальное решение от автором этого ПО. Иначе гадкая ОС не даёт божественному софту утилизировать эти ядра ввиду нежелания рвать процессы по NUMA. Вот только производительность этого решения (выполнения конкретного запроса) становится лотереей. Ну ок, утилизировали, криво косо работает. Да? Нифига. Если у тебя ни ОС ни постгрес не понимают, что сеть и сторадж на разных узлах NUMA, то у тебя весь сторадж и сетевой трафик польётся через интерконнект-шину. А при этом требования к когерентности кэшей никто не отменял. И что у тебя будет с L3-кэшем при этом. Он будет загажен постоянной передачей данных от HBA и сетевки.

Теперь возьмем эту же базу и поместим её на виртуалку к хостинг-провайдеру, который сервер умеет собирать. Чудо-чудное диво-дивное. И потом ты услышишь "Наша база в облаке работает быстрее" и другие офигительные истории от штатных разработчиков предприятия.

При этом в базах типа MSSQL и Oracle ты должен:
- включить суб-кластеризацию NUMA, то есть сделать так, чтобы каждый процессор в твоем сервере разделился на 2 или 4 узла NUMA, чтобы явно дать привязку DRAM-контроллера к нужной группе ядер
- Выключить своё SMT/Hyper Threading и прочий булщит для десктопов
- Отключить Hardware Prefetcher и Adjacent Cache, потому что SQL-сервера будут только давать cache miss, они не работают с данными они работают со ссылками на данные, которые потом вновь приходят и обрабатываются в следующем цикле.
- симметрично расположить плашки памяти с соблюдением ранговости, чтобы все ядра получили свою память
- вырубить фиктивные ядра, если процессор позволяет. У Intel есть серия с "Y" на конце, которая и нужна для SQL.
И вот вполне нормально при этом иметь 4-8 независимых узлов NUMA и несмотря на то что у тебя оно никогда не симметрично, всё работает шикарно. Ведь нормальный SQL-сервер:
- имеет свой собственный страничный кэш
- имеет встроенный сетевой полинг и оптимизатор запросов
- сам напрямую производит элевацию мимо стандартных драйверов или имеет единственно верную ФС
- имеет кластерную ФС, которая оптимизирована для этой работы, если за ней SAN

Обрати внимание, что вся оптимизация делается наоборот. В PostgreSQL ты должен максимально эмулировать поведение сервера 2007-года выпуска.

> он его точно-точно не потому выбросил что хочет такое же но чтоб без этих ваших игорь в шва6одку

Он его выкинул потому что тащить саппорт: RHEV, OpenStack и OpenShift слишком потно. Особенно потно в случае с OpenStack. Они сели переводить провайдеров на OpenShift, сам по себе RHEV не даёт тебе ничего особенного, а пилить его надо в том же направлении, что и OpenShift вот они и сократили расходы.
Они приходили к нам несколько лет назад с туманным предложением "покупайте наших слонов" причем слоны дешевые, дешевле Windows даже. На резонный вопрос "а зачем", ответили что у нас есть новая CSP-программа, которая не понятно зачем нам нужна и мы ничего там не делаем. Просто продаём наш RHEV и поверх него даём OpenStack и спрашиваем, как вы этим пользуемся. Видимо беклог заполняют, облака-то своего нет, а IBM-облако вообще к ним не имеет никакого отношения. Просто если у тебя есть один и тот же криво интегрированный в юзерспейс KVM, который титанически сложно менеджить в крупном развертывании, то зачем тебе развивать 2 конкурирующих между собой продукта, которые его фигово готовят. OpenStack при этом всегда сверху и он не помогает, а скорее мешает с его требованиями к плейсментам схожих шаблонов/флейворов на отдельных кластерах. Он выгоден от 10000 физических хостов и выше.

Опять же Red Hat OpenStack залочен на RHEV, а средних размеров хостинг провайдер всегда хочет иметь хотя бы 2 гипервизора. И он дорогой был. Его будут херить тем же способом, что херят остальные опенстеки. Содержат, пока есть провайдер. Не рекомендуют покупать (нам уже не рекомендовали) и вот потом отменяются мажорные апгрейды внутренних модулей. Оно фиксируется в определенном релизе, пока не подохнет.

> на минуточку - до третьей включительно версии был вполне себе работоспособен.

Ну OKD и сейчас живо, просто это несколько другой продукт сейчас. 3 и 4 разные.

Ответить | Правка | Наверх | Cообщить модератору

75. "Первый выпуск свободной PaaS-платформы Cozystack на базе Kub..."  +/
Сообщение от Oracle (??), 22-Фев-24, 00:49 
> При этом в базах типа MSSQL и Oracle ты должен:
> - включить суб-кластеризацию NUMA, то есть сделать так, чтобы каждый процессор в твоем сервере разделился на 2 или 4 узла NUMA, чтобы явно дать привязку DRAM-контроллера к нужной группе ядер

А давно Oracle DB научился в NUMA?
Потому что для 11 и 12 при установке бареметал прямо в официальной документации было написано обязательно выключить NUMA в биосе сервера.

Ответить | Правка | Наверх | Cообщить модератору

106. "Первый выпуск свободной PaaS-платформы Cozystack на базе Kub..."  +/
Сообщение от Аноним (106), 22-Фев-24, 10:56 
Во-первых, это если у вас Oracle стоит на Linux, а во-вторых они постепенно добавляли поддержку начиная с 10. Сейчас уже 19.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру