The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Помогите реализовать кластер !!!"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [ Отслеживать ]

"Помогите реализовать кластер !!!"  
Сообщение от Egenius (??) on 12-Сен-08, 12:23 
Впервые занялся этим вопросом, поэтому прошу помощи.
Хочу реализовать следующее.
2 машины должны быть объёдинены в кластер для распределения нагрузки между ними, точнее для объединения их ресурсов в целях увеличения производительности(HPC). Плюс ко всему необходимо чтобы оба компа в кластере работали в режиме горячей замены(HA).
Всё это предназначено для предоставления клиентам платного хостинга(Plesk).
Если получится сделать подобное на 2-х машинах, то в дальнейшем есть желание объединить таким образом 4 компа для работы биллинга(UTM+Postgres)
Я так понял связка Heartbeat+DRDB работает как отказостойчивый кластер в котором второй комп кластера большую чать времени простаивает и его ресурсы не используются, что не очень рационально.
Можно ли сделать такой кластер, в котором помимо отказоустойчивости реализовалось бы распределение нагрузки(использование общей памяти и процессоров), чтобы второй сервер выполнял не только роль бэкапа, но и принимал активное участие в обработке процессов ?
Или вариант, в котором на одной машине кластера выполняется, например апач, а на второй в это время работает мускул, но на обоих машинах установлены оба этих сервиса, так то при падении машины с мусклом(или при отказе самого мускла) другая машина поднимала этот сервис. При этом важно чтобы машины кластера делили между собой ресурсы, иначе не вижу особого смысла в объединении большого количества железа.
Есть идея совместить Heartbeat и MOSIX, но как это реализовать пока не знаю. Был ли у кого-нибудь подобный опыт? Прошу поделится.
Имеет ли смысл связываться с виртуализацией ?
Спасибо !

PS. Прошу не отсылать мена в гугл или википедию. Поверьте, я умею пользоваться и тем и другим и прежде чем задать вопрос, перечитал кучу доков. Давайте быть взаимовежливыми !

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Помогите реализовать кластер !!!"  
Сообщение от angra (ok) on 12-Сен-08, 13:55 
HPC(в его первоначальном значении) для массового хостинга не нужен. Лучше просто делайте балансировку запросов по отдельным машинам. Хотя ИМХО о нормальном кластере для хостинга можно говорить когда количество машин начинает исчисляться десятками, потому что только тогда появляется смысл во внешнем хранилище и железных балансировщиках.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Помогите реализовать кластер !!!"  
Сообщение от uldus (ok) on 12-Сен-08, 22:50 
Вертикальное масштабирование, те наращивание мощности единой системы, для хостинга мало подходит. Обычно хостинг организуется через горизонтальное масштабирование, т.е. докупают новую машину,  как только достигается определенная средняя нагрузка или число пользователей, начинают заводить новых пользователей на новой машине, оставляя в покое старую. Это проще и надежнее.

Что касается HA, сейчас становится популярным использования прослойки в виде гипервизора, т.е. хостинг заводится в гостевой Xen системе, при этом можно в горячем режиме, без остановки, мигрировать окружения с одной машины на другую. Берете две машины, используйте единую систему хранения (SAN или просто через DBD зеркалируйте), на каждой машине поднимайте хостинг в гостевом Xen при крахе сервера можно автоматом поднимать виртуальный образ упавшего сервера на работающем, без остановки процессов в нем, для этого в Xen есть специальные HA механизмы, в OpenVZ вроде тоже было что-то подобное.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Помогите реализовать кластер !!!"  
Сообщение от Egenius (??) on 13-Сен-08, 22:27 
>Вертикальное масштабирование, те наращивание мощности единой системы, для хостинга мало подходит.

Проблема как раз в том что на работающем хостинге мускул сильно грузит проц, из-за чего весь сервак умирает. Поэтому мне важно именно нарастить мощьность.

>Обычно хостинг организуется через горизонтальное масштабирование, т.е. докупают новую машину,  как
>только достигается определенная средняя нагрузка или число пользователей, начинают заводить новых
>пользователей на новой машине, оставляя в покое старую. Это проще и
>надежнее.

Думаю мне это не подойдёт, т.к. юзаю плеск, который не так просто заставить делить юзеров по разным узлам, тем более лицензия только на одну панель управления.

>Что касается HA, сейчас становится популярным использования прослойки в виде гипервизора, т.е.
>хостинг заводится в гостевой Xen системе, при этом можно в горячем
>режиме, без остановки, мигрировать окружения с одной машины на другую. Берете
>две машины, используйте единую систему хранения (SAN или просто через DBD
>зеркалируйте), на каждой машине поднимайте хостинг в гостевом Xen при крахе
>сервера можно автоматом поднимать виртуальный образ упавшего сервера на работающем, без
>остановки процессов в нем, для этого в Xen есть специальные HA
>механизмы, в OpenVZ вроде тоже было что-то подобное.

Идея виртуализации мне нравится, но если при этом юзать одну мащину, то толку не вижу. Можно ли гостевые Xen разносить на реальные физические компы ?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Помогите реализовать кластер !!!"  
Сообщение от Valentine31 on 15-Сен-08, 12:06 
>Идея виртуализации мне нравится, но если при этом юзать одну мащину, то
>толку не вижу. Можно ли гостевые Xen разносить на реальные физические
>компы ?

Конечно можно. У меня крутятся несколько виртуальных машин на двух физических. Heartbeat реализует отказоустойчивость. В качестве общего хранилища - DRBD.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Помогите реализовать кластер !!!"  
Сообщение от Egenius (??) on 19-Сен-08, 08:54 
>У меня крутятся несколько виртуальных машин на двух физических. Heartbeat
>реализует отказоустойчивость. В качестве общего хранилища - DRBD.

Простите, не совсем понимаю. Какой смысл в виртуализации, если у мена одна машина не справляется с нагрузкой, а Ваше решение предполагает , что в случае отказа одной из двух физических машин, другая принимает на себя заботу сразу о трёх виртуальных. Или технология виртуализации позволяет одновременно двум физическим сашинам обслуживать одну и ту же виртуальную, увеличивая таким образом общую вычислительную мощьность ? Похоже что нет, т.к. Вы используете DRBD, а он, на сколько я знаю одновременно может быть использован только на одной машине, вторая при этом монтирует этот раздел только для чтения. Или Вы используете кластерную ФС ? В таком случае хотелось бы увидеть пример конфигурации, при которой над одной виртуалкой трудятся 2 физических машины.
Уточню что меня в первую очередь интересует увеличени общей мощности кластера, а уже потом резерв.
Я вижу решение этой проблемы в установке на физические машины помимо виртуализации и heartdeat, ещё и MOSIX. Но, возникает вопрос даст ли это необходимый эффект ? Ведь для каждой физ. машины работа виртуального гостя будет восприниматься как один запущенный процесс, но MOSIX, на сколько я знаю, не может делить этот процесс между двумя компами, а лишь отправит его на более мощную машину и всё. В итоге все танцы с бубном не дадут эффекта. Есть ещё вариант поставить MOSIX на виртуалку и тогда, возможно, процессы(которых в самой виртуалке будет много) будут мигрировать между 3-я серверами(2-физ. + 1-вирт.).
Простите что напрягаю Вас своими размышлизмами, вместо того чтобы опробовать свои предположения на практике. Я бы с удовольствием поэксперементировал и выложил бы результаты своих исследований для общего пользования, но у меня нет времени, т.к. сроки, поставленные начальством, поджимают, а "воз и ныне там".
Думаю я не первый, кто занимался этим вопросом и хотелось бы перенять опыт уже опробованных решений, а не наступать вновь и вновь на одни и те же грабли.

PS. Ещё вопрос в догонку.
Кто-нибудь имел опыт настройки редхатовского кластера при помощи их утилиты Conga ?
Пробовал настраивать по инструкции (http://www.redhatmagazine.com/2007/08/23/automated-failover-...) - с 10-го раза удалось объединить 2 машины в кластер, но добться миграции виртуального окружения так и не удалось. Пробовал вместо виртуальных сервисов создать сервис Apache и тут наткнулся на странность - в веб интерфейсе запускаю апач и в нём(интерфейсе) показывается что он успешно запущен, но реально ни на одной машине он не запустился. И ёще, согласно инструкции создал раздел GFS2 на обёих машинах кластера и они успешно примонтировались, вот только данные на этих разделах совершенно разные и нет никакой синхронизации. Такое ощущение что гдё-то забыли добавить устройство DRBD или GNBD.
На этом всё. Спасибо за терпение !

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру