URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID13
Нить номер: 551
[ Назад ]
Исходное сообщение
"Кластер для локальной сети?"
Отправлено trbl , 04-Фев-09 19:54 
Добрый день. Возникла след. проблема: в сети существует простой FTP сервер. В данном сервере используется Hardware RAID5. Из-за большого кол-ва пользователей мощности стало не хватать (добавили туда-же еще 1 массив (тоже RAID5, файлы разделили между массивами на глаз), но вскоре снова столкнулись с тойже проблемой). Думаем приобрести второй сервер. Посоветуйте способ которым можно обьеденить 2 (или более) серверов в 1 для увеличения скорости отдачи.
Содержание
Сообщения в этом обсуждении
"Кластер для локальной сети?"
Отправлено angra , 05-Фев-09 03:10 
Вы для начала бы выяснили что является узким местом - процессор, память, дисковая подсистема, сетевая подсистема.
"Кластер для локальной сети?"
Отправлено d_pilot , 05-Фев-09 12:52 
>Вы для начала бы выяснили что является узким местом - процессор, память,
>дисковая подсистема, сетевая подсистема.

если узкое место - сеть, то лучше преобрести ещё одну NIC.
На какой ОС крутиться сервер?

"Кластер для локальной сети?"
Отправлено trbl , 05-Фев-09 16:28 
>>Вы для начала бы выяснили что является узким местом - процессор, память,
>>дисковая подсистема, сетевая подсистема.
>
>если узкое место - сеть, то лучше преобрести ещё одну NIC.
>На какой ОС крутиться сервер?

Выяснили - слабое место - дисковая подсистема (iostat показывает 100%), сервер CentOS5(64-bit). Процессор и сеть не загружены.

"Кластер для локальной сети?"
Отправлено pokalo , 05-Фев-09 22:56 
>>>Вы для начала бы выяснили что является узким местом - процессор, память,
>>>дисковая подсистема, сетевая подсистема.
>>
>>если узкое место - сеть, то лучше преобрести ещё одну NIC.
>>На какой ОС крутиться сервер?
>
>Выяснили - слабое место - дисковая подсистема (iostat показывает 100%), сервер CentOS5(64-bit).
>Процессор и сеть не загружены.

может стоит воспользоваться кластерными возможностями Вашей операционной системы? :-)

"Кластер для локальной сети?"
Отправлено d_pilot , 06-Фев-09 06:14 
попробуй сделать multipath дисковых полок. поидеи должно ускорить работу.
"Кластер для локальной сети?"
Отправлено angra , 06-Фев-09 03:33 
Вы уверены что сеть не нагружена? Чтобы обеспечивать пропускную способность двух RAID 5 нужно иметь 10Gb на интерфейсе. Да и процессор неплохо нагружается. Что именно вам показал iostat? Не забывайте, что его нужно запускать _минимум_ два раза, так как показывает статистику с момента последнего запуска(или от загрузки системы, если запуск первый).
Но если таки именно дисковая система, то дополнительные сервера вообще ничего не дадут, лучше брать дополнительные железные RAID и подключать к одной машине.
"Кластер для локальной сети?"
Отправлено pokalo , 06-Фев-09 15:28 
>>>Вы для начала бы выяснили что является узким местом - процессор, память,
>>>дисковая подсистема, сетевая подсистема.
>>
>>если узкое место - сеть, то лучше преобрести ещё одну NIC.
>>На какой ОС крутиться сервер?
>
>Выяснили - слабое место - дисковая подсистема (iostat показывает 100%), сервер CentOS5(64-bit).
>Процессор и сеть не загружены.

Если это правда, то Вам надо почитать вот это http://www.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/5/...
все это действительно для CentOS 5. Сам пробовал, очень рекомендую.

yum groupinstall "Cluster Storage"
yum install system-config-cluster luci

"Кластер для локальной сети?"
Отправлено Zu , 10-Мрт-09 21:17 
>Если это правда, то Вам надо почитать вот это http://www.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/5/...

Ы? Ничего не напутал? Там вообщето HA, а не HP расписанно ...

"Кластер для локальной сети?"
Отправлено pokalo , 11-Мрт-09 00:10 
>>Если это правда, то Вам надо почитать вот это http://www.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/5/...
>
>Ы? Ничего не напутал? Там вообщето HA, а не HP расписанно ...
>

Я долго думал отвечать или нет... :-)
Цитирую вопрос: "Посоветуйте способ которым можно обьеденить 2 (или более) серверов в 1 для увеличения скорости отдачи."

по ссылке именно это и описано... "You can create a cluster to suit your needs for high availability"

при схеме объединенных в кластер двух компьютеров (сетевое хранилище), при загруженности одного запросами, запросная нагрузка будет перераспределена на другой. Что и т.д.
Здесь именно нужно НА (high availability)

"Кластер для локальной сети?"
Отправлено Ziggy Stardust , 11-Мрт-09 07:32 
>при схеме объединенных в кластер двух компьютеров (сетевое хранилище), при загруженности одного
>запросами, запросная нагрузка будет перераспределена на другой. Что и т.д.
>Здесь именно нужно НА (high availability)

Вообще то это NLB (load balancing) называется :-)

"Кластер для локальной сети?"
Отправлено pokalo , 11-Мрт-09 09:46 
>>при схеме объединенных в кластер двух компьютеров (сетевое хранилище), при загруженности одного
>>запросами, запросная нагрузка будет перераспределена на другой. Что и т.д.
>>Здесь именно нужно НА (high availability)
>
>Вообще то это NLB (load balancing) называется :-)

значит я что то попутал... :-) но у меня работает.

"Кластер для локальной сети?"
Отправлено otaku , 09-Мрт-09 18:18 
>Добрый день. Возникла след. проблема: в сети существует простой FTP сервер. В
>данном сервере используется Hardware RAID5. Из-за большого кол-ва пользователей мощности стало
>не хватать (добавили туда-же еще 1 массив (тоже RAID5, файлы разделили
>между массивами на глаз), но вскоре снова столкнулись с тойже проблемой).
>Думаем приобрести второй сервер. Посоветуйте способ которым можно обьеденить 2 (или
>более) серверов в 1 для увеличения скорости отдачи.

Рекомендую использовать кеширование для повышения скорости отдачи, на 5 винтах можно выжать на 600 потоков скорость почти в гигабит.

"Кластер для локальной сети?"
Отправлено a_shats , 19-Май-09 13:53 
А почему бы СХД (система хранения данных, внешний RAID-массив) начального уровня не приобрести вместо сервера ? Благо, их ныне куча недорогих доступна. А в сам сервер потребуется только HBA-шку минимум одну поставить... В смысле - лишь бы свободные слоты PCI-E/PCI-X в ем были. Опять же, можно приобрести масштабируемую JBOD'ами (корзинами с винтами) СХД, и жить дальше с этим долго и счастливо, без нужды во втором сервере - разве что для HA кластера, отдающего файло в сеть...

"Кластер для локальной сети?"
Отправлено den , 21-Май-09 16:59 
А не проще ли решить задачу в корне, поднять в сети torrent tracker ?
"Кластер для локальной сети?"
Отправлено a_shats , 22-Май-09 11:14 
>А не проще ли решить задачу в корне, поднять в сети torrent
>tracker ?

Неа, не проще :) Вообще-то, задача, помимо как отдавать файлы, их еще и хранить, и иметь возможность чрез несколько лет найти нужный файл на том же месте, куда его поклали :)

"Кластер для локальной сети?"
Отправлено Gerk , 16-Авг-09 10:35 
Из бюджетных решений: перейти на RAID10. В нашем случае (35 OpenVZ VPS на каждом сервере)
очень сильно помогло разгрузить машинки. по ощущению четырёх ядерные сервера + RAID10 более юзабельны чем 8ядер + RAID5.

"Кластер для локальной сети?"
Отправлено raider , 05-Сен-09 21:49 
>Из бюджетных решений: перейти на RAID10. В нашем случае (35 OpenVZ VPS
>на каждом сервере)
>очень сильно помогло разгрузить машинки. по ощущению четырёх ядерные сервера + RAID10
>более юзабельны чем 8ядер + RAID5.

Ну наконец-то правильно ответили. Уважаю и респект. Попытайтесь не использовать RAID5 ВООБЩЕ! Используйте или RAID6 или RAID10.

Что предлагаю сам: предлагаю настроить мониторинг и посмотреть что именно грузит систему - какие файлы, на каком именно разделе.
Еще вопросы: какая файловая система используется? Выделить под наиболее нагруженную группу файлов/раздел выделить отдельные физические винчестеры.

---
Удачи.