URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 92187
[ Назад ]

Исходное сообщение
"XEN или KVM"

Отправлено dimawar , 28-Авг-11 11:27 
Здравствуйте!
После использования XEN'a 4.0 на SLES 11 sp1, с периодическими зависаниями всей хост-системы, хочу перейти на другую платформу KVM.
Требования:
- поддержка полной виртуализации
- высокая скорость сети
- организация сети как виртуальной, так и в режиме моста
- хорошая производительность гостевых машин.

В принципе XEN устраивает, но скорость сети почему-то низкая. Не более 3-5 Мбит/сек.
Если рассматривать RHEL 6, то лучше использовать KVM ? ведь XEN в 6 версии Red Hat'a был удален.
У меня имеется несколько серверов IBM, на которых должны быть установлены Enterprise системы Red Hat или Suse Linux, для работы системы мониторинга IBM Director.
А также имеются обычные сервера, на которые можно установить Debian, CentOS.

Интересует ответ на вопрос: что лучше использовать в качестве хост-системы и какую виртуализацию использовать XEN или KVM ?


Содержание

Сообщения в этом обсуждении
"XEN или KVM"
Отправлено anonymous , 28-Авг-11 17:22 
>[оверквотинг удален]
> В принципе XEN устраивает, но скорость сети почему-то низкая. Не более 3-5
> Мбит/сек.
> Если рассматривать RHEL 6, то лучше использовать KVM ? ведь XEN в
> 6 версии Red Hat'a был удален.
> У меня имеется несколько серверов IBM, на которых должны быть установлены Enterprise
> системы Red Hat или Suse Linux, для работы системы мониторинга IBM
> Director.
> А также имеются обычные сервера, на которые можно установить Debian, CentOS.
> Интересует ответ на вопрос: что лучше использовать в качестве хост-системы и какую
> виртуализацию использовать XEN или KVM ?

В условиях функционирующей инфраструктуры лучше использовать ту систему, по которой у Вас больше знаний)
А так - озвучьте задачи, что будет под ними крутиться. Какие ОС, сервисы. Очень индивидуальный подход для различных задач.


"XEN или KVM"
Отправлено dimawar , 28-Авг-11 17:48 
> В условиях функционирующей инфраструктуры лучше использовать ту систему, по которой у Вас
> больше знаний)

Есть время изучить новые системы.

> А так - озвучьте задачи, что будет под ними крутиться. Какие ОС,
> сервисы. Очень индивидуальный подход для различных задач.

На виртуалках сейчас крутятся: IP-телефония Asterisk на CentOS 6.0, Win2008 R2 BDC (резервный контроллер домена), прокси-сервер на FreeBSD 8.2, LAMP+nginx для веб-разработок на Ubuntu 11.04, система мониторинга Nagios на Ubuntu 11.04, система мониторинга IBM Director на SLES 11 sp1, + еще для тестов создаются разные виртуальные машины. Все они выполняются в режиме полной виртуализации. Паравиртуализация использована только для теста.
В перспективе сделать кластер виртуализации наподобие DRBD.

В общем, задача сводится к следующим требованиям:
- необходима стабильная работа в продакшен режиме
- полная виртуализация
- высокая скорость сети
- возможность распределенных вычислений - отказоустойчивость. (DRBD)


"XEN или KVM"
Отправлено Rom1 , 29-Авг-11 10:37 
> - необходима стабильная работа в продакшен режиме

XEN подходит.

> - полная виртуализация

Зачем?

> - высокая скорость сети

О какой высокой скорости сети может идти речь в полной виртуализации?

В паравиртуализации стояло огромное количество маршрутизирующий систем под кзеном.
Таких показателей как у вас, не было, ну может порядка 200-300Мбит на ВМ было.

> - возможность распределенных вычислений - отказоустойчивость. (DRBD)

Если речь о Citrix XENServer - то подходит.


"XEN или KVM"
Отправлено dimawar , 29-Авг-11 11:17 
>> - необходима стабильная работа в продакшен режиме
> XEN подходит.

Сейчас XEN работает на SLES 11 sp1, и бывают случаи, когда система наглухо виснет. Причем в логах ничего не наблюдается. Это минус в стабильность работы.
Хочу попробовать собрать XEN 4.0.1 на Red Hat 6.0, может быть появится стабильность без зависаний.

>> - полная виртуализация
> Зачем?

Работа Windows, FreeBSD

>> - высокая скорость сети
> О какой высокой скорости сети может идти речь в полной виртуализации?

Разве в этом направлении не работают? по-моему, полная виртуализация чем и хороша, так это тем, что независимо от железа, виртуалка будет работать, в отличии от паравиртуализации. Или я не правильно думаю?

> В паравиртуализации стояло огромное количество маршрутизирующий систем под кзеном.
> Таких показателей как у вас, не было, ну может порядка 200-300Мбит на
> ВМ было.

Какие системы стояли в паравиртуализации? сколько их было на одном сервере? и под какими ОС была хост-система и гостевые домены?

>> - возможность распределенных вычислений - отказоустойчивость. (DRBD)
> Если речь о Citrix XENServer - то подходит.

Наталкивался на статью в интернете, где описан процесс создания мини-кластера виртуализации из 2х машин посредством DRBD для простого XEN'a, не Citrix XEN Server. Хочу решение сделать на базе свободно-распространяемого ПО.


"XEN или KVM"
Отправлено Rom1 , 29-Авг-11 11:37 
> Сейчас XEN работает на SLES 11 sp1, и бывают случаи, когда система
> наглухо виснет. Причем в логах ничего не наблюдается. Это минус в
> стабильность работы.
> Хочу попробовать собрать XEN 4.0.1 на Red Hat 6.0, может быть появится
> стабильность без зависаний.

Может железо, не?

> Работа Windows, FreeBSD

Разве еще остались задачи, которые нельзя выполнить в Linux?
Про фряху-то у вас видимо свои тараканы, но винда-то вам на кой?

> Разве в этом направлении не работают? по-моему, полная виртуализация чем и хороша,
> так это тем, что независимо от железа, виртуалка будет работать, в
> отличии от паравиртуализации. Или я не правильно думаю?

Паравиртуализованная ВМ гораздо ближе к железу, чем полностью виртуализованая.

> Какие системы стояли в паравиртуализации? сколько их было на одном сервере? и
> под какими ОС была хост-система и гостевые домены?

Citrix XEN Server, все гостевые системы Debian. От 1 до 20 на один сервер.

> Наталкивался на статью в интернете, где описан процесс создания мини-кластера виртуализации
> из 2х машин посредством DRBD для простого XEN'a, не Citrix XEN
> Server. Хочу решение сделать на базе свободно-распространяемого ПО.

Видимо гостевые Windows-машины вписываются в понятие "свободно-распространяемого ПО" очень хорошо ;)


"XEN или KVM"
Отправлено dimawar , 29-Авг-11 11:47 
> Может железо, не?

возможно, серверы IBM x3655 и x3550M2 . В них, вроде бы, имеется какой-то глюк в сетевых картах. Но не на всех.

>> Работа Windows, FreeBSD
> Разве еще остались задачи, которые нельзя выполнить в Linux?
> Про фряху-то у вас видимо свои тараканы, но винда-то вам на кой?

Винда нужна для специальных прог, которые на линуксе не идут.
Фряха - для тестирования.

> Паравиртуализованная ВМ гораздо ближе к железу, чем полностью виртуализованая.

В том-то и дело. Если вдруг сгорел сервер, то полностью виртуализированную машину можно без труда развернуть на резервном железе, главное, чтобы аппаратная виртуализация поддерживалась.

> Citrix XEN Server, все гостевые системы Debian. От 1 до 20 на
> один сервер.

Нагрузка по сети была постоянной? сбоев не было?

> Видимо гостевые Windows-машины вписываются в понятие "свободно-распространяемого ПО"
> очень хорошо ;)

windows-машины не вписываются в это понятие, но их работа должна быть, т.к. например, тот же Sales Expert работает под виндой.

Меня больше всего интересует стабильность работы и высокая скорость сети.
Почему Red Hat отказался от XEN в пользу KVM? может быть попробовать KVM?


"XEN или KVM"
Отправлено Rom1 , 29-Авг-11 12:05 
> В том-то и дело. Если вдруг сгорел сервер, то полностью виртуализированную машину
> можно без труда развернуть на резервном железе, главное, чтобы аппаратная виртуализация
> поддерживалась.

Если сервер вышел из строя, то это уже виртуализация на уровне железа - добро пожаловать в клуб блейд-серверов, но там соответствующая стоимость железа/лицензий/поддержки.

А в наших реалиях, если вы видите что с сервером нечто странное и его надо выключить/заменить/перенести, то правый клик мышкой по VM - "Дорогая VM, ты теперь будешь работать вон-на том сервере, быстро топай отсюда!", и она в рилтайме уползет на другой сервер.
Другой вопрос что в пул не встанут сервера с разным железом (память/проц). Но с другой стороны, кто будет рядить пул из разномастных серверов?

А если VM забекапить и перенести вообще на другое железо (но тут будет остановка её) - то ради бога, она ничего и не заметит, когда восстановится, будет работать как часы.

> Нагрузка по сети была постоянной? сбоев не было?

Постоянной. Не было.

> Меня больше всего интересует стабильность работы и высокая скорость сети.
> Почему Red Hat отказался от XEN в пользу KVM? может быть попробовать
> KVM?

Может их выбор был политическим, я не в курсе.


"XEN или KVM"
Отправлено dimawar , 29-Авг-11 12:33 
>> Нагрузка по сети была постоянной? сбоев не было?
> Постоянной. Не было.

XEN обычный, от Citrix XEN Server чем-то отличается?

Я недавно смотрел Proxmox, там связка OpenVZ + KVM - на сервере IBM работает стабильно и скорость высокая. Хост-система - Debian Lenny.


"XEN или KVM"
Отправлено Rom1 , 29-Авг-11 12:50 
> XEN обычный, от Citrix XEN Server чем-то отличается?

Один открытый, другой проприетарный.


"XEN или KVM"
Отправлено dimawar , 29-Авг-11 13:43 
Попробовал я только что прокинуть паравиртуальную сеть в HVM домен Debian squzee.
В конфигурационном файле указал:
vif=[ 'mac=00:00:32:23:23:23,bridge=br0,type=netfront',]

После загрузки гостевой машины не виден Ethernet adapter.
lspci | grep Ether выдает пустую строку.
В чем может быть проблема?

"XEN или KVM"
Отправлено Rom1 , 29-Авг-11 13:46 
> В конфигурационном файле указал:
>
vif=[ 'mac=00:00:32:23:23:23,bridge=br0,type=netfront',]

> После загрузки гостевой машины не виден Ethernet adapter.
> lspci | grep Ether выдает пустую строку.
> В чем может быть проблема?

Правьте /etc/udev/rules.d/*net*rules


"XEN или KVM"
Отправлено Rom1 , 29-Авг-11 13:47 
*У виртуалки.


"XEN или KVM"
Отправлено dimawar , 29-Авг-11 17:05 
> *У виртуалки.

там пусто. Ничего не записывается.


"XEN или KVM"
Отправлено n0mad , 21-Сен-11 04:42 
> Почему Red Hat отказался от XEN в пользу KVM? может быть попробовать
> KVM?

Не знаю, убил кучу времени на то чтобы въехать в kvm, поднял даже Windows XP SP3 в виртуалке но при заходе через RDP винда регулярно выпадает в BSOD. Погуглил на эту тему, обнаружил массу жалоб на это и ни одного решения, так-что похоже надо в сторону xen двигаться, у меня фришный XEN еще 4 года назад в продакшне работал, а kvm на ровном месте в BSOD винды валит. В общем я в шоке, надеялся что все будет хорошо, вроде kvm в мейнстрим ядра включен... В итоге вообще на VirtualBOX придется идти - там полная виртуализация :) машинки из образов с SAMBA сервера хоть на Windows хоть на Linux поднимаются :)
Одно но - это все-же проприетарщина и не известно что Оракл (или кто там его в итоге обретет) сделает с проектом.


"XEN или KVM"
Отправлено dimawar , 21-Сен-11 08:27 
>[оверквотинг удален]
> винда регулярно выпадает в BSOD. Погуглил на эту тему, обнаружил массу
> жалоб на это и ни одного решения, так-что похоже надо в
> сторону xen двигаться, у меня фришный XEN еще 4 года назад
> в продакшне работал, а kvm на ровном месте в BSOD винды
> валит. В общем я в шоке, надеялся что все будет хорошо,
> вроде kvm в мейнстрим ядра включен... В итоге вообще на VirtualBOX
> придется идти - там полная виртуализация :) машинки из образов с
> SAMBA сервера хоть на Windows хоть на Linux поднимаются :)
> Одно но - это все-же проприетарщина и не известно что Оракл (или
> кто там его в итоге обретет) сделает с проектом.

Я ради эксперимента сейчас собрал кластер на PROXMOX 1.8. Взял 2 сервера, между ними настроил DRBD, но DRBD надо настраивать 2, чтобы на одном сервере было одно хранилище главным, и на другом. Иначе миграция не работает.
Proxmox основан на debian. Это KVM+OpenVZ. Решение коробочное и весьма хорошее. Пока что нравится. Но столкнулся с одной проблеммой, скорее всего из-за дешевой сетевой карты. Если виртуалку немного нагрузить с работой с сетью, тогда мост VMBR0 умирает и сеть перестает быть доступна. Лечится перезапуском интерфейса VMBR0.
Что нравится, так это в KVM virtio устройства - сеть и жесткий диск. Это как паравиртуализация в XEN, только здесь паравиртуальные только жесткий диск и сеть, остальное полная виртуализация. Производительность этой системы высокая.


"XEN или KVM"
Отправлено Loly , 21-Сен-11 10:33 
>[оверквотинг удален]
> винда регулярно выпадает в BSOD. Погуглил на эту тему, обнаружил массу
> жалоб на это и ни одного решения, так-что похоже надо в
> сторону xen двигаться, у меня фришный XEN еще 4 года назад
> в продакшне работал, а kvm на ровном месте в BSOD винды
> валит. В общем я в шоке, надеялся что все будет хорошо,
> вроде kvm в мейнстрим ядра включен... В итоге вообще на VirtualBOX
> придется идти - там полная виртуализация :) машинки из образов с
> SAMBA сервера хоть на Windows хоть на Linux поднимаются :)
> Одно но - это все-же проприетарщина и не известно что Оракл (или
> кто там его в итоге обретет) сделает с проектом.

Не знаю о какой проблеме речь (bug id?) но, использую достаточно давно (более года), KVM собран из исходных кодов гостевая win2ks3 (как терминальный сервер) люди работают не жалуются.


"XEN или KVM"
Отправлено dimawar , 21-Сен-11 11:26 
> Не знаю о какой проблеме речь (bug id?) но, использую достаточно давно
> (более года), KVM собран из исходных кодов гостевая win2ks3 (как терминальный
> сервер) люди работают не жалуются.

Virtio-устройства используются в Ваших гостевых системах?


"XEN или KVM"
Отправлено n0mad , 22-Сен-11 02:03 
> Не знаю о какой проблеме речь (bug id?) но, использую достаточно давно
> (более года), KVM собран из исходных кодов гостевая win2ks3 (как терминальный
> сервер) люди работают не жалуются.

Я пока не в курсе что есть: bug id? Где этот ID смотреть? У меня тупо машинка с Windows XP SP3 стоящая за NAT ( <interface type='network'> ). В попытке борьбы с BSOD скачал какие-то virtio драйвера, но не совсем понял они это или нет. Пытался чего-то поставить, не совсем осознал что и сделал контрольную перезагрузку машинки. В итоге потерял терминальный доступ к машинке делавшийся через iptables -t nat -A PREROUTING --protocol tcp --dport 3389 --jump DNAT --to -destination 192.168.0.5 - теперь в непонятках кто виноват, или те virtio драйвера или перекосяченные правила iptables которые libvirt сам правит. В общем рассыпалось даже то что вчера работало.

Пока в непонятках как использовать сеть. Есть скажем: /etc/libvirt/qemu/networks
И там файлики описывающие сети, в описании есть: <forward mode='bridge'/>
видел и : forward mode='bridge-brctl' dev='br0'/
и:<forward mode='bridge'/>
<bridge name='br0' />
Не понятно, как лучше слелать. Каждую ВМ вешать в nat сеть или всех повесить к бриджу в хост системе не прицепленному ни к одному порту а уже с него роутить и натить в реальный эзернет. В общем решение пока не созрело, напрягает то что virtio сам крутит правила iptables и с ним надо будет бооться. Скажем загнал я правила, сделал iptables-save >>iptables.rules и на этапе создания интерфейса (в /etc/network/interfaces)  гружу эти правила - так после запуска virtio/qemu-kvm на правила еще навершивается масса правил.

В общем исскуственный интеллект призванный облегчать жизнь неграмотным, очень жестоко заставляет учиться тех кто хочет с ним совладать.


"XEN или KVM"
Отправлено n0mad , 22-Сен-11 02:06 
> И там файлики описывающие сети, в описании есть: <forward mode='bridge'/>

должно было быть в первом случае: <forward mode='nat'/>


"XEN или KVM"
Отправлено n0mad , 22-Сен-11 03:21 
О! Наткнулся сейчас на хвалебную в сторону KVM статью написанную хостером представляющем
виртуальные машинки на kvm. Решил запостить ссылку :)

http://www.netangels.ru/support/xen-vs-kvm/


"XEN или KVM"
Отправлено n0mad , 22-Сен-11 03:23 
> Здравствуйте!
> После использования XEN'a 4.0 на SLES 11 sp1, с периодическими зависаниями всей
> хост-системы, хочу перейти на другую платформу KVM.

http://www.netangels.ru/support/xen-vs-kvm/

Пробую послать и посмотреть куда тут встанет :)
Извиняюсь если тоже в конец и не смогу удалить :)


"XEN или KVM"
Отправлено n0mad , 22-Сен-11 03:49 
В общем если хостеры предлаагают, значит решение продакшн класса и просто я например пока не разобрался как обходить грабли :) Вот кстати ышшо один хостер:

http://vdswin.com/kvm/

Забавное решение, каждому серверу по ядру :)
Проверить конечно это невозможно, но если это правда
то это дешевый аналог дедика :)
Интересно, можно-ли в конфигах kvm указывать использование
количества ядер вплоть до конкретных ядер? :)
А то вообще тогда замечательно, критичные приложения на отдельные ядра а
некритичные все в одно/два собрать.

Сегодня kvm одумался и за ближайший час та-же винда что падала в BSOD уже час
выдерживает мои мучения :)


"XEN или KVM"
Отправлено Loly , 22-Сен-11 10:45 
>[оверквотинг удален]
> Забавное решение, каждому серверу по ядру :)
> Проверить конечно это невозможно, но если это правда
> то это дешевый аналог дедика :)
> Интересно, можно-ли в конфигах kvm указывать использование
> количества ядер вплоть до конкретных ядер? :)
> А то вообще тогда замечательно, критичные приложения на отдельные ядра а
> некритичные все в одно/два собрать.
> Сегодня kvm одумался и за ближайший час та-же винда что падала в
> BSOD уже час
> выдерживает мои мучения :)

Количество ядер указать, можно:
-smp n[,maxcpus=cpus][,cores=cores][,threads=threads][,sockets=sockets]
                set the number of CPUs to 'n' [default=1]
                maxcpus= maximum number of total cpus, including
                offline CPUs for hotplug, etc
                cores= number of CPU cores on one socket
                threads= number of threads on one CPU core
                sockets= number of discrete sockets in the system

Привязать к конкретному ядру или ЦПУ - не знаю, не когда не интересовался.

Да virtio используется как диски так и сетевые (драйвера беру всегда тут http://alt.fedoraproject.org/pub/alt/virtio-win/latest/image.../).


"XEN или KVM"
Отправлено sdog , 22-Сен-11 17:52 
>[оверквотинг удален]
> Забавное решение, каждому серверу по ядру :)
> Проверить конечно это невозможно, но если это правда
> то это дешевый аналог дедика :)
> Интересно, можно-ли в конфигах kvm указывать использование
> количества ядер вплоть до конкретных ядер? :)
> А то вообще тогда замечательно, критичные приложения на отдельные ядра а
> некритичные все в одно/два собрать.
> Сегодня kvm одумался и за ближайший час та-же винда что падала в
> BSOD уже час
> выдерживает мои мучения :)

http://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/6...


"XEN или KVM"
Отправлено kisasoft , 12-Ноя-11 09:45 
>[оверквотинг удален]
> В принципе XEN устраивает, но скорость сети почему-то низкая. Не более 3-5
> Мбит/сек.
> Если рассматривать RHEL 6, то лучше использовать KVM ? ведь XEN в
> 6 версии Red Hat'a был удален.
> У меня имеется несколько серверов IBM, на которых должны быть установлены Enterprise
> системы Red Hat или Suse Linux, для работы системы мониторинга IBM
> Director.
> А также имеются обычные сервера, на которые можно установить Debian, CentOS.
> Интересует ответ на вопрос: что лучше использовать в качестве хост-системы и какую
> виртуализацию использовать XEN или KVM ?

-> Proxmox 1.9