Здравствуйте!
После использования XEN'a 4.0 на SLES 11 sp1, с периодическими зависаниями всей хост-системы, хочу перейти на другую платформу KVM.
Требования:
- поддержка полной виртуализации
- высокая скорость сети
- организация сети как виртуальной, так и в режиме моста
- хорошая производительность гостевых машин.В принципе XEN устраивает, но скорость сети почему-то низкая. Не более 3-5 Мбит/сек.
Если рассматривать RHEL 6, то лучше использовать KVM ? ведь XEN в 6 версии Red Hat'a был удален.
У меня имеется несколько серверов IBM, на которых должны быть установлены Enterprise системы Red Hat или Suse Linux, для работы системы мониторинга IBM Director.
А также имеются обычные сервера, на которые можно установить Debian, CentOS.Интересует ответ на вопрос: что лучше использовать в качестве хост-системы и какую виртуализацию использовать XEN или KVM ?
>[оверквотинг удален]
> В принципе XEN устраивает, но скорость сети почему-то низкая. Не более 3-5
> Мбит/сек.
> Если рассматривать RHEL 6, то лучше использовать KVM ? ведь XEN в
> 6 версии Red Hat'a был удален.
> У меня имеется несколько серверов IBM, на которых должны быть установлены Enterprise
> системы Red Hat или Suse Linux, для работы системы мониторинга IBM
> Director.
> А также имеются обычные сервера, на которые можно установить Debian, CentOS.
> Интересует ответ на вопрос: что лучше использовать в качестве хост-системы и какую
> виртуализацию использовать XEN или KVM ?В условиях функционирующей инфраструктуры лучше использовать ту систему, по которой у Вас больше знаний)
А так - озвучьте задачи, что будет под ними крутиться. Какие ОС, сервисы. Очень индивидуальный подход для различных задач.
> В условиях функционирующей инфраструктуры лучше использовать ту систему, по которой у Вас
> больше знаний)Есть время изучить новые системы.
> А так - озвучьте задачи, что будет под ними крутиться. Какие ОС,
> сервисы. Очень индивидуальный подход для различных задач.На виртуалках сейчас крутятся: IP-телефония Asterisk на CentOS 6.0, Win2008 R2 BDC (резервный контроллер домена), прокси-сервер на FreeBSD 8.2, LAMP+nginx для веб-разработок на Ubuntu 11.04, система мониторинга Nagios на Ubuntu 11.04, система мониторинга IBM Director на SLES 11 sp1, + еще для тестов создаются разные виртуальные машины. Все они выполняются в режиме полной виртуализации. Паравиртуализация использована только для теста.
В перспективе сделать кластер виртуализации наподобие DRBD.В общем, задача сводится к следующим требованиям:
- необходима стабильная работа в продакшен режиме
- полная виртуализация
- высокая скорость сети
- возможность распределенных вычислений - отказоустойчивость. (DRBD)
> - необходима стабильная работа в продакшен режимеXEN подходит.
> - полная виртуализация
Зачем?
> - высокая скорость сети
О какой высокой скорости сети может идти речь в полной виртуализации?
В паравиртуализации стояло огромное количество маршрутизирующий систем под кзеном.
Таких показателей как у вас, не было, ну может порядка 200-300Мбит на ВМ было.> - возможность распределенных вычислений - отказоустойчивость. (DRBD)
Если речь о Citrix XENServer - то подходит.
>> - необходима стабильная работа в продакшен режиме
> XEN подходит.Сейчас XEN работает на SLES 11 sp1, и бывают случаи, когда система наглухо виснет. Причем в логах ничего не наблюдается. Это минус в стабильность работы.
Хочу попробовать собрать XEN 4.0.1 на Red Hat 6.0, может быть появится стабильность без зависаний.>> - полная виртуализация
> Зачем?Работа Windows, FreeBSD
>> - высокая скорость сети
> О какой высокой скорости сети может идти речь в полной виртуализации?Разве в этом направлении не работают? по-моему, полная виртуализация чем и хороша, так это тем, что независимо от железа, виртуалка будет работать, в отличии от паравиртуализации. Или я не правильно думаю?
> В паравиртуализации стояло огромное количество маршрутизирующий систем под кзеном.
> Таких показателей как у вас, не было, ну может порядка 200-300Мбит на
> ВМ было.Какие системы стояли в паравиртуализации? сколько их было на одном сервере? и под какими ОС была хост-система и гостевые домены?
>> - возможность распределенных вычислений - отказоустойчивость. (DRBD)
> Если речь о Citrix XENServer - то подходит.Наталкивался на статью в интернете, где описан процесс создания мини-кластера виртуализации из 2х машин посредством DRBD для простого XEN'a, не Citrix XEN Server. Хочу решение сделать на базе свободно-распространяемого ПО.
> Сейчас XEN работает на SLES 11 sp1, и бывают случаи, когда система
> наглухо виснет. Причем в логах ничего не наблюдается. Это минус в
> стабильность работы.
> Хочу попробовать собрать XEN 4.0.1 на Red Hat 6.0, может быть появится
> стабильность без зависаний.Может железо, не?
> Работа Windows, FreeBSD
Разве еще остались задачи, которые нельзя выполнить в Linux?
Про фряху-то у вас видимо свои тараканы, но винда-то вам на кой?> Разве в этом направлении не работают? по-моему, полная виртуализация чем и хороша,
> так это тем, что независимо от железа, виртуалка будет работать, в
> отличии от паравиртуализации. Или я не правильно думаю?Паравиртуализованная ВМ гораздо ближе к железу, чем полностью виртуализованая.
> Какие системы стояли в паравиртуализации? сколько их было на одном сервере? и
> под какими ОС была хост-система и гостевые домены?Citrix XEN Server, все гостевые системы Debian. От 1 до 20 на один сервер.
> Наталкивался на статью в интернете, где описан процесс создания мини-кластера виртуализации
> из 2х машин посредством DRBD для простого XEN'a, не Citrix XEN
> Server. Хочу решение сделать на базе свободно-распространяемого ПО.Видимо гостевые Windows-машины вписываются в понятие "свободно-распространяемого ПО" очень хорошо ;)
> Может железо, не?возможно, серверы IBM x3655 и x3550M2 . В них, вроде бы, имеется какой-то глюк в сетевых картах. Но не на всех.
>> Работа Windows, FreeBSD
> Разве еще остались задачи, которые нельзя выполнить в Linux?
> Про фряху-то у вас видимо свои тараканы, но винда-то вам на кой?Винда нужна для специальных прог, которые на линуксе не идут.
Фряха - для тестирования.> Паравиртуализованная ВМ гораздо ближе к железу, чем полностью виртуализованая.
В том-то и дело. Если вдруг сгорел сервер, то полностью виртуализированную машину можно без труда развернуть на резервном железе, главное, чтобы аппаратная виртуализация поддерживалась.
> Citrix XEN Server, все гостевые системы Debian. От 1 до 20 на
> один сервер.Нагрузка по сети была постоянной? сбоев не было?
> Видимо гостевые Windows-машины вписываются в понятие "свободно-распространяемого ПО"
> очень хорошо ;)windows-машины не вписываются в это понятие, но их работа должна быть, т.к. например, тот же Sales Expert работает под виндой.
Меня больше всего интересует стабильность работы и высокая скорость сети.
Почему Red Hat отказался от XEN в пользу KVM? может быть попробовать KVM?
> В том-то и дело. Если вдруг сгорел сервер, то полностью виртуализированную машину
> можно без труда развернуть на резервном железе, главное, чтобы аппаратная виртуализация
> поддерживалась.Если сервер вышел из строя, то это уже виртуализация на уровне железа - добро пожаловать в клуб блейд-серверов, но там соответствующая стоимость железа/лицензий/поддержки.
А в наших реалиях, если вы видите что с сервером нечто странное и его надо выключить/заменить/перенести, то правый клик мышкой по VM - "Дорогая VM, ты теперь будешь работать вон-на том сервере, быстро топай отсюда!", и она в рилтайме уползет на другой сервер.
Другой вопрос что в пул не встанут сервера с разным железом (память/проц). Но с другой стороны, кто будет рядить пул из разномастных серверов?А если VM забекапить и перенести вообще на другое железо (но тут будет остановка её) - то ради бога, она ничего и не заметит, когда восстановится, будет работать как часы.
> Нагрузка по сети была постоянной? сбоев не было?
Постоянной. Не было.
> Меня больше всего интересует стабильность работы и высокая скорость сети.
> Почему Red Hat отказался от XEN в пользу KVM? может быть попробовать
> KVM?Может их выбор был политическим, я не в курсе.
>> Нагрузка по сети была постоянной? сбоев не было?
> Постоянной. Не было.XEN обычный, от Citrix XEN Server чем-то отличается?
Я недавно смотрел Proxmox, там связка OpenVZ + KVM - на сервере IBM работает стабильно и скорость высокая. Хост-система - Debian Lenny.
> XEN обычный, от Citrix XEN Server чем-то отличается?Один открытый, другой проприетарный.
Попробовал я только что прокинуть паравиртуальную сеть в HVM домен Debian squzee.
В конфигурационном файле указал:vif=[ 'mac=00:00:32:23:23:23,bridge=br0,type=netfront',]
После загрузки гостевой машины не виден Ethernet adapter.
lspci | grep Ether выдает пустую строку.
В чем может быть проблема?
> В конфигурационном файле указал:
>vif=[ 'mac=00:00:32:23:23:23,bridge=br0,type=netfront',]
> После загрузки гостевой машины не виден Ethernet adapter.
> lspci | grep Ether выдает пустую строку.
> В чем может быть проблема?Правьте /etc/udev/rules.d/*net*rules
*У виртуалки.
> *У виртуалки.там пусто. Ничего не записывается.
> Почему Red Hat отказался от XEN в пользу KVM? может быть попробовать
> KVM?Не знаю, убил кучу времени на то чтобы въехать в kvm, поднял даже Windows XP SP3 в виртуалке но при заходе через RDP винда регулярно выпадает в BSOD. Погуглил на эту тему, обнаружил массу жалоб на это и ни одного решения, так-что похоже надо в сторону xen двигаться, у меня фришный XEN еще 4 года назад в продакшне работал, а kvm на ровном месте в BSOD винды валит. В общем я в шоке, надеялся что все будет хорошо, вроде kvm в мейнстрим ядра включен... В итоге вообще на VirtualBOX придется идти - там полная виртуализация :) машинки из образов с SAMBA сервера хоть на Windows хоть на Linux поднимаются :)
Одно но - это все-же проприетарщина и не известно что Оракл (или кто там его в итоге обретет) сделает с проектом.
>[оверквотинг удален]
> винда регулярно выпадает в BSOD. Погуглил на эту тему, обнаружил массу
> жалоб на это и ни одного решения, так-что похоже надо в
> сторону xen двигаться, у меня фришный XEN еще 4 года назад
> в продакшне работал, а kvm на ровном месте в BSOD винды
> валит. В общем я в шоке, надеялся что все будет хорошо,
> вроде kvm в мейнстрим ядра включен... В итоге вообще на VirtualBOX
> придется идти - там полная виртуализация :) машинки из образов с
> SAMBA сервера хоть на Windows хоть на Linux поднимаются :)
> Одно но - это все-же проприетарщина и не известно что Оракл (или
> кто там его в итоге обретет) сделает с проектом.Я ради эксперимента сейчас собрал кластер на PROXMOX 1.8. Взял 2 сервера, между ними настроил DRBD, но DRBD надо настраивать 2, чтобы на одном сервере было одно хранилище главным, и на другом. Иначе миграция не работает.
Proxmox основан на debian. Это KVM+OpenVZ. Решение коробочное и весьма хорошее. Пока что нравится. Но столкнулся с одной проблеммой, скорее всего из-за дешевой сетевой карты. Если виртуалку немного нагрузить с работой с сетью, тогда мост VMBR0 умирает и сеть перестает быть доступна. Лечится перезапуском интерфейса VMBR0.
Что нравится, так это в KVM virtio устройства - сеть и жесткий диск. Это как паравиртуализация в XEN, только здесь паравиртуальные только жесткий диск и сеть, остальное полная виртуализация. Производительность этой системы высокая.
>[оверквотинг удален]
> винда регулярно выпадает в BSOD. Погуглил на эту тему, обнаружил массу
> жалоб на это и ни одного решения, так-что похоже надо в
> сторону xen двигаться, у меня фришный XEN еще 4 года назад
> в продакшне работал, а kvm на ровном месте в BSOD винды
> валит. В общем я в шоке, надеялся что все будет хорошо,
> вроде kvm в мейнстрим ядра включен... В итоге вообще на VirtualBOX
> придется идти - там полная виртуализация :) машинки из образов с
> SAMBA сервера хоть на Windows хоть на Linux поднимаются :)
> Одно но - это все-же проприетарщина и не известно что Оракл (или
> кто там его в итоге обретет) сделает с проектом.Не знаю о какой проблеме речь (bug id?) но, использую достаточно давно (более года), KVM собран из исходных кодов гостевая win2ks3 (как терминальный сервер) люди работают не жалуются.
> Не знаю о какой проблеме речь (bug id?) но, использую достаточно давно
> (более года), KVM собран из исходных кодов гостевая win2ks3 (как терминальный
> сервер) люди работают не жалуются.Virtio-устройства используются в Ваших гостевых системах?
> Не знаю о какой проблеме речь (bug id?) но, использую достаточно давно
> (более года), KVM собран из исходных кодов гостевая win2ks3 (как терминальный
> сервер) люди работают не жалуются.Я пока не в курсе что есть: bug id? Где этот ID смотреть? У меня тупо машинка с Windows XP SP3 стоящая за NAT ( <interface type='network'> ). В попытке борьбы с BSOD скачал какие-то virtio драйвера, но не совсем понял они это или нет. Пытался чего-то поставить, не совсем осознал что и сделал контрольную перезагрузку машинки. В итоге потерял терминальный доступ к машинке делавшийся через iptables -t nat -A PREROUTING --protocol tcp --dport 3389 --jump DNAT --to -destination 192.168.0.5 - теперь в непонятках кто виноват, или те virtio драйвера или перекосяченные правила iptables которые libvirt сам правит. В общем рассыпалось даже то что вчера работало.
Пока в непонятках как использовать сеть. Есть скажем: /etc/libvirt/qemu/networks
И там файлики описывающие сети, в описании есть: <forward mode='bridge'/>
видел и : forward mode='bridge-brctl' dev='br0'/
и:<forward mode='bridge'/>
<bridge name='br0' />
Не понятно, как лучше слелать. Каждую ВМ вешать в nat сеть или всех повесить к бриджу в хост системе не прицепленному ни к одному порту а уже с него роутить и натить в реальный эзернет. В общем решение пока не созрело, напрягает то что virtio сам крутит правила iptables и с ним надо будет бооться. Скажем загнал я правила, сделал iptables-save >>iptables.rules и на этапе создания интерфейса (в /etc/network/interfaces) гружу эти правила - так после запуска virtio/qemu-kvm на правила еще навершивается масса правил.В общем исскуственный интеллект призванный облегчать жизнь неграмотным, очень жестоко заставляет учиться тех кто хочет с ним совладать.
> И там файлики описывающие сети, в описании есть: <forward mode='bridge'/>должно было быть в первом случае: <forward mode='nat'/>
О! Наткнулся сейчас на хвалебную в сторону KVM статью написанную хостером представляющем
виртуальные машинки на kvm. Решил запостить ссылку :)
> Здравствуйте!
> После использования XEN'a 4.0 на SLES 11 sp1, с периодическими зависаниями всей
> хост-системы, хочу перейти на другую платформу KVM.http://www.netangels.ru/support/xen-vs-kvm/
Пробую послать и посмотреть куда тут встанет :)
Извиняюсь если тоже в конец и не смогу удалить :)
В общем если хостеры предлаагают, значит решение продакшн класса и просто я например пока не разобрался как обходить грабли :) Вот кстати ышшо один хостер:Забавное решение, каждому серверу по ядру :)
Проверить конечно это невозможно, но если это правда
то это дешевый аналог дедика :)
Интересно, можно-ли в конфигах kvm указывать использование
количества ядер вплоть до конкретных ядер? :)
А то вообще тогда замечательно, критичные приложения на отдельные ядра а
некритичные все в одно/два собрать.Сегодня kvm одумался и за ближайший час та-же винда что падала в BSOD уже час
выдерживает мои мучения :)
>[оверквотинг удален]
> Забавное решение, каждому серверу по ядру :)
> Проверить конечно это невозможно, но если это правда
> то это дешевый аналог дедика :)
> Интересно, можно-ли в конфигах kvm указывать использование
> количества ядер вплоть до конкретных ядер? :)
> А то вообще тогда замечательно, критичные приложения на отдельные ядра а
> некритичные все в одно/два собрать.
> Сегодня kvm одумался и за ближайший час та-же винда что падала в
> BSOD уже час
> выдерживает мои мучения :)Количество ядер указать, можно:
-smp n[,maxcpus=cpus][,cores=cores][,threads=threads][,sockets=sockets]
set the number of CPUs to 'n' [default=1]
maxcpus= maximum number of total cpus, including
offline CPUs for hotplug, etc
cores= number of CPU cores on one socket
threads= number of threads on one CPU core
sockets= number of discrete sockets in the system
Привязать к конкретному ядру или ЦПУ - не знаю, не когда не интересовался.Да virtio используется как диски так и сетевые (драйвера беру всегда тут http://alt.fedoraproject.org/pub/alt/virtio-win/latest/image.../).
>[оверквотинг удален]
> Забавное решение, каждому серверу по ядру :)
> Проверить конечно это невозможно, но если это правда
> то это дешевый аналог дедика :)
> Интересно, можно-ли в конфигах kvm указывать использование
> количества ядер вплоть до конкретных ядер? :)
> А то вообще тогда замечательно, критичные приложения на отдельные ядра а
> некритичные все в одно/два собрать.
> Сегодня kvm одумался и за ближайший час та-же винда что падала в
> BSOD уже час
> выдерживает мои мучения :)http://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/6...
>[оверквотинг удален]
> В принципе XEN устраивает, но скорость сети почему-то низкая. Не более 3-5
> Мбит/сек.
> Если рассматривать RHEL 6, то лучше использовать KVM ? ведь XEN в
> 6 версии Red Hat'a был удален.
> У меня имеется несколько серверов IBM, на которых должны быть установлены Enterprise
> системы Red Hat или Suse Linux, для работы системы мониторинга IBM
> Director.
> А также имеются обычные сервера, на которые можно установить Debian, CentOS.
> Интересует ответ на вопрос: что лучше использовать в качестве хост-системы и какую
> виртуализацию использовать XEN или KVM ?-> Proxmox 1.9