Увидел свет (http://forum.proxmox.com/threads/13019-Proxmox-VE-2-3-released!) релиз Proxmox Virtual Environment 2.3 (http://www.proxmox.com/), специализированного Linux-дистрибутива на базе Debian GNU/Linux, нацеленного на развертывание и обслуживание виртуальных серверов с использованием OpenVZ и KVM, и способного выступить в роли замены таких продуктов, как VMware vSphere, Microsoft Hyper-V и Citrix XenServer. Размер установочного iso-образа (http://www.proxmox.com/downloads/proxmox-ve/iso-images/136-p...) 402 Мб.
Воспользовавшись Proxmox VE пользователь получает сразу после установки полностью готовую систему виртуальных серверов промышленного уровня с управлением через web-интерфейс, рассчитанный на управление сотнями или даже тысячами виртуальных машин. Дистрибутив имеет встроенные инструменты для организации резервного копирования виртуальных окружений и доступную из коробки поддержку кластеризации, включая возможность миграции виртуальных окружений с одного узла на другой без остановки работы. Среди особенностей web-интерфейса : поддержка безопасной VNC-консоли; управление доступом ко всем доступным объектам (VM, хранилище, узлы и т.п.) на основе ролей; поддержка различных механизмов аутентификации (MS ADS, LDAP, Linux PAM, Proxmox VE authentication).Среди особенностей (http://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_2.3) выпуска Proxmox VE 2.3 отмечается поставка нового инструмента (http://pve.proxmox.com/wiki/Backup_and_Restore) для резервного копирования, заморозки и восстановления окружений KVM и OpenVZ, не привязанного к LVM. Проведена синхронизация пакетной базы с Debian 6.0.7. В GUI добавлена поддержка RBD (ceph). Пакет qemu-kvm обновлён до версии 1.4.0. В качестве формата для хранения виртуальных машин по умолчанию задействован qcow2 (вместо raw). Ядро Linux обновлено до версии vzkernel-2.6.32-042stab072.10.src.rpm, при сборке теперь по умолчанию включена опция CONFIG_RT_GROUP_SCHED. Обновлены версии драйверов Broadcom bnx2/bnx2x, Adaptec aacraid 1.2-1, e1000e 2.2.14, igb 4.1.2 и ixgbe 3.12.6.
URL: http://forum.proxmox.com/threads/13019-Proxmox-VE-2-3-released!
Новость: http://www.opennet.me/opennews/art.shtml?num=36300
Отлично! Работает уже третий год, нареканий особых нет, рекомендую как хорошая альтернатива тем же VMware vSphere и Citrix XenServer.
Это поделие uefi поддерживать научилось?
> Это поделие uefi поддерживать научилось?Не думаю, что прямщас сильно актуально, включите CSM; а беты debian-installer для wheezy уже почти справлялись с установкой, так что где-то после релиза можно ожидать появления и в proxmox (если сами не сделают).
CSM? И можно будет использовать разделы больше чем на 2TB?
> CSM? И можно будет использовать разделы больше чем на 2TB?Если резать LVM -- почему нет. :)
(это... я к альту умение UEFI прикрутил и там всё работает, спрашивали-то за proxmox)
"Это поделие uefi" такое хм... поделие, что для того, чтобы сделать его нормальную поддержку, не сломав ничего при этом, нужно извернуться буквой "зю". Поэтому поддержка "поделия uefi" немножко задерживается.
> "Это поделие uefi" такое хм... поделие, что для того, чтобы сделать его
> нормальную поддержку, не сломав ничего при этом, нужно извернуться буквой "зю".Да ладно там, самое неприятное -- это тащить утилиты для FAT и GPT. Всё остальное прошлой осенью делалось в две руки за пару недель.
Очень классный релиз. Сделали live-backup KVM-машин с образами не на LVM.Proxmox - очень достойный продукт. Плохо только то, что при включенном HA при потере кворума получаем жесткий deadlock, который устраняется только ребутом. Разрабы говорят просто: "ну не допускайте потери кворума". Здесь подробнее https://bugzilla.proxmox.com/show_bug.cgi?id=105
"Status: RESOLVED INVALID ""This is expected behavior in the current cluster stack."
Да, так и говорят. А что не так?
использую пачку виртуалок и еще больше openvz контейнеров.
если на какой-нить виртуальной винде, которой выделено всего 1 логическое ЦПУ, встревает какой-то процесс и начинает жрать 100% этого ЦПУ, то весь гипервизор начинает тупить и встревает до тех пор, пока не прибить кривой процесс в виртуалке. как можно сие исправить? крутить cgroups вручную?
> использую пачку виртуалок и еще больше openvz контейнеров.
> если на какой-нить виртуальной винде, которой выделено всего 1 логическое ЦПУ, встревает
> какой-то процесс и начинает жрать 100% этого ЦПУ, то весь гипервизор
> начинает тупить и встревает до тех пор, пока не прибить кривой
> процесс в виртуалке. как можно сие исправить? крутить cgroups вручную?У меня есть такой сервер под прохмохом, там крутится винда, служащая "корпоративной правовой системой". Этой системе отдан минимум, который она выжирает каждый раз при обновлении, а обновление иногда приходится делать днем. На том же сервере крутятся несколько корпоративных сервисов на линуксах и бсд. Пока "корпоративная правовая система", высосав все отданные ей ресурсы, обновляется, в других виртуалках тормозов нет.
Мой совет: сымитируйте зависон в винде и изучайте htop в гипервизоре, у вас что-то уникальное, железо, может быть, проблемное какое-нибудь.
> там крутится винда,
> На том же сервере крутятся несколько корпоративных сервисов на линуксах и бсдНу и зоопарк. Все ради того, что бы сэкономить денег на пару-тройку новых железок?
админ локалхоста?
Немножко настораживает то, что оно на дебиане. Сам люблю и использую в продакшне дебиан. До недавнего времени держал КВМ-ноды на дебиане 'squeeze'. Однако, заморочившись с libvirt-python, выяснил, что оно не отдает или криво отдает некоторые значения. Дальше -- пришлось водрузить на KVM-хост вендовые серверы с 1Cv8, и нарвался на KVM-guest CPU frequency drift, что гарантированно приводило к утере лицензии после перезагрузки. Поимевшись вдоль и поперек, перевел КВМ-хосты на центось. Полет нормальный, с 1С заработал и работает долго и счастливо. Кроме того, дебиановский КВМ некорректно работает с NUMA. Вопчем, в интернетах есть однозначные рекомендации: хотите КВМ -- ставьте шапошные дистры.
например федору
>KVM-guest CPU frequency drift, что гарантированно приводило к утере лицензии после перезагрузкиэто как? у вас какой тип лицензии?
nethasp не работает?
Программные лицензии. Они слетают от любого изменения конфигурации оси/железа. Сетевое имя изменишь -- лицензия слетит. Не говоря уже о незначительном смещении частоты процессора. Сволочные подходы у 1с, но что имеем, то имеем.
Брр. Лучше никогда не программировать и не иметь дело с. IT чем конфигурять 1С. По не опытности десять лет назад занесло в конфигураторы. К программированию это отношения почти не имеет
Этим проклятые занимаются не иначе :)
от дебиана в проксмоксе только расположение конфигов и пакетная база. что касается виртуализации и сопутствующих сервисов, разработчики проксмокса берут ядро из проекта OpenVZ, которое в свою очередь основано на ядре из RHEL6. либо сами компиляют.так что КВМ, запущенный на дебиане не одно и то же, что КВМ на проксмоксе. разница есть.
Там шапочное ядро. Для сента разве есть такое же готовое решение по виртуализации? virtmanager недотягивает.
> Там шапочное ядро. Для сента разве есть такое же готовое решение по
> виртуализации? virtmanager недотягивает.Нормального решения, за исключением консольного либвирта -- нет. Есть какая-то веб-морда на джанге, но мне не понравилось. Ну и оВирт, но для меня -- это явно перебор. Я затеялся со своей мордой, но пока не до того...
А Линуксовые 1С-сервера не пробовали виртуализировать? Или проблема в отсутствии (физических) ключей защиты? Я, собственно, уже года 3 только Линуксовые 1С сервера использую, правда прямо на железе, без виртуализации...
Пробовал. 8.2 с аппаратным ключом, 80 пользователей. Centos под proxmox. С нового года работает. Нормально.
aksusbd на гостевой системе с пробросом аппаратного ключа туда? Или как-нибудь по-другому?
Э-э-э... Просто проброс ключа в виртуалку средствами proxmox и установка драйвера hasp c сайта 1с.
Ну вообще-то, насколько я знаю, именно aksusbd сервис и управляет аппаратными ключами от 1С под Линуксом. Собственно, именно так Вы и ответили, не вдаваясь в лишние детали, спасибо.
> Пробовал. 8.2 с аппаратным ключом, 80 пользователей. Centos под proxmox. С нового
> года работает. Нормально.Нужна помощь в настройке -можно обратиться ???
У меня абсолютно все сервера виртуализованные. Под КВМ. Пробовал ставить 1с 8.2 под сентосью с постресом. Работало. Единственное -- там есть нюансы со стороны 1с. Но я не особо специалист в 1с, да и внедренцы 1Сшные только и думают, на кого бы вину свалить на все те косяки, которых в 1С и так навалом. В общем, мне не улыбалось, чтобы они говорили, что все проблемы из-за того, что какой-то вася 1с под линуксом использует. Поэтому сделал как все -- на венде, на стандартных для нашей группы предприятий параметрах.
> У меня абсолютно все сервера виртуализованные. Под КВМ. Пробовал ставить 1с 8.2
> под сентосью с постресом. Работало. Единственное -- там есть нюансы со
> стороны 1с. Но я не особо специалист в 1с, да и
> внедренцы 1Сшные только и думают, на кого бы вину свалить на
> все те косяки, которых в 1С и так навалом. В общем,
> мне не улыбалось, чтобы они говорили, что все проблемы из-за того,
> что какой-то вася 1с под линуксом использует. Поэтому сделал как все
> -- на венде, на стандартных для нашей группы предприятий параметрах.SQL сервер виртуальный? Мне одному кажется, что это немного чересчур?
нет, не чересчур. Если Вас смущают возможные потери на дисковый I/0 при виртуализации, так при установленных virtio драйверах они незаметны. В любом случае на КВМ-хосте аппаратный рейд 10. Так что в скорость дисковой подсистемы точно не упираемся. УПП, до 150 пользователей в сеансе. Пуристы ДБА могут посоветовать разнести логи и базы по разным дискам... Вот это тогда точно будет чересчур. А удобство работы с виртуальным сервером не сопоставимо с аппаратным. Попробовав прелестей виртуализации, когда можно поднять десяток-другой осей под задачу, при необходимости, забекапить их, разнести-перенести, склонировать и проч. -- меня теперь с виртуалок не сгонишь. Начинал с OpenVZ, потом Xen + XenServer, теперь КВМ. Считаю, что КВМ впереди планеты всей :) Еще бы морду вменяемую сделали...
bliss, не могли бы вы проконсультировать по производительности postgres?
nikweterсобакаgmail.com
Если не трудно, дайте свои координаты.
> bliss, не могли бы вы проконсультировать по производительности postgres?
> nikweterсобакаgmail.com
> Если не трудно, дайте свои координаты.К сожалению, с postgres не сложилось. В production оно не пошло, а жаль. Поэтому помочь не могу.
Хммм... При SQL базе 100 ГБ и более виртуализация сервера SQL возможна разве что в сильно отличающейся от стандартной конфигурации 1С, судя по моему опыту... Либо если не используются ограничения доступа на уровне записей... Либо если физической памяти на сервере 256ГБ...
Сколько времени у Вас занимает закрытие месяца и какой размер базы, если не секрет?
Ну начиналось все с 1С 7.7 25 SQL. До моего прихода на предприятие оно жило на пятом рейде на сервере w2k3, терминалка + MSSQL 2000. Постепенно мы пришли к такой конфигурации: 3 w2k3 терминальные виртуалки в кластере (балансировка нагрузки) + файлы конфигурации 1С на шаре (Samba в АД) и перемещаемые профили там же + SQL 2008 R2 (1c 7.7 и sql 2008 работают на куче костылей, как моих, так и найденных гуглежом, меня этот набор костылей уже достал, но в скором будущем грозит переезд на УПП 8, поэтому жду). Потом появилась бухгалтерия 1С 8.2 (вероятно, изрядно кастомизированная, потому что внедренцы у нас почти год колбасились). Она работает на w2k3 1C 8.2 сервер (виртуалка) -> w2k3 + SQL 2008 R2 (виртуалка), база ~ 50 Гб (хотя когда полный бекап базы со сжатием выливается в бакулу, он весит всего лишь ~ 5Гб, возможно sparse). до 50 пользователей на толстых клиентах и в терминале. На такой конфигурации живет уже больше года, проблем нет. Последнее -- УПП: 1 сервер w2k8se R2 1c v8.2 x64 16 Гб RAM + w2k8ee R2 MS SQL 2008 R2 12 Гб RAM. До 150 сеансов, в таком виде работает месяц, база до 10 ГБ (только начали), по отзывам наших пользователей-программистов работает быстро даже на сложных отчетах, и внедренцев -- работает так же, как и на других предриятиях группы (где виртуалок и в помине нет). Я понимаю, что это слишком маленькие базы, чтобы делать выводы. Поживем -- увидим. Все хардварные ноды на 10 аппаратном рейде, SASы, гигабитные линки агрегированы, планировщик -- deadline. Все файловые системы виртуалок на ЛВМ. Я не специалист в 1С, даже наоборот. По поводу закрытия месяца -- узнаю у более компетентных в этом плане людей.
Ну в принципе до 25-30 ГБ базы и мы горя не знали... При 32 ГБ оперативы на SQL.Полный бекап базы из Постгреса размером 100 ГБ и у нас менее 5ГБ, т.к. сжатие на лету средствами Постгреса, и бекап делается 25-30 минут.
Желаю, чтобы у Вас все было хорошо и далее, по мере роста... У нас при 100-140 соединениях бэкап растет на 2-3 МБ в день, что соответствует (грубо) 50-60 МБ прироста базы.
а поставить postgres не в kvm, а в контейнер openvz религия не позволяет?
> а поставить postgres не в kvm, а в контейнер openvz религия не
> позволяет?Де-таки Вы взяли Постгрес? Постгрес по Виндою - жалок по определению, во всяком случае, его связка с 1С. Человек же писал - "поставил все как требовали франчайзеры", а они кроме Винды и MS SQL ничего никогда не знали и не требовали...
Я сам почтовую базу на MySQL порядка 180 ГБ на KVM госте имею, но ее (dbmail) писали и проектировали внятные люди, а не разработчики 1С...
Верно ли я понимаю, что Вы имеете положительный опыт виртуализации Postgres 9.x версии при больших базах (хоты бы 50GB) и сложных запросах (типа join на 80-100 таблиц, а не выборки ключ-значение с минимальными наворотами) под openvz? Если так, то это весьма интересно...
> Хммм... При SQL базе 100 ГБ и более виртуализация сервера SQL возможна
> разве что в сильно отличающейся от стандартной конфигурации 1С, судя по
> моему опыту... Либо если не используются ограничения доступа на уровне записей...
> Либо если физической памяти на сервере 256ГБ...
> Сколько времени у Вас занимает закрытие месяца и какой размер базы, если
> не секрет?и, кстати, с такими объемами что вы делаете на 1C?!
>> Хммм... При SQL базе 100 ГБ и более виртуализация сервера SQL возможна
>> разве что в сильно отличающейся от стандартной конфигурации 1С, судя по
>> моему опыту... Либо если не используются ограничения доступа на уровне записей...
>> Либо если физической памяти на сервере 256ГБ...
>> Сколько времени у Вас занимает закрытие месяца и какой размер базы, если
>> не секрет?
> и, кстати, с такими объемами что вы делаете на 1C?!Не я, а предприятие... Предлагаете переучивать 300 придурков, работающих в 4 смены, на что-нибудь другое? И потом еще искать 30 бухгалтеров и прочих, знающих не 1С, а, к примеру, SAP? Или ставить Microsoft Dynamics, с переводом серверов на Винду?
Я сам не фанат 1С, но в ценовой группе до 150 килогрин за лицензии и с возможностью использовать Линукс на серверах это, увы, единственное решение.
Понятно, что правильно - это иная учетная система и экспорт в 1С данных для отчетности, но это не было принято руководством.
>[оверквотинг удален]
> виртуализации, так при установленных virtio драйверах они незаметны. В любом случае
> на КВМ-хосте аппаратный рейд 10. Так что в скорость дисковой подсистемы
> точно не упираемся. УПП, до 150 пользователей в сеансе. Пуристы ДБА
> могут посоветовать разнести логи и базы по разным дискам... Вот это
> тогда точно будет чересчур. А удобство работы с виртуальным сервером не
> сопоставимо с аппаратным. Попробовав прелестей виртуализации, когда можно поднять десяток-другой
> осей под задачу, при необходимости, забекапить их, разнести-перенести, склонировать и
> проч. -- меня теперь с виртуалок не сгонишь. Начинал с OpenVZ,
> потом Xen + XenServer, теперь КВМ. Считаю, что КВМ впереди планеты
> всей :) Еще бы морду вменяемую сделали...Нужна помощь в настройке -можно обратиться ???
> Пакет qemu-kvm обновлён до версии 1.4.0.
> В качестве формата для хранения виртуальных машин по умолчанию задействован qcow2 (вместо raw).кто-нибудь тестировал virtio-block-pci?
Господа, поделитесь, пожалуйста, документацией или опытом, как на этом дистрибутиве прокинуть блочное устройство в гостевой хост.
И как разместить виртуалку непосредственно на lvm-разделе, а не в файле?
> Господа, поделитесь, пожалуйста, документацией или опытом, как на этом дистрибутиве прокинуть
> блочное устройство в гостевой хост.
> И как разместить виртуалку непосредственно на lvm-разделе, а не в файле?Создайте LVM-раздел (lvcreate -nmy_name_partition -L40G data)
Укажите в конфиге использовать ваш раздел
<disk type='block' device='disk'>
<driver name='qemu' type='raw' cache='none'/>
<source dev='/dev/data/my-name-partition'/>
<target dev='vda' bus='virtio'/>
</disk>
Правда, это относится к libvirt. Но по-моему, в Proxmox'e тоже либвирт
Все проще. Создаете группу lvm. В веб интерфейсе добавляете хранилище, указываете использовать существующую группу lvm, выбираете вашу группу. Вуаля - диски будут создаваться как тома в этой группе.
> Все проще. Создаете группу lvm. В веб интерфейсе добавляете хранилище, указываете
> использовать существующую группу lvm, выбираете вашу группу. Вуаля - диски будут
> создаваться как тома в этой группе.Спасибо за оба комментария!
Недавно начал знакомство с этой системой, да и с "большой" виртуализацией в целом.Пока полет нормальный, единственное что через веб-морду как-то странно стар/стоп/ребут виртуалкам через раз передаются и с VNC клиентом не всегда все гладко.
Кстати, как к нему подцепиться внешним VNC клиентом? Находил решения через nc, но что-то ничего путного у меня не вышло.
>Пока полет нормальный, единственное что через веб-морду как-то странно стар/стоп/ребут виртуалкам через раз передаются и с VNC клиентом не всегда все гладкоява проприетарная или openjdk?
>Кстати, как к нему подцепиться внешним VNC клиентом?
только если клиент поддерживает шифрование SSL/TLS
На клиенте? Проприетарная, даже больше под виндой.А про SSL/TLS спасибо. Будем ковырять.
CentOS + WebVirtMgr - будет интересней если не особо нравятся Debian на гипервизоре. Проект хоть и пилится одним человеком, но довольно функциональная и удобная панель для управления виртуалками на KVM. http://github.com/retspen/webvirtmgr
>поддержка безопасной VNC-консолиVNC-консоль уже научилась нормально переключать языки, передавать русские после этого символы, и не раздвоять курсор ?
все нормально с этим. еще с версии 2.2, ЕМНИП.
Господа, ачем сие чудо от OpenNebula или OpenStack отличается?, че лучше использовать?
Не представляю. Точно знаю (прочел) что Cloudstack и Эвкалиптус (забцл как пишктся) намного распространенне Openstack (пока? прибыли не приносит)
Я наоборот отказался от КсенСервер в пользу простого консольного либвирт. Правда, я юзал бесплатный КсенСервер. Лично меня достали глюки с обновлениями, странности со снепшотами, еще какая-то фигня -- не помню уже. Предпочитаю знать все тонкости настройки аппаратных и гостевых систем, чем искать в темной комнате темную кошку... КсенСервер хорош когда довольствуешься тем, что он предлагает. Если хочется большего -- начинаются трудности. Хотя они предоставляют консольный АПИ, но уж больно он заморочен, как по мне. Правда, работало оно довольно стабильно... А оффлайновый бекап на шару так ваще сказка, правда долго, зато красиво :)
Так в бесплатном ничего нет... Нет DVSC (виртуал свичт), нету балансировщика нагрузки между серверами, нету динамического распределения памяти, HA, моментальных снапшотов, портала самообслуживания... много чего... всех самых вкусных плюшек
Что случилось с поддержкой Freebsd 8.1? Почему она теперь не загружается?
> Что случилось с поддержкой Freebsd 8.1? Почему она теперь не загружается?Там тип CPU нужно установить толи kvm64 толи quemu64 и заведется