Доступен (https://www.proxmox.com/en/news/press-releases/proxmox-ve-5-...) релиз Proxmox Virtual Environment 5.2 (http://www.proxmox.com), специализированного Linux-дистрибутива на базе Debian GNU/Linux, нацеленного на развертывание и обслуживание виртуальных серверов с использованием LXC и KVM, и способного выступить в роли замены таких продуктов, как VMware vSphere, Microsoft Hyper-V и Citrix XenServer. Размер установочного iso-образа (http://download.proxmox.com/iso/) 611 Мб.Proxmox VE предоставляет средства для развёртывания полностью готовой системы виртуальных серверов промышленного уровня с управлением через web-интерфейс, рассчитанный на управление сотнями или даже тысячами виртуальных машин. Дистрибутив имеет встроенные инструменты для организации резервного копирования виртуальных окружений и доступную из коробки поддержку кластеризации, включая возможность миграции виртуальных окружений с одного узла на другой без остановки работы. Среди особенностей web-интерфейса : поддержка безопасной VNC-консоли; управление доступом ко всем доступным объектам (VM, хранилище, узлы и т.п.) на основе ролей; поддержка различных механизмов аутентификации (MS ADS, LDAP, Linux PAM, Proxmox VE authentication).
В новом выпуске (http://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.2):
- Пакетная база обновлена до Debian Stretch 9.2, задействовано ядро Linux 4.15.17 (ранее было 4.13). Обновлены версии QEMU 2.11.1, LXC 3.0.0, Ceph 12.2.5, ZFS 0.7.8;
- Добавлена поддержка Cloudinit (https://www.opennet.me/opennews/art.shtml?num=47763), инструментов для начальной настройки виртуальных машин, первой загрузки и развёртывания типовых окружений в соответствии с заданным шаблоном;- Расширены возможности GUI: Появилась возможность создания и присоединения узлов кластера через GUI. Предоставлен интерфейс управления сертификатами Let´s Encrypt. Добавлен GUI для управления ролями. Предложена возможность переключения GUI между расширенным и базовым режимами;
- Добавлен плагин для подключения хранилищ с использованием протокола
SMB/CIFS (поддерживается размещение на таких внешних хранилищах резервных копий, системных образов, шаблонов, iso-образов и образов контейнеров);
- Обеспечено отображение IP-адресов виртуальных машин (используется qemu-guest-agent);
- В LXC добавлена поддержка шаблонов, операций клонирования окружений, перемещения разделов и дисков;
- Добавлена возможность ограничения пропускной способности ввода/вывода для операций восстановления;
- Переработана интеграция терминала в web-интерфейс (используется xterm.js (https://xtermjs.org/))
- В Proxmox VE Firewall добавлена поддержка ebtables (межсетевой экран для сетевых мостов).URL: https://www.proxmox.com/en/news/press-releases/proxmox-ve-5-...
Новость: https://www.opennet.me/opennews/art.shtml?num=48613
Cloudinit с гостем FreeBSD не работает
багтрекер не здесь
Да ты че? А мужики то не знали... Умничай в другом месте
а должен? По-моему эта поделка - linux-only by design...
Единственный адекватный бесплатный конкурент XCP-NG.
еще oVirt есть
Vmmanager тоже бесплатный, при некоторых ограничениях
oVirt это надстройка, а Proxmox это готовый продукт, ещё и с контейнерами.
готовый oVirt как продукт называется RHV.
Proxmox тоже можно назвать надстройкой над KVM, QEMU, etc.
oVirt нельзя записать на диск, вставить в голое железо, нажать "сделать новую ноду" и уйти к себе в подсобку админить через удалённую консоль.
oVirt Node не слышали?
Поддержку mdadm в установщик включили?
Устанавливай пакетом поверх чистого Debian, предварительно размазанного по софтовому рейду.
И LVM можно по-человечески разметить.
Да он вообщем, то и ненужен. Все равно установка через дебиан, не менее удобна и быстра (а может, кстати, и удобней).
для софтовых рейдов там есть zfs
Причем вкомпиленная в ядро и без всяких там dkms
лолшта?
Эх... а прикидывался "специалистом" :-(
> лолшта?Возможно не так выразился.
Имелось ввиду zfs-модули поставляются одним пакетом вместе с ядром и вам не нужно заморачиваться с динамической компиляцией модулей при каждом обновлении ядра.
а, в ентом смисле... ну так dkms для того и придумали, чтобы заморачиваться не самому, а скрипту, причем пакету с ядром незачем при этом что-то лишнее знать о том, какие там еще левые модули ему надо пересобрать.
(он феерически уродлив, но какая нахрен разница - пока работает)так что скорее наоборот - пошли по самому простому пути, собрав модули, гвоздем прибитые к конкретной версии ядра.
а так - как были они отдельной пачкой .ko, так и остаются. Впрочем, какая нафиг разница...
забавнее другое - в списке модулей работающей ve торчит btrfs (громадный, ненужный и неподдерживаемый) - ниасилили заменить дебиановский initrd чем-то своим?
Вообще, нет проблемы вкомпилить zfs+spl статически прямо в ядро.
попробовал я этот zfs. Ну, что вам сказать... когда система бодро соглашается ставиться на предложенный raidz1, а потом оказывается, что ее чудо-grub загружаться с такого не обучен (вариант- выпадает в recovery с тем же результатом) - в общем-то, дальше время на нее можно и не тратить. Кстати, никто не знает, зачем она создает эту уродливую структуру с непонятным "solaris reserved" gpt-разделом в конце диска?уеб-интерфейс, который не позволяет _даже_ нормально отредактировать конфигурацию vm (хочешь подключить существующий диск? Ок, vi /etc/proxmox/гдеонотамзарыто ), да и создать-то ее.. (не нужно мне создавать диск, блин, никакой, я сам...уп-с, этот пункт нельзя скипнуть. И vm без сетей у них не бывают.)
клон с активного снапшота не работает, как и было сказано (и вручную тоже не работает, выдает какую-то невнятную ошибку непойми чего)
эй, ребята,а у вас вообще-то хоть что-нибудь - работает?
кое-как поставить дебиан на флэшку и подключить к нему массив на zol, стянутую с апстрима, я и без вас могу.а, нет, html-консоль работает. Правда, как я понимаю, за это не им спасибо, и она цельнотянутая у кого-то.
неосилятор в треде
все в машину
> неосилятор в тредепростите, чего именно я не осилил в next-next-next-ok?
впрочем, надо признать, я несколько поторопился - этого прекрасного результата я достигал на 5.1-3. Повторив, смеху ради, попытку на свежевышедшем, внезапно, получил вполне загружающуюся и работающую систему.
и вот чего теперь делать, спрашиваетсо... то ли решить что это был случайный мелкий глюк (подумаешь, не позволяющий использовать систему там, для чего она предназначена), быстро исправленный хорошими и работящими разработчиками, то ли все же - исключение подтверждающее правило, что ничего путного в мире опенотсосия-за-много-денег-если-дадут быть не может, и раз загрузчик ниасилен без детских болезней - то смешно ждать что сама система состоящая из кучи сложных и крайне мутных технологий разных альтернативно-одаренных разработчиков будет хоть сколько-то пригодна для работы.
Ну что-то точно не осилил.
Пользуюсь Проксмоксом с 2010 года.
Установил больше 10 кластеров (не хостов).
Ставил на mdadm, DRBD, glusterfs, zfs - различные проблемы вылазят везде, но с ними жить можно, за такую то цену.
"уменявсеработает", ага, ага.> Ставил на mdadm, DRBD, glusterfs, zfs - различные проблемы вылазят везде
если "различные проблемы вылазят" даже в таком простом месте, как скрипт установки (в отличие от меганавороченных скриптов современных линуксов, этот умеет-то только все снести и поставить в единственном варианте) - то каково качество кода и всего дизайна проекта в целом?
вопрос риторический - оно отлично видимо и в недоделанном веб-междумордии, и в отвратительной документации (они эти пятнадцать страничек назвали - документацией). Думаю, в код zol и ядра можно уже не заглядывать - как-то собрали скачанное из стандартных репозиториев, как-то друг с другом скрестили, херак-херак, в продакшн.
зато веб-сайт красивенький - видимо, на это их разработчиков хватило (или наоборот, это единственное, что заказали грамотному аутсорсеру)
Как-то собрать у себя кашицу из lxc, kvm+qemu и даже, о Б-же мой, вручную установить на любую поддеживаемую линуксом fs (включая чудо-кластерные, если данных не жалко, а производительность неограниченная) - я, конечно, могу вообще без всяких там VE, но времени своего будет жаль.
> за такую то цену.
"затобесплатно". Кстати, сколько стоит зарплата осилятора устанавливателя проксмоксов за десять лет, зарплата его сменщика и стажера (которые вдвоем могли бы кое-как его заменить на время отпуска) - и не дешевле ли было на эти деньги купить vCenter или даже несколько?
ага, и у меня всё работает. Совпадение?
А ты продолжай искать оправдание своим мучениям с ESXi. Не буду тебя отговаривать.
> А ты продолжай искать оправдание своим мучениям с ESXi. Не буду тебяох уж и мучаюсь-мучаюсь (кстати, нифига не с 2010, а гораздо раньше, еще с gsx и server) - представляешь, какие мучения - никакой тебе интриги с "поставится на штатную одобренную рекомендациями конфигурацию, или не загрузится по неясным причинам", никакого повода чувствовать себя "великим осилятором", одно лишь страдание и рутина :-(
И поводов вручную редактировать конфиги, что хоста, что виртуалок (кстати, документированные), тоже практически нет, разьве что хочется чего-то совсем уж странного.
И сокровенных знаний, непередаваемых вербально, тоже, увы. Любой пришедший на мое место просто продолжит работу :-(
Вы парни умилительные.
Всё у вас работает, хотя в багтрекерах навалом всякого.
10 очков этим господам за потрясающее везение.
в багтрекерах сложных систем - всегда "навалом всякого", включая 12309
Причем - любых.Но одно дело - напороться на баг в нетривиальной конфигурации, проявляющийся не у всех, не всегда, и в принципе сложноустранимый. Совсем другое - когда штатный установщик системы устанавливает-устанавливает, да и не выустанавливает на совершенно ровном месте.
Это a) отсутствие тестирования в элементарщине - можно не проверять, тестируют ли они что-то более сложное b) уровень кодеров - можно не проверять, какими руками они ковыряются в ядре или в zfs, хорошо если аккуратно тянут у бубунты, как тут предполагают, если даже пихоновский (или что это?) скрипт ниасилен, откуда другим взяться? c) уровень менеджмента, от которого еще не огреблись первые и вторые коекакеры - причем немедля, с отзывом релиза и выводом разборок наружу - облом при установке - отличный шанс потерять потенциальных клиентов, если устанавливали на посмотреть-подумать, и сделали те же выводы, что и я.
> когда штатный установщик системы устанавливает-устанавливает, да и не выустанавливает
> на совершенно ровном месте.Сходи-ка на багтрекер и форум PVE. Посмотрим каким местом ты устанавливал и насколько оно ровное.
Баги там есть очевидно, в том числе в установщике. Но на моем железе УМВР, в отличие от ESXi, кстати.
В альтовый -- да, если что (есть стартеркит и страничка на вики).PS: привет коллегам, у нас BVE вполне себе в работе :)
PPS: ...и ещё привет с osday.ru, сейчас про embox+mesa рассказывают
Их позиция всегда была, что его они не будут поддерживать. Купите себе либо железный raid, либо пользуйтесь рекомендованный ZFS (который куда как удобнее самому PVE для хранения машин).
Обновления по платной подписке?
По платной только стабильные обновления.
Для нескольких хостов, лучше будет поставить обычный дистрибутив Linux с KVM.
И все обновления будут бесплатные :)
Все свежие обновы и тут бесплатны
Сравнивали платную и бесплатную репу 1 к1 шло
Так что условно платно
>задействовано ядро Linux 4.15.17 (ранее было 4.13и они умеют выбирать ядра без longterm... но зачем?
Вот я тоже голову сломал, 4.14 просто проигнорили
>>задействовано ядро Linux 4.15.17 (ранее было 4.13
> и они умеют выбирать ядра без longterm... но зачем?lxc и ceph.
Разработчики гонятся за фичами только-что-едва-успетыми впихнуть в очередное ведро.
Как известно ученический ход - это коллекционирование ошибок.
Подозреваю, хитрые люди из компании проксмокс хотя подучить пользователей. -)А если серьёзно, конкуренция толкает их к добавлению всякого. В управлении компании прекрасно понимают, что новые технологии можно обкатать только на пользователях. Чтобы начать обкатывать надо добавить абстракции, т.е. впилить графический интерфейс. Разработчики же просто выполняют поставленные задачи.
да нет, скорее "а что, еще кто-то есть?"нужна хранилка со снапами, хрен уж с ними с рефералами (хотя их недавно в zfs впилили, но доступа к ним из юзерспейс нет), нужно было чем-то менять мертвый и уже мумфицировавшийся openvz, нужна distributed fs и средства синхронизации кластера.
а что разработчики всего этого (может кроме пункта 1) не умеют в принципе обратную совместимость и не желают заниматься поддержкой, вынуждает бежать впереди паровоза, иначе обратно редхат получится, а это место на рынке уже занято.
> В управлении компании прекрасно понимают, что новые технологии можно обкатать только на
> пользователях.а профит-то где? Вот в моем лице потенциальный клиент потерян лет на десять. То есть, вероятнее всего, навсегда. До наступания на баги собственно ключевых технологий дело даже не дошло.
Я еще может где-то попытаюсь этим пользоваться для хобби-проектов, но попытки притащить эту каку в прод будут мной жестко обломаны, притащивший отправится лично разбираться, где и что там патчили в стандартном софте и как это поддерживать в случае чего самим.Красивые веб-интерфейсы хорошо демонстрировать высокому начальству, не слишком разбирающемуся в технологиях. А разбирающееся может внезапно ухватить за руку при кликаньи по next-next-next, и попросить показать а как тут сделать вот это. Опа, не предусмотрено разработчиками гуя? А что ими вообще-то предусмотрено - "как попало поставить абы какую vm"? А это нам - зачем?
Впрочем, судя по списку дорогих клиентов, профит там в основном на распиле госбабла при автоматизации очередного несчастного немецкого/австрийского муниципалитета, шантажом вынужденного перебираться на опенсорсные технологии за много денег.
Бродит мыслЯ посоветовать сие начальству под замену хЫперВя. Подскажите, большой будет пердолинг напрямую в виртуалку винт пробрасывать? (Есть некоторый опыт по проталкиванию в QEMU-KVM видяхи на домашнем компе)
http://blog.imnotacyb.org/disk-passthrough-in-proxmox/
> Бродит мыслЯ посоветовать сие начальству под замену хЫперВя.Сделайте сперва небольшой стендик, из которого может вырасти пилот.
> Сделайте сперва небольшой стендик, из которого может вырасти пилот.Тут с незадействованным железом не просто плохо, а ОЧЕНЬ плохо :D. Раскопал некий припаянный селерон (куда как ни странно завезли VT-X :D) на соответствующих размеров платке + 1Гб памяти + 2 винта, под деб+прокс и под кагбе хранилище. Ну, 1 виртуалку с вендоХП, перетянутую с текущего серванта HyperV оно конечно осиливает (запускается\грузится\логинится, видно десктоп), но терпение надо очень хорошее :D.
>> Сделайте сперва небольшой стендик, из которого может вырасти пилот.
> Тут с незадействованным железом не просто плохо, а ОЧЕНЬ плохо :D.Ну не знаю, если в Москве -- наверное, могу выручить на время (месяц-два-до_осени) чем-нить всё равно выведенным из эксплуатации. Память тоже какая-то на полочке была (порой народ дома добавляет, ненужные планки складирует). В общем, пишите почтой, если надо.
Хотя лучше всего всё-таки довести до начальства, что посмотреть по сусекам вплоть до домашних на предмет неиспользуемого железа однозначно лучше -- в т.ч. и для хоть какого-то подменного фонда на случай выхода из строя чего нужного.
> Хотя лучше всего всё-таки довести до начальства, что посмотреть по сусекам вплоть
> до домашних на предмет неиспользуемого железа однозначно лучше -- в т.ч.
> и для хоть какого-то подменного фонда на случай выхода из строя
> чего нужного.Премного благодарен за предложение. Ну в общем сначала пообщаюсь, а там уже будем делать выводы из результатов :).
Не соверую, cli - просто убожество, некоторых вещей нет, - только из вэбморды.
При клонировании не использует средства снапшотинга, а тупо копирует часами.
При клонировании машины и нехватке ей места на диске нода падает
> Не соверую, cli - просто убожество, некоторых вещей нет, - только из
> вэбморды.эммм... огласите весь список? А то пока что-то наоборот - чего ни хватишься, в веб-морде нет. В cli что-то есть, что-то только вручную.
> При клонировании не использует средства снапшотинга, а тупо копирует часами.
эмм... вообще-то оно клонирует со снапшота.
> При клонировании машины и нехватке ей места на диске нода падает
что-то я и не удивлен
Привет, Малыш!
http://susepaste.org/images/45353203.jpg
Глубокая мысль: "советую поменять на то - не знаю что"
> Глубокая мысль: "советую поменять на то - не знаю что"а с чего вы решили, что он hyperv знает? Так что, скорее, "советую поменять проклятую винду (которую видел в основном на картинке и кое-как освоил с гуглем три базовые операции) на православный линyпс (который и на картинке не видел, интернет нынче дорог - но вот сейчас анонимы на форуме все подробно разъяснят)"
А потом предлагаешь поменять что-то, у чего ворох проблем тебе хорошо известен, на что-то, что в данном случае больше подходит, и ты действительно умеешь это настроить - а тебе так, подозрительно глядя в глаза - "был у нас тут один такой линуксоукушенный, всем отделом прививки потом делали, и рабочее место продезинфицировали".
Проще будет не блочное устройство прокидывать, а LVM раздел на нем.
вообще не проблема. Разве что не через гуй, а через конфиг виртуалки
root@pve:~# grep scsi /etc/pve/qemu-server/183.conf
scsi0: local-lvm:vm-183-disk-1,size=32G
scsi1: /dev/sdb,discard=on
scsihw: virtio-scsi-pci
Я уже как то отвык от админок - все с консоли. Так и понятнее что и как работает внутри и админки ресурсы не кушают и тюнить намного проще. По поводу сабжа, то очень много на ресурсах где обсудают Ceph спрашивают как по проблемах с которыми столкнулись после того как проксмокс начал его использовать.
> Я уже как то отвык от админок - все с консоли. Так
> и понятнее что и как работает внутри и админки ресурсы не
> кушают и тюнить намного проще. По поводу сабжа, то очень много
> на ресурсах где обсудают Ceph спрашивают как по проблемах с которыми
> столкнулись после того как проксмокс начал его использовать.Проксмокс - это не только гуй, а еще и обвязка для коросинка, управляшка стораджами, сетевая файловая система для синхронизации конфигов, визуализация ресурсов и прочие удобности. Из консоли это все плодить собственными костылями - мучительно рутинно.
А у проксмокса проблемы с цеф потому что до этого его вообще в два клиека нигде нельзя было использовать. Нет цефа - нет проблем с ним.
Это все полноценные сервисы которые достаточно просто настраиваются и интегрируются с виртуализацией. А как раз проксмокс создает костыли для этого что б можно было управлять с так называемого гуя) Поэтому если что то ломается, то найти концы в этих костылях дабы пофиксить самостоятельно - в разы сложнее...
Corosync там сто лет уже не используется.
Не используется rgmanager. В PVE4 отказались от него в пользу своего, более простого HA менеджера.
Corosync на месте. Его используют и для управления кластером (pvecm) и для своей кластерной ФС pmxcfs и для HA виртуалок.
Хороший конкурент для Xenserver.
ядро чьё ? читал раньше, что оно вроде от редхата было, а тут 4,15,17, похоже что сидовское
Ядро было древнее и довольно долго (не уверен, что прям один в один от редхата, но точно патченное и версий 2.6.х) когда они использовали OpenVZ для контейнеров. Как перешли на LXC (начиная вроде с версии Proxmox 4.х) так сразу и ядро обновили.
ядро от убунты
>Пакетная база обновлена до Debian Stretch 9.2На оф сайте >Based on Debian Stretch 9.4
Эвкалипт и Небула туда же
Может кто-нибудь объяснить как PVE работает с VLAN?У меня сервер с 2 сетевыми интерфейсами. Установил PVE в качестве гипервизора. Сеть нарезана VLANами, порт в транке. В мануалах и книгах а-ля Proxmox Mastering везде приводят пример с сетевым интерфейсом bond (linux bonding). Есть ли возможность без бондинга задать для vmbr VLAN?
VLAN для гипервизора не предусматривает выхода на свет, только через прокси, но для ВМ предназначен отдельный VLAN и они должны без прокси выходить в инет. Как этого добиться?
Я из веб-интерфейса создавал сетевые интерфейсы с мостами/бондингом и vSwitch. В ручную правил конфиг для интерфейсов, каждый раз после перезапуска интерфейса системд жаловался, что не может поднять интерфейс.
После ребута сервера сетевые настрйоки применялись, но сервер недоступен по ssh. Приходится через iLO ковырять сетевые настройки.
Пробовал задать первому сетевому интерфейсу статику с указанием VLAN и всё равно не стартует после изменения сеть. Без настроек VLAN сетевой интерфейс поднимается нормально.
Что я делаю не так?
>[оверквотинг удален]
> в инет. Как этого добиться?
> Я из веб-интерфейса создавал сетевые интерфейсы с мостами/бондингом и vSwitch. В ручную
> правил конфиг для интерфейсов, каждый раз после перезапуска интерфейса системд жаловался,
> что не может поднять интерфейс.
> После ребута сервера сетевые настрйоки применялись, но сервер недоступен по ssh. Приходится
> через iLO ковырять сетевые настройки.
> Пробовал задать первому сетевому интерфейсу статику с указанием VLAN и всё равно
> не стартует после изменения сеть. Без настроек VLAN сетевой интерфейс поднимается
> нормально.
> Что я делаю не так?Указываешь на сетевухе виртуалки в качестве бриджа нужный физический интерфейс гипервизора и ставишь tag -- номер влана. Вот и все. Влан для гипервизора на порту свича отдавай аксесом, а уже для виртуалок будут идти тегированными
>Указываешь на сетевухе виртуалки в качестве бриджа нужный физический интерфейс гипервизора и ставишь tag -- номер влана. Вот и все.Это понятно, вопрос в другом.
>Влан для гипервизора на порту свича отдавай аксесом, а уже для виртуалок будут идти тегированными
Я не могу задать VLAN tag для сетевого интерфейса гипервизора. Системд выдаёт ошибку, что не может поднять интерфейс. Я руками вношу правку в /etc/interfaces и далее # ifdown интерфейс # ifup интерфейс. Даже если делаю через системд systemctl networking.service restart или stop/start всё равно интерфейс не поднимается. Утилита service в этом случае даже не видит сервис сетевой! После ребута интерфейс поднимается, но сервер недоступен и его никто не видит. Какие-либо запросы от сервера или к серверу не проходят. ifconfig показывает, что интерфейс поднят.
В сети встречал советы дескать необходимо vlan пакет установить и через vconfig добавить интерфейс и всё заработает. Я попробовал. И сломал зависимости. При # apt-get upgrade мне система заботливо выдаёт, что пакет proxmoxve будет удалён.
>[оверквотинг удален]
> Это понятно, вопрос в другом.
>>Влан для гипервизора на порту свича отдавай аксесом, а уже для виртуалок будут идти тегированными
> Я не могу задать VLAN tag для сетевого интерфейса гипервизора. Системд выдаёт
> ошибку, что не может поднять интерфейс. Я руками вношу правку в
> /etc/interfaces и далее # ifdown интерфейс # ifup интерфейс. Даже если
> делаю через системд systemctl networking.service restart или stop/start всё равно интерфейс
> не поднимается. Утилита service в этом случае даже не видит сервис
> сетевой! После ребута интерфейс поднимается, но сервер недоступен и его никто
> не видит. Какие-либо запросы от сервера или к серверу не проходят.
> ifconfig показывает, что интерфейс поднят.Лучше не делай ifup и рестарт networking.service. Это можно, но есть нюансы. Сказываются особенности Дебиновского конфига сети, надо понимать как он работает. Я не один день маны читал и скрипты парсил.
Если хочешь править конфиг одновременно из консоли и из ГУЯ, или видеть как Proxmox понимает твои правки, используй /etc/network/interfaces.new, а затем ребут.
Если хочешь добавлять и менять виланы хоста без ребута, используй Open vSwitch. Это рекомендуемый вариант в Proxmox VE 5.
>Лучше не делай ifup и рестарт networking.service. Это можно, но есть нюансы. Сказываются особенности Дебиновского конфига сети, надо понимать как он работает. Я не один день маны читал и скрипты парсил.Странно. ifup и ifdown приводят в пример в книге Mastering Proxmox, правда в книге рассматривается версия 3 или 4. Тем не менее. Даже не используя скрипты ifup/down и только пользоваться systemd - эффект тот же самый.
>Если хочешь править конфиг одновременно из консоли и из ГУЯ, или видеть как Proxmox понимает твои правки, используй /etc/network/interfaces.new, а затем ребут.
Это я знаю.
>Если хочешь добавлять и менять виланы хоста без ребута, используй Open vSwitch. Это рекомендуемый вариант в Proxmox VE 5.
Пробовал. Я создавал ovs bridge со статическим IP и маской, без указания gw, т.к. на другом интерфейсе его уже задавал. После создал ovs bond и указал ему интерфейс ovs bridge. Ребутнул сервер и после загрузки сеть опять не загрузилась, хотя ifconfig показывает, что интерфейсы подняты, адреса/маска/шлюз заданы. Но сервер не отвечает ни на пинг, ни трассировку не проходит.
Порты на циске переводили из access в trunk и обратно, но сеть почему-то так и не взлетает. Работает только vmbr или если статикой задать каждому интерфейсу настройки. VLAN в таком случае всё ещё не работает.
> Странно. ifup и ifdown приводят в пример в книге Mastering Proxmox, правда
> в книге рассматривается версия 3 или 4. Тем не менее. Даже
> не используя скрипты ifup/down и только пользоваться systemd - эффект тот
> же самый.В зависимости от ситуации, эффект будет разный. В случае простого добавления новых интерфейсов, должно работать. Дебианский ifupdown это долгая история. Как ни странно с OVS он лучше всего работает. Штатный способ PVE изменить конфиг и ребутнуть "Pending changes (Please reboot to activate changes)".
> Пробовал. Я создавал ovs bridge со статическим IP и маской, без указания
> gw, т.к. на другом интерфейсе его уже задавал. После создал ovs
> bond и указал ему интерфейс ovs bridge. Ребутнул сервер и после
> загрузки сеть опять не загрузилась, хотя ifconfig показывает, что интерфейсы подняты,
> адреса/маска/шлюз заданы. Но сервер не отвечает ни на пинг, ни трассировку
> не проходит.Бонд не нужен, если у тебя на коммутаторе его нет.
В случае OVS, у тебя должен быть OVS Bridge vmbrX, у которого 2 порта: физический с транком и внутренний (OVS IntPort) с вилан тэгом.
IP адрес нужно назначать не vmbrX, а внутреннему порту (OVS IntPort) на котором соответствующий гипервизору вилан.
Это естественно при условии что на коммутаторе транк с тегированным трафиком.
Спасибо. Буду курить в эту сторону.
>Сеть нарезана VLANами, порт в транке.
>Есть ли возможность без бондинга задать для vmbr VLAN?Есть варианты.Вот некоторые:
Самый простой добавить в /etc/network/interfaces вилан обычным дебиановским способом на физический интерфейс --
vlan-interfaces(5) и на него навесить IP адрес гипервизора. Недостаток в том, что виртуалкам не дать тот же самый вилан шататным способом.Второй
создаешь вилан в конфиге без адреса
iface ens18.100 inet manual
Создаешь бридж (vmbr1 к примеру). В его порты добавляешь ens18.100. IP адрес навешиваешь на бридж. (https://pve.proxmox.com/wiki/Network_Configuration#_vlan_802_1q)Третий
Установить OVS. После этого сё конфигурится в ГУЕ. https://pve.proxmox.com/wiki/Open_vSwitch
Создаёшь OVS бридж, в него добавляешь физический интерфейс, на котором транк.
Создаёшь OVS IntPort, в котором задаёшь тэг вилана для доступа к гипервизору.
кто сказал OpenStack?!
Тем, кого заинтересовал и заинтересует Proxmox - https://forum.pfsense.org/index.php?topic=136398.0
Пользуюсь проксмоксом, честно говоря от безысходности. Нужна хоть какая-нибудь интеграция с zfs и web-консоль с адекватным разграничением доступа, чтобы можно было дать доступ виртуалкам для не очень квалифицированного специалиста.Я пропущу достоинства, думаю, маркетологи справятся за меня, давайте поговорим о проблемах.
1. Если мы создаем диск виртуальной машине в пуле zfs, как вы думаете, будем ли мы использовать снимки? Вопрос риторический, ради это все и делается. Если есть снимок, то любая запись в диск будет расходовать место в пуле. Что произойдёт, если в пуле кончится место, как вы думаете?
Например во всех системах, основанных на libvirt все виртуальные машины, зависимые от пула окажутся в состоянии paused и можно их запустить заново, после освобождения пространства. А в proxmox - сюрприз, в виртуалку прилетит WriteError, при этом линаксы, как правило, сами заблокируют операции записи, не позволив испортить файловую систему, но сервисы могут попадать. А винда молча порушит ntfs. Можно вручную, в конфиги дописать флаг werror=stop, но способа запустить виртуалку после его сработки я не нашёл, в доках, само собой, в такие дебри даже никто и не лезет.2. У них анонсирована killer-фича - ZFSoverISCI. Это когда виртуальная машина использует диск, размещенный в zfs на другой машине, и при этом proxmox должен управлять, например, согласованным создание снимков виртуальной машины, несмотря на то что пул не на этой машине. Почему я пишу машине, а не ноде? А потому, что нет никакой возможности управлять iscsi-target в современном linux, только ietd который давно уже выпилен из ядра. В списках рассылки, разработчики никакой проблемы не видят. Сказали, не располагайте zfs пуля на нодах proxmox. Но дело, в том, что похоже, этот механизм, ничем кроме старого линакс управлять и не умеет. Так как прикажете это использовать?
3. По сети, там теперь выпилили пакет vlan, и, если не рассматривать OpenVSwitch, то очень удобно использовать их фичу VLAN-aware bridge. Но адекватных примеров построения сложной сети нет. Мне например нужно пробросить тегированный трафик через l2-vpn, но при этом нужно чтобы сам гипервизор, тоже имел ip в некоторых vlan-ах. Выше спращивал как это сделать. Для vlan-awere так:
ifconfig tap0 up
ip link set dev tap0 master vmbr0
bridge vlan del vid 1 dev tap0 PVID Egress Untaggedfor i in $(seq 10 255); do
bridge vlan add vid ${i} dev tap0
done# Например, мы хотим, чтобы у гипервизора был ip в 55-ом VLAN
ip link add link vmbr0 name vlan55 type vlan id 55
bridge vlan add dev vmbr0 vid 55 self
ifconfig vlan55 inet 192.168.55.200/24 upКак это вставить в конфиг дебиана, я не знаю. У меня это стабильно не заработало, но vpn имеет хуки, и сам выполняет эти команды при поднятии tap-интерфейса.
Ну и в целом, какое-то неоднозначное впечатление. Что-то хорошо сделано, где-то даже замысел не понятен и ни доков, ни примеров.
1. ZFS не пользуюсь. Пока он не проходит мой личный QA. Не все грабли собраны. virtio не пользуюсь по многим причинам, не буду офтопить, удачи с ним.
2.
>А потому, что нет никакой возможности управлять iscsi-target в современном linuxВ современных ядрах LIO, который управляется targetcli. Много этим пользоваться не приходилось, предпочитаю избегать iSCSI в проде, но впечатление осталось неплохое, прозрачная понятная и удобная штука (если сравнивать со всякими альтернативами, СХД и т.д.)
3. Дебианский ifupdown это реальный недостаток в том числе Proxmox. Сам плююсь на него каждый раз. Практика показала, что стабильнее всего со сложными конфигами сети в Debian-based справляется OVS. VLAN-aware штука годная, но сыроватая на мой вкус.ЗЫ
>линаксс этим к логопеду
Наверное я не совсем понятно выразился про lio, управлять им не может proxmox, может только iet. В ручную это делать смысла нет, тогда уж проще libvirt использовать.Про zfs, лично я им пользуюсь уже более 5 лет в linux (надеюсь, логопед будет доволен), да косяки есть, но они не настолько критичны. Но, в целом, zfs обеспечивает большую безопасность данным, причем намного. Приведу небольшой пример. В zfs очень редко можно поймать зависание операций ввода вывода из-за циклических блокировок. В этом случае, вам придется перезагрузить машину. Потерь данных, у меня ни разу не было. С другой стороны, на аппаратной raid-10 массиве в сервере dell с серверными scsi -дисками, оказалось, примерно с такой-же частотой с одного из дисков читались неверные данные. В результате рухнуло несколько виртуальных машин. Было очень тяжело понять в чем дело, об ошибках не было никакой информации, выяснилось после миграции хоста на zfs - в контрольных суммах появились ошибки на сбойном диске. А косяки lvm до сих пор не все выявили, там они реально есть, и особенно заметны при быстром создании и удалении снимков. zfs буквально решила все мои проблемы.
virtio не пользуюсь по многим причинам, не буду офтопить, удачи с ним. А все-же, можно парочку примеров? Я использую virtio-scsi через который trimm можно пропускать.
> virtio не пользуюсь по многим причинам, не буду офтопить, удачи с ним.
> А все-же, можно парочку примеров? Я использую virtio-scsi через который trimm
> можно пропускать.описался s/virtio/libvirt/