Джеф Роберсон (Jeff Roberson), добавил (http://lists.freebsd.org/pipermail/svn-src-all/2011-March/03... в дерево исходных текстов FreeBSD-CURRENT портированую версию стека OFED 1.5.3 (http://www.openfabrics.org/jofa/index.php?option=com_content... (OpenFabrics Enterprise Distribution), разработанного организацией OpenFabrics Alliance (http://www.openfabrics.org/jofa/). В состав OFED входит набор драйверов и сопутствующие утилиты для обеспечения работы во FreeBSD Infiniband (http://ru.wikipedia.org/wiki/InfiniBand)-контроллеров, используемых для организации высокоскоростных соединений серверов (от 2.5 до 120 гигабит/с) и организации поддержки технологии RDMA (Remote Direct Memory Access), предназначенной для обеспечения прямого доступа к памяти другой машины (как и в DMA обращение производится напрямую без участия ядра ОС и CPU).
Для сборки системы с компонентами OFED в /etc/make.conf необходимо указать WITH_OFED, так как по умолчанию система собирается без поддержки OFED.URL: http://lists.freebsd.org/pipermail/svn-src-all/2011-March/03...
Новость: http://www.opennet.me/opennews/art.shtml?num=29977
Ну наконец-то. Нормальная система для кластера.
> Ну наконец-то. Нормальная система для кластера.отличный наброс
На прошлом RootConf(который проходил как часть РИТа) рассказывали о кластерах на фряхе, считающих всякие полезности для нефтянки(пиндосской). Фряха была выбрана из-за возможности считать годами и не париться с перезагрузками etc etc. Что как бы намекает.
> На прошлом RootConf(который проходил как часть РИТа) рассказывали о кластерах на фряхе,
> считающих всякие полезности для нефтянки(пиндосской). Фряха была выбрана из-за возможности
> считать годами и не париться с перезагрузками etc etc. Что как
> бы намекает.намекает что у фряхи ядро обновляется без перезагрузки ?!
Намекает на то, что в среде с отсутствующим внешним воздействием (кластер в интернеты не торчал) фряха может работать, работать и работать. Годами.
А пыль из корпусов выдувать не надо? И вентиляторы заменять не приходится. если они под фряхой? ;)
Вам наверное это очень тяжело представить, если вы пользуетесь низкокачественным ПО и железом.Но, видите ли, так же как существуют ОСи, способные работать годами без перезагрузки, точно так же давным давно существовало железо, которое ломается с очень и очень низкой вероятностью.
Например существуют такие вентиляторы для процессоров, которые могут работать годами и не ломаться.
Правда они стоят немного подороже, и их обычно не покупают люди, которые пользуются низкокачественным ПО, поскольку им по-любому приходится перезагружать свои компьютеры.
> Например существуют такие вентиляторы для процессоров, которые могут работать годами и
> не ломаться.Во-во, а если даже и ломаются - шасси скомпоновано так, что кулеры меняются на ходу.
Вы это чувакам из яндекса или гугля расскажите, а то у них то хард в кластере сгорит, то вентилятор начнет барахлить, то БП начинает греться... А так да, есть такие железки даже из дешевых, которые работают очень долго...
> точно так же давным давно существовало железо, которое ломается с очень и очень низкой вероятностьюОно никому не нужно. Т.е. нужно, конечно, его производителям, чтобы на лохах бабки рубить, но и только. Надёжность достигается только резервированием, и никакое дорогое железо тут не нужно - грубо говоря, три списанных десктопа из задрипанной сельской школы будут на порядки надёжнее чем один золотой гроб с дублированным всем.
Люди, которые не пользуются низкокачественным ПО это понимают, ни копейки не переплачивают и имеют надёжнейшие решения в итоге, а лошки покупают один сервер за половину годового бюджета фирмы, а потом думают как же так он всё-таки сломался, раз такой надёжный, да ещё запчасти ждут полгода.
У меня тут сервер стоит, который простоял 5 лет на площадке, после чего(2 года назад) переехал в офис и занял должность роутера. Так вот, я ни разу не выдувал пыль из него. Он, в принципе, внутри гораздо чище, чем можно себе представить. Так что нет, даже раз в 5 лет не надо ничего выдувать.
а мы купили автомобильную ветродуйку и продуваем на ходу.
> фряха может работать, работать и работать. Годами.Вы так говорите, как будто другие в тех же условиях этого не могут :).Знавал я тут сервак. С каким-то ископаемым напрочь пингвином, висящим только в интранет. Дык у него аптайм 3 года был. А почему он был должен сдохнуть то? Работал себе и каши не просил, пока не решили заменить железо на менее ископаемое.
Никто же не говорит, что линух так не может. Просто товарищь сомневался в способностях фряхи.
Давайте аптаймом мериться! У нас есть сервачек, у него скоро 2к дней будет, празднество готовим.
Кстати на нем какой то ископаемый centos стоит, хотя фрях используем значительно больше.
А у нас мониторинг стоит - если аптайм больше полугода - Reboot required. Потому как риск.
А вдруг нулевые секторы погрызены мышами и сервер не загрузится? пусть уж лучше он не загрузится во время планового ребута чем внепланового.
поясните, или дайте ссылку.
How FreeBSD finds Oil - Harrison Grundy
http://www.ukuug.org/events/eurobsdcon2009/talks/
>Фряха была выбрана из-за возможности считать годами и не париться с перезагрузками etc etc. Что как бы намекает.Как бы намекает, что вариантов акромя фряхи и выньдовс сервер не рассматривалось.
Странно, а почему же Top500 про них знает очень мало?
Наверно потому, что такие большие вычислительные системы включают раз в год, чтобы провести на них только лишь соревнования производительности. :))
>>Фряха была выбрана из-за возможности считать годами и не париться с перезагрузками etc etc. Что как бы намекает.
> Как бы намекает, что вариантов акромя фряхи и выньдовс сервер не рассматривалось.Было сказано, что рассматривался Линух. Но была выбрана фряха именно иза способности работать годами без перезагрузок. Винда не рассматривалась.
извините, я не ярый линуксоид или фряшник, но мне такая аргументация кажется смешной.
Почему вдруг линух стало нужно перезагружать?
Ненене, он просто линукс не осилил _загрузить. (а бзд - перезагрузить?...)
> Было сказано, что рассматривался Линух. Но была выбрана фряха именно иза способности
> работать годами без перезагрузок.Может у вас таких хороших еще и кернел можно обновить в духе вон тех чуваков с http://www.ksplice.com/ которые патч на ядро прямо на ходу накладывают, без ребута? :). А то если ядро не патчить - так откуда бы взяться перезагрузкам? oO
> отличный набросЯ вообще-то совершенно серьёзно. FreeBSD на наших тестах всегда показывала лучшие результаты (и, что важнее, её гораздо удобнее администрировать в общем и затачивать под специфичные задачи в частности), но без поддержки скоростного interconnect'а, разумеется, серьёзно не рассматривалась. Сейчас ситуация изменилась - на данный момент есть десяток свободных машин и они на днях отправятся тестировать current. А там посмотрим.
Вот это радует, наконец кластерные технологии добрались до фряхи, давно пора уже
Скокаж стоит такая сетевушечка
от 500$
Ага нужно как минимум 2 штуки что бы 2 компа соединить этого 1000$ за сеть из 2-х компом при этом не будет использоваться даже треть мощности, смысл? За эти деньги можно циску купить и сделать целую сеть из десятка компов
> Ага нужно как минимум 2 штуки что бы 2 компа соединить этого 1000$ за сеть из 2-х компомСпасибо, я умею считать.
> при этом не будет использоваться даже треть мощности, смысл?
Вы мне будете рассказывать на сколько процентов у меня будет сеть использоваться?
> За эти деньги можно циску купить и сделать целую сеть из десятка компов
Вы серьёзно сравниваете гoвноциску и инфинибанд?
циско тоже делает маршрутизаторы на шине infiband
как минимум 1-2Гб/с хватает хорошему провайдеру на целый район, расскажите как это можно использовать дома?
данная вещь не предназначена для домашнего применения. ей место в дата-центре для обеспечения избыточности при создании отказоустойчивых сред обработки информации.
если кратко - есть два и более сервера, которые выполняют одни и те же задачи, при выходе из строя одного из серверов его задачи подхватывают другие. для пользователей данных сервисов это будет выглядеть как легкое подтормаживание сервисов, но не их полный отказ. примером таких сервисов могут служить CDN и вычислительные кластеры. в домашних сетях применение данного устройства является нецелесообразным ввиду отсутствия таких сервисов вообще (я не говорю о провайдерах etc.), а если необходимо создавать такие сервисы - под существующие задачи вполне себе обойдутся гигабитной сетью.
Понтоваться своими "знаниями" и пытаться телепатически угадать что мне нужно а что нет будете в другом месте. Тут - эффективная и дешёвая технология и даже если бы у меня дома не было кластера я её не обломно было бы заюзать "чиста фильмцы гонять".
> как это можно использовать дома?Помнится, кто-то тут рассказывал про "своего знакомого" кардера, который держит дома ЦОД :)
> Помнится, кто-то тут рассказывал про "своего знакомого" кардера, который держит дома ЦОДДа любой уважающий себя айтишник (в общем смысле, и я о тех, кто любит свою профессию и постоянно совершенствуется, а не о быдло{кодерах,админах} которые на работе ухитряются сотворить п**ц, а дома от компов "отдыхают") держит дома ЦОД.
Уж как минимум есть NAS, а даже для самого паршивого NAS гигабит уже несерьёзно, ибо сырые диски уже выдают больше, не говоря уже о 0+1 или raidz (300-400 MB/s для разгона).
А если вам не хватает фантазии на "как максимум" и зачем тут может пригодиться infiniband, непонятно что вы забыли на этом сайте. Как минимум про себя могу сказать - это рендерферма, сборка пакетов, распределённая обработка геоданных в масштабе планеты, распределённые физические симуляции (для которых очень важна latency) и куча всего по мелочи. И даже когда пропускная способность и задержки некритичны, infiniband будет весьма полезен, тем более за такие деньги.
Ну вот есть у меня 24-х портовый инфинибанд коммутатор и сервак с 1-м (!!!!) клиентом к нему подключены, а включаю я её только тогда семья в отпуск уезжает. т.к Шумит эта хрень как самолёт. там 4-е турбины этот коммутатор продувают так, что 2-м людям на дистанции 2 метра орать приходится. 8-ми портовый шумит меньше но он в рэк не монтируется и порты по 10гбит всего. Короче дома эта хрень ненужна никак. даже 10-ти гигабитная тоже не нужна.
> 8-ми портовый шумит меньше но он в рэк не монтируетсяДома рэк не нужен, а шум - проблема решаемая настолько легко, что я бы даже не упоминал. Но да, ради 10Гб огород городить несерьёзно.
Такой же идиотский вопрос как "а зачем тебе дома серверная ось". При том что нет серверных осей, зато есть ущербные. Мне банально нужно рабочей станцией и парой числодробилок получать с NAS'а данные на скорости ZFS, а не тухлого гигабита, а это 400MB/s для "тормозного" raidz не учитывая кэшей. Для другого проекта нужна очень низкая latency.
+ коммутатор от $30000
Один нолик лишний
да, разошелся =))
2-х портовая по 20-гбит на полнодуплексныы порт стоила 2 года назад 275 евро. 30-ти метровый оптический кабель с конвертерами на обоих концах обошёлся в ~500. Так что нормальная штука. Производители вообще за чип по 50$ платили 2 года назад при закупке от 10к чипов.
> 2-х портовая по 20-гбит на полнодуплексныы порт стоила 2 года назад 275
> евро. 30-ти метровый оптический кабель с конвертерами на обоих концах обошёлся
> в ~500.Ну во. Сказка!
кстате, для фри недавно добавили поддержку 10Gb сетевухи broadcom (BCM57710 & BCM57711) - bxe(4)
> кстате, для фри недавно добавили поддержку 10Gb сетевухи broadcom (BCM57710 & BCM57711)
> - bxe(4)Это просто супер новость, больше года эту новость ждали :)
Сразу скажите - IPoIB там есть?
http://www.freebsd.org/cgi/cvsweb.cgi/src/sys/ofed/drivers/i.../
sweeet
> Для сборки системы с компонентами OFED в /etc/make.conf необходимо указать WITH_OFED, так
> как по умолчанию система собирается без поддержки OFED.А если iso-образ качать то там будет включена по умолчанию поддержка infiniband или как?
> Для сборки системы с компонентами OFED в /etc/make.conf необходимо указать WITH_OFED, так
> как по умолчанию система собирается без поддержки OFED.А если iso-образ качать то там будет включена по умолчанию поддержка infiniband или как?
> Для сборки системы с компонентами OFED в /etc/make.conf необходимо указать WITH_OFED, так как по умолчанию система собирается без поддержки OFED.Если iso-образ с фтпшника скачивать, то в нем уже буедт включена поддержка OFED, или как ее подключить?
>Для сборки системы с компонентами OFED в /etc/make.conf необходимо указать >WITH_OFED, так как по умолчанию система собирается без поддержки OFED.А как быть если я iso скачал и с него ставил? Как OFED подключить??? Подскажите плиз, оч. срочно надо((!!!