Кластер Microwulf (http://www.calvin.edu/~adams/research/microwulf/) с производительностью 26.25 gigaflops удалось собрать (http://www.calvin.edu/news/releases/2007-08/microwulf.htm) затратив всего 2500 долларов. Кластер побил рекорд соотношения цена/производительность, при стоимости 1 Gflop ниже $100.
Кластер работает под управлением Ubuntu Linux. Аппаратная составляющая включает (http://www.calvin.edu/~adams/research/microwulf/budget/) в себя 4 материнских платы MicroATX MSI K9N6PGM-F c 2 GB RAM и 2-х ядерными процессорами AMD Athlon 64 X2 3800+ AM2 и 4 блоками питания мощностью 325W. В качестве сетевых карт используются Intel PRO/1000 PT PCI-Express.URL: http://www.calvin.edu/news/releases/2007-08/microwulf.htm
Новость: http://www.opennet.me/opennews/art.shtml?num=11867
Это шутка? Кластер с ethernet? Это что-то....
Тогда у меня на работе мега-кластер - ~200 бездисковых терминалов под Linux уровня sempron-3500+ Ну еще парочку двухпроцессорников на четырехядерных ксеонах можно сюда приписать... Что теперь мерить воздушные гигафлопсы и рапортовать что можно собрать такойто кластер?
Ну... для нечувствительных к латентности и пропускной способности задач, которые влезут в два гигабайта -- наверное, такой вот кластер. Один знакомый аэродинамику дома на четырёх узлах вон считает тоже по эзернету.Хвастаться действительно нечем.
(и обычная за последние несколько недель присказка -- "или это только мне опять показалось, что очередные убунтушники кудахчут над яйцом обыкновенным?")
А еслиб там написали на базе Alt Linux мнение бы поменялось?
:-)
>А еслиб там написали на базе Alt Linux мнение бы поменялось?Нет, конечно.
Было бы точно то же самое.
К счатью в Alt редко вижу людей, которые изобретая очередной велосипед кричали бы о великих достижениях.
Да, самое интересное -- с точки зрения железа задача-то тривиальная.
А вот более интересные задачи, а именно:
- софт;
- компоновка (даже 4 машинки уместить попытаться действительно компактно, малошумно, и т.д. это непростая задачка);
В какой области такая работа, если не секрет?
Вот когда сделаешь, тогда и напишешь.
напиши/запусти свое/существующее кластерное приложение и можеш рапортовать :)
Какая хрен разница, хоть i8086 и через модем на 300/NONE, под DOS.У них вышло 95.23$ за 1 Гигафлоп.
Вам Слабо?!
Кто-то не в курсе, что сделать быстрый кластер не проблема, проблема в коммуникации между узлами и в ПО?Человека, который _не в состоянии_ сделать то что описано в этой статье нельзя брать даже старшим помощником младшего админа.
Ээээээ, Чебуратор.... Уписаюсь, дайте две......http://www.seiros.ru/about/conditions
> Так как все наши решения строятся на базе ОС «Linux», мы ожидаем, что обслуживающий их
> персонал имеет достаточные знания об устройстве и правилах администрирования этой ОС. Мы
> рекомендуем для этой цели ознакомиться, например, с бесплатными online-курсами на сайте
> http://www.intuit.ru.Denis Smirnoффф - тоже по курсам интуита училси. :)
Неуместная шутка. Перечитайте заметку и перейдите по ссылке, чтобы понять разницу межде тем, что сделали и тем, что вы предлагаете.
>У них вышло 95.23$ за 1 Гигафлоп.У Т-С тоже дёшево выходит, да только после сдачи торжественного линпака что-то с этим надо делать, чтоб терафлопсы материализовать во что-то пригодное для использования.
Кто-то в своё время хорошо сказал: "формула 4колеса/2двери может характеризовать как спортивный BMW прошлого года выпуска, так и двадцатилетний запорожец". Про то, что сделать быстрый процессор несложно, а трюк в том, чтобы сделать быструю систему -- говаривал сэр Сеймур Крэй.
Схожее и здесь -- дурное дело нехитрое собрать десктопник, вот обсчитать реальную задачу на нескольких таких с приемлемым коэффициентом масштабирования -- может оказаться куда сложнее.
>Какая хрен разница, хоть i8086 и через модем на 300/NONE, под DOS.
>
>
>У них вышло 95.23$ за 1 Гигафлоп.
>
> Вам Слабо?!Playstation 3 - $5 за гигафлоп.
...так... Мысля:2500$ - Это же 3 штуки Sony Playstation 3 +
коммутатор + провода + подключение к интернет +
для выкачивания OS и софта + ящик Доширака
пожрать и пиво на время создания кластера. :)P.S.
Кстати, затраты на своё существования
они видимо не считали?!
>2500$ - Это же 3 штуки Sony Playstation 3Во-во, и с выжиманием из сони флопсов придется попотеть, ибо Cell штука хорошая но кучку грамотных прогрмеров потребует.А это кстати недешево будет стоить.А этот кластер кстати уже можно за 1200 с копейками собрать.Ы?Соотношение цена\производительность вообще убойное.
че-то вы несёте..
ребята, вы наркоманы, создайте такое же, а потом говорите что не новость.
да, согласен, что такое можно сделать без проблем, но это фактически руководство как сделать кластер. кому то оно поможет, кому то оно будет не в новизну.
>ребята, вы наркоманы, создайте такое же, а потом говорите что не новость.Дяденька, погуглите первый украинский микрокластер uCube -- там четыре двухпроцессорных ноды (на дуронах ;) было собрано в мелкую тумбочку и тоже показывало для своего времени офигительные цифры условных единиц за условного попугая. Вот только сейчас оно стоит разобранное на верхних этажах инкиба, а на нижних молотят десятки нод, в каждом кластере соединённых Infiniband (это не гигабит и даже не десятка, по нему пробегает гига*байт* в секунду с латентностью порядка единиц микросекунд -- разница в видах спорта вообще заметна?).
Касательно $100 -- цена спускается с железом, они б ещё с калькуляторами сравнивали, а не с суперкомпьютером десятилетней давности. Через год-два их цифры будут выглядеть смешно.
>да, согласен, что такое можно сделать без проблем, но это фактически руководство
>как сделать кластер. кому то оно поможет, кому то оно будет
>не в новизну.Да никакое это не руководство, поймите же наконец. Это расслабленно-лирическая блажь для детей на ночь о том, как мы умеем скручивать платки болтиками и *прекрасная* иллюстрация комментарию Крэя. Вредна она тем, что разбавляет смысл существующего профанацией и провоцирует таких же лопоухих студентов и их профессоров сравнивать свои поделки с действительно параллельными системами для не очень узких кругов задач.
Руководство "как сделать кластер" -- это Linux Parallel Processing HOWTO, Beowulf HOWTO -- то, что не рассказывает, как прилепить четыре писюка к свичу, а занимается собственно деталями отличия таковых от кластера -- _эффективной_ параллельной обработкой данных.
Это как взять четыре велосипедика, прихватить их автогеном и сравнивать с четырёхосным тягачом. Да, колёс столько же, вот только кинь тонну груза -- мокрого места не останется. Ну или как вот картинка бегала -- "Запорожец" с битурбо от ауди. Дёшево, смешно, но не TT.
Так вот проблема -- если называть четыре велосипедика кластером и прыгать над этим далеко не уникальным фактом и кромко кудахтать, то люди, которые о кластерах знают понаслышке, могут вбить себе в голову "а вот на рынке было по три". И потом им сложней будет понять, что по пять (с инфинибэндом) в двадцать раз лучше, а не в полтора.
Подобный класс проблем около e.g. брэндов называется brand dilution -- "разбавление". Здесь выходит cluster dilution.
PS: бывают эзернетные кластеры, бывают. Просто далеко не для всех задач на них просадка мастабируемости приемлемая. См. тж. http://top500.org/sublist по интерконнекту.
PPS: не, убунту -- это сплошные провокации к профанации... даёшь Deep Blue каждой кухарке, шоб залезшая к ним самоходная живность обладала приличными возможностями ещё и хэши ломать при надобности. Они всё равно даже не заметят.
>PS: бывают эзернетные кластеры, бывают. Просто далеко не для всех задач
>на них просадка мастабируемости приемлемая. См. тж. http://top500.org/sublist по интерконнекту.1 through 50 of 206. Это у которых Interconnect указан как GigEthernet. Довольно заметный процент, не находите?
>>См. тж. http://top500.org/sublist по интерконнекту.
>1 through 50 of 206. Это у которых Interconnect указан как GigEthernet.
>Довольно заметный процент, не находите?Гм, мне казалось, там заметно меньше. И в предыдущем тоже сопоставимо -- 213/500.
Пошёл есть ~20% своей шапки :)
Но всё равно гигабит и 2Gb RAM -- это достаточно жёсткие ограничения для многих задач, которые имеют заметный обмен или working set, соответственно. Гигафлопс гигафлопсу рознь, о чём в первую очередь и пытался сказать.
> Гигафлопс гигафлопсу рознь, о чём в первую очередь и пытался
>сказать.Все-таки давайте мухи... то есть, гигафлопсы отдельно а RAM отдельно, а?А то можно заявить что с точки зрения математики флопс он и в африке флопс, а то что на конкретной задаче одна система эффективнее другой - так это знаете ли, если жонглировать цифрами и фактами то можно и еще много чего интересного нажонглировать.
Ведь как известно "теория считается доказанной если для ее подтверждения требуется отбросить не более 50% результатов сделанных измерений" (c) законы Мерфи :)
>Все-таки давайте мухи... то есть, гигафлопсы отдельно а RAM отдельно, а?Давайте.
>А то можно заявить что с точки зрения математики флопс он и в
>африке флопс, а то что на конкретной задаче одна система эффективнее
>другой - так это знаете ли, если жонглировать цифрами и фактами
>то можно и еще много чего интересного нажонглировать.(подумав со вчера и перелистав ещё) Согласен, перестарался :-)
Впрочем, вот как высказался наш техдиректор, который поднимал, кажется, все известные работающие кластеры заметного размера в Украине:
---
Ну, вообще-то это хрен знает что.
Цена 2-х 4-х ядерных процессоров i5345 860$
4-x планок по 2GB FB-DIMM 640$
Мать плюс корпус можно за 800$
Итого уже меньше, чем 2500$ за 2.33*4*4*2=74.56GFlopsНахрена такой кластер? А при таком подходе, т.е. 90$ за гигафлопс
у меня есть на все про все 90*74.5 аж целых 6700$ - это
целый узел на супермикре, что я показывал на фоках - почти 150GFlops
Но с инфинибэндом - пиар, блин
---("узел на супермикре" -- это навроде http://supermicro.com/products/nfo/1UTwin.cfm; возможно, такое тут под тесты ставили: http://www.hpcwire.com/hpc/449938.html)
У нас на коммерческих проектах получается совсем не катастрофически отличающаяся от "достижения" этих студенто-профессоров цена гигафлопса, только таки с приличным объёмом памяти, infiniband вместо GE и стораджем (не знаю, включается ли туда же охлаждение и бесперебойное питание или отдельно, но это как раз железо и не-ИТ работы по большей части).
>PPS: не, убунту -- это сплошные провокации к профанации...Ага, но замечу что если бы ваша система была основана на убунту или дебиане обструганом не хуже чем убунта - я бы даже ее юзал.А так - убунта как-то мне симпатична.При всем уважении мне редхат-based системы не нравятся.Горбатые они какие-то, в debian-based много мелких но облегчающих жизнь полезностей.
А так - я вот например знаю
- Знаю где слить убунту.
- Знаю что даже по битторенту (не говоря о HTTP\FTP) она сольется за ~час-полтора на 4Мбит канале.При том на выбор все варианты оной и разные версии на вкус и цвет.А у вашей компании вечно исохи это просто головняк - то такой нет, то этакой, то вон ту штуку можно только купить.Кхм... геморройно как-то у вас оно устроено, дяденька.
- Знаю что будет завтра.Предсказуемое развитие.
- Знаю что убунта будет бесплатна и завтра тоже.И даже новая версия.Которая просто предложит скачаться через апдейтер прямо он-лайн.
- Знаю где заказать диски с ней бесплатно (и пришлют, 5 очков форы в регионах с хилым интернетом).Удобно посоветовать чайникам с медленным интернетом.
- Знаю что есть большие русскоязычные и англоязычные форумы.
- Знаю что репозиторий поддерживается относительно вменяемо.Апгрейд софта никогда ничего не рушил.Даже из репозитория Universe.И даже система целиком может обновить свою версию онлайн и без потери настроек.Очень удобно.И бесплатно.Кто еще так может? :)
- Знаю что под нее есть много софта.Который поставится с полпинка и без приключений и будет просто работать.
- Знаю что могу порулить репозиториями на все случаи жизни.Так как мне хочется.Дебиановская система пакетов мне нравится.Еще пару штрихов к ней и будет вообще красота ;)
- Знаю что вендоры железа всерьез озабочены чтобы их железо в этом дистре работало.Делл, АТИ, ... - не только названия.
- Знаю что 90% кофейников которым ее посоветуешь смогут ее поставить, ибо сетап прост как валенок.Чем и хорош.Да откуда я знаю какие мне пакеты нужны при начале установки если я систему впервые вижу?Поставим а там разберемся уже в процессе - благо это не XP и установить\снести можно что угодно ;)
- Знаю что популярность это хорошо.Больше будет софта под систему, активнее будет развиваться.И я не заметил широкого распостранения вашей системы по планете.Русскоязычная часть это конечно гуд, но если система популярна во всем мире, софта под нее будет явно больше, как и внимания к ней производителей хардвара.Вопрос: что из этого я могу сказать о вашей системе?Уверен ли я что смогу обновить ее до новой версии онлайн и ничего не платя да еще и без слета настроек?Уверен ли я что получить желанную исоху новой версии задаром (скажем торентом) не будет проблемой?Что система будет проста в освоении?Или что я знаю какой у вашей системы вектор развития и что ожидать завтра?Хм.Извините, но я как-то не чувствую себя уверенным в отношении вашей системы.Пардон если обидел.Может и по жлобски звучит но убунта поставила планку на энную высоту.Придется прыгать выше, sorry.
>Ага, но замечу что если бы ваша система была основана на убунту
>или дебиане обструганом не хуже чем убунта - я бы даже ее юзал.А если бы она кофе заваривала и за пивом бегала -- то её юзал бы даже гаишник за углом.
>А так - убунта как-то мне симпатична.При всем уважении мне редхат-based системы не
>нравятся.Горбатые они какие-то, в debian-based много мелких но облегчающих жизнь
>полезностей.Мне redhat-based тоже не нравятся, да только "наша" -- RPM-based, а не RH-based ;) В ней нет ряда мелких вкусностей dpkg, зато есть ряд мелких вкусностей rpm.
Если Вы полагаете, что люди, которые поддерживали в т.ч. и разработку, и издание Debian в России (среди прочих) -- не подумали дважды насчёт смысла основываться на нём, то это не так (Новодворский не раз по этому поводу высказывался).
Если Вы полагаете, что основываться на Debian/Ubuntu -- это "решение всех проблем", то это _совсем_ не так. Это обмен решённых ими технических проблем на проблемы взаимодействия, которые пропорциональны различию в целях, инертности и самомнению сторон. Не один и не два проекта на этом уже понабивали шишек.
>А у вашей компании
Я работаю в Киеве, а не Москве или Питере, JFYI.
>вечно исохи это просто головняк - то такой нет, то этакой, то
>вон ту штуку можно только купить.Кхм... геморройно как-то у вас оно
>устроено, дяденька.Это не у нас ;) А "им" и сам стараюсь по мере возможности подсказывать то же самое. Просто не всегда зависит от них -- например, SOHO Server 2.3 у меня есть, но вот выложить его на FTP не могу, поскольку там договорные отношения ещё с кем-то.
Хотя и это напоминает лукавство -- Вы точно знаете, где "скачать исоху" того, что они договорились поставлять с Dell? Найдя на ftp.altlinux.org тот же Desktop 4.0 или Compat 3.0 -- его скорее получится поднять на видеокарте, работающей только с закрытыми драйверами.
>- Знаю что убунта будет бесплатна и завтра тоже.И даже новая версия.Которая
>просто предложит скачаться через апдейтер прямо он-лайн.Альты не делали громких заявлений (ну не умеют они пиариться) -- зато делали добро и бросали его в тырнет ;) Возможно, констатировать убеждение в том, что линукс должен быть доступным для загрузки/копирования, установки и работы -- действительно стоит публично, если в России уже докатились до штатовских стандартов реагирования на рекламу по дороге.
>- Знаю где заказать диски с ней бесплатно (и пришлют, 5 очков
>форы в регионах с хилым интернетом).Это временно, насколько помню ответ Марка по вопросу "это навсегда?". Что и логично.
>Очень удобно.И бесплатно.Кто еще так может? :)
У меня годами системы обновляются -- из updates по крону, между версиями -- удалённо. Покатит? :)
>- Знаю что могу порулить репозиториями на все случаи жизни.Так как мне
>хочется.Дебиановская система пакетов мне нравится.Еще пару штрихов к ней и будет
>вообще красота ;)Пилите :) Тут тоже есть своя "пара штрихов" -- вот лучше займусь :)
>- Знаю что вендоры железа всерьез озабочены чтобы их железо в этом
>дистре работало.Делл, АТИ, ... - не только названия.Конечно, особенно когда оно не работает. С обвязкой и в альте бывают такие же проблемы (SD-ридеры, подобное), а вот с основой обычно проблем нет. Озабачиваться нечем, вот незадача.
>- Знаю что 90% кофейников которым ее посоветуешь смогут ее поставить, ибо
>сетап прост как валенок.Чем и хорош.Да откуда я знаю какие мне
>пакеты нужны при начале установки если я систему впервые вижу?Desktop 4.0 не смотрели? ;-)
>- Знаю что популярность это хорошо.Больше будет софта под систему, активнее будет
>развиваться.И я не заметил широкого распостранения вашей системы по планете.У планеты слишком много проблем со штатовскими законами по патентованию воздуха, чтобы был смысл заморачиваться с планетой. Said that, пользователи водились (водятся?) и в штатах, и вот в Пакистане, оказывается.
>Вопрос: что из этого я могу сказать о вашей системе?
Точно не всё.
Но есть что сказать и из того, что не выйдет (возможно, никогда) сказать про Ubuntu; при этом народ, который делает тот же LinuxMint -- отличился опять же характерной "прямотой", влепив туда помимо драйверов, которые _можно_ распространять, ещё и вареза вроде Acrobat Reader с невинным ответом на указание проблемы -- "так его же можно СКАЧАТЬ?!"...
Иными словами, мне вот как-то сильно комфортней в сообществе ALT, чем в толпе Ubuntu. Люди в среднем гораздо интереснее.
>Уверен ли я что смогу обновить ее до новой версии онлайн и ничего не
>платя да еще и без слета настроек?Я -- уверен. На основании опыта, который старше убунты раза в два.
>Уверен ли я что получить желанную исоху новой версии задаром (скажем торентом)
>не будет проблемой?http://www.mininova.org/search/?search=altlinux
>Что система будет проста в освоении?Или что я знаю какой у вашей системы
>вектор развития и что ожидать завтра?Вы этого не знаете ни о ком. Если покупаетесь на чьи-то высказывания -- проверяйте их, в Ubuntu, как и в Microsoft, пока по факту принято рассказывать больше, чем потом делать.
Хотя делают и те, и те -- много.
>Хм.Извините, но я как-то не чувствую себя уверенным в отношении вашей системы.
>Пардон если обидел.Да не, всё в порядке ;-) Я бы тоже не устраивал прыжков в ширину, не поприсматривавшись энное время. И не рекомендовал ALT два года тому именно потому, что не был уверен в том, будет ли он завтра (и как раз на Ubuntu смотрел самым внимательным образом, включая core team и сообщество вокруг). Сейчас -- уверен, будет.
>Может и по жлобски звучит но убунта поставила планку на энную высоту.
Да, альтовский Compact 2.3 дремучей давности они, пожалуй, в прошлом году догнали. Если не считать драйверов и мультимедиа, но с этим любой чайник справится, конечно же.
Я не припомню других одноплитных настольников, готовых к работе "из коробки", кроме ALT, с 2001 по 2004 год.
Поэтому и не огорчаюсь, что кто-то другой теперь пнул планку опять односторонне, но ещё выше -- на то она и планка, чтоб лучше пинками всех подниматься, чем у кого-то падать ;)
PS: анти-офтопик(TM): мало того, к обсуждаемой тематике альт тоже имеет отношение; у нас на кластерах использовался достаточно давно и подозреваю, что опять будет использоваться... помимо прочего, о чём ещё рано говорить.
PPS: спасибо за хорошую конструктивную подборку пунктов.
Не дай бог.. Еще какой студент соберет кластер... Никаких мощностей не хватит хранить новый флейм по этому поводу... =)