Анонсирован (http://www.top500.org/lists/2008/11/press-release) 32 выпуск (http://www.top500.org/lists/2008/11) рейтинга 500 самых высокопроизводительных компьютеров мира. Список самых мощных систем по прежнему возглавляет кластер RoadRunner (http://www.opennet.me/opennews/art.shtml?num=16406), производства IBM, но IBM начинает сдавать позиции - в первой десятке нынешнего рейтинга представлено сразу четыре новых суперкомпьютера производства Cray, один из которых занимает второе место рейтинга. По общему числу решений в top500 IBM уступила первенство компании Hewlett-Packard (209 систем от HP и 188 от IBM).
Некоторые интересные моменты:- Семь систем из первой десятки - новые, первый раз участвуют в рейтинге. Из прошлого top500 списка в новой редакции осталось только 267 систем, 233 системы - новые;
- Семь кластеров из первой десятки рейтинга построены на базе процессоров AMD, но Intel лидирует по общему числу систем в рейтинге, процессоры Intel используется в 379 конфигурац...
URL: http://www.top500.org/lists/2008/11/press-release
Новость: http://www.opennet.me/opennews/art.shtml?num=18966
>5 - Windowsкакие-то психи не иначе
>какие-то психи не иначеНу напишите им об этом, расскажите что да как. В общем, научите уму разуму, а то они-то и не в курсе :D
>>какие-то психи не иначе
>
>Ну напишите им об этом, расскажите что да как. В общем, научите
>уму разуму, а то они-то и не в курсе :DА тот самый BigMac, что был собран из обычных маков, занимал в свое время верхние (в 1ой пятерке точно) строчки top500. И работает он под MacOS X. И нисколько ему не помешала такая ОС. Это к вопросу об "уникальности" и "незаменимости" линукса для кластерных систем. И на винде можно нормальный мощный кластер собрать, если использовать хорошее кластерное ПО и _прямые руки_. То же самое можно сказать и о Solaris, и о FreeBSD. Это вам не SMP и не СC-NUMA.9
О!!! имея, как Вы выражаетесь, _прямые руки_ можно и свою ОС написать.
а вот если ещё иметь и _голову_, то никто этого делать не будет.
если конечно не сильно "мотивирован" :-)
>а вот если ещё иметь и _голову_, то никто этого делать не
>будет.Но кто-то ведь делает, как видим... Или они тоже дураки по-Вашему? Да, линукса на кластерах гораздо больше, ну и винда например на десктопах доминирует. И что же, это означает что она лучшая? При такой логике все как обычно сведется к аксиоме типа "линукс лучше, потому что это и козе понятно. А все, кто с этим не согласны - дураки, вот например как те кластероделы из Топ500, что используют винду"
P.S. Cудя по-Вашему взволнованному посту, я так понимаю Вы имеете опыт работы с Вин-кластерами. Интересно, какая(какие) именно из компонент Hands vs Soft дали сбой в Вашем случае? ;)
P.P.S. Под виндой я понимаю все-таки Win2k3 и выше:) Страшных историй о работе ранних версий серверной винды мне рассказывать не надо, сам прекрасно знаю :(
>Но кто-то ведь делает, как видим...На винде, сколько вижу -- делают люди, ангажированные MS (или имевшие неосторожность застрять на winapi, но это более про коммерческие инхаузы).
Историю бигмака не знаю, но сильно подозреваю, что фактор "выпендриться" там был далеко не последним и явно перед техническим и экономическим :-) (NB: сам время от времени не без удовольствия пользовался макосью ещё с семёрки, спецов и фанов знаю тоже достаточно)
>Или они тоже дураки по-Вашему?
Ну зачем каждого романтика или человека, которому деньги важнее, заносить сразу в дураки. Они могут быть совсем не дураками, просто необязательно с разбегу брать пример.
>Да, линукса на кластерах гораздо больше, ну и винда например на десктопах
>доминирует. И что же, это означает что она лучшая?У Вас на удивление кривая логика...
Линукс на кластерах используется по техническим причинам, а винда на десктопах -- по маркетинговым. Разницу рассказать или сами устыдитесь своим попыткам ввести других в заблуждение?
>У Вас на удивление кривая логика...
>
>Линукс на кластерах используется по техническим причинам, а винда на десктопах --
>по маркетинговым. Разницу рассказать или сами устыдитесь своим попыткам ввести
>других в заблуждение?Так может Вы и назовете те технические особенности архитектуры линукса, что делают её более предпочтительной для кластеров? По сравнению с Solaris или же MacOS X например? Лично я считаю, что дело тут скорее в открытости исходников и благоприятная лицензия:)
P.S. И поинтересуйтесь все же "историей Бигмака" ;) Дело там не в выпендреже любой ценой, а скорее наоборот, в том, что у универа не было средств для покупки монстров от IBM или Cray. Поэтому решили не мудрствуя лукаво накупить системников от Эппл, установить на них кластерное ПО и соединить их в сеть. Даже эти работы выполняли энтузиасты (насколько я помню, оплата их услуг составила 600 пицц + кока-кола), на машинах стояла штатная MacOS X, которой комплектуется каждый компьютер Apple. И в результате - одна из первых строчек в топ500.
P.P.S. Все это отчасти мне напоминает разговоры об убогости x86(_64) архитектуры... Сколько тут "профессионалов" говорит об их никчемности, но тем не менее эти камешки умудряются иметь такую потрясающую проиводительность. Концептуально якобы шлак, а на деле - во как. Вот и кластер на МакОС.
>Так может Вы и назовете те технические особенности архитектуры линукса, что делают
>её более предпочтительной для кластеров? По сравнению с Solaris или же
>MacOS X например? Лично я считаю, что дело тут скорее в
>открытости исходников и благоприятная лицензия:)Пжлста.
1. Возможность менять ядро, оптимизируя его под потребности конкретного приложения, которое работает в кластере. Это очень важная техническая фича, мы её интенсивно используем. :-)
2. Отсутствие заморочек с лицензиями - тисячу новых нод можна поднять не тыкая мышкой в "Да, я в тысячний раз согласен с условиями вашей лицензии".
3. Цена. У нас около 20-ти физических машин в продакшине в кластере (плюс на большинстве из них несколько виртуалок). Для тестов, отладки и разработки созданы несколько копий продакшина (насколько помню, сейчас их восемь, плюс разные виртуалки разработчиков). Конечное число екземпляров даже посчитать сложно, не то что легально оформить и купить лицензии на все.
4. Близкая к идеальной система автоматической установки и апгрейда. Мы например используем одно и тоже железо чтобы обслуживать пики в США (наша ночь) и в Европе (ночь в США). Оказалось, что проще всего убивать виртуалку и пересоздавать её заново (так как выключеная виртуалка всёравно пропустит плановый апгрейд) - это занимает менше времени (менше 5 минут) и проще чем любой другой вариант. Всё это благодаря пакетному менеджеру.
У нас основная апликация написаная на Яве. Разработчики используют win32, MacOSX и Linux. Чтоб поднять апликацию на win32 или MacOSX надо убить два рабочих дня (без шуток). Чтобы поднять её на Линуксе - около 30-ти минут (от checkout-а до полностю рабочей системы).
Volodymyr Lisivka wrote:
>> Так может Вы и назовете те технические особенности архитектуры линукса, что делают
>> её более предпочтительной для кластеров? По сравнению с Solaris или же
>> MacOS X например? Лично я считаю, что дело тут скорее в
>> открытости исходников и благоприятная лицензия:)
>
> Пжлста.
> 1. Возможность менять ядро, оптимизируя его под потребности конкретного[...]
> 2. Отсутствие заморочек с лицензиями - тисячу новых нод можна поднять не тыкая[...]
> 3. Цена. У нас около 20-ти физических машин в продакшине в кластере (плюс на[...]
> 4. Близкая к идеальной система автоматической установки и апгрейда. Мы например5. Володя упустил вопрос мониторинга.
Вот-с пример-с: http://opensolaris.org/jive/thread.jspa?threadID=83253&tstart=0
Сейчас возможно лучше.
>Так может Вы и назовете те технические особенности архитектуры линукса,
>что делают её более предпочтительной для кластеров?Володя назвал несколько общих и относящихся скорее к HA прикладных моментов; с точки же зрения HPC (о которых речь) к ним можно добавить:
- возможность модификации ядра под свои задачи (например, на наших кластерах
в итоге достигается разница по масштабируемости с тем же T60 порядка 4% --
множим на стоимость железа, чешем в затылке);
- богатый выбор интерконнекта, особенно infiniband (в отличие от крайне бедного
для макоси и соляриса[*]);
- OFED возник как явление и разрабатывается здесь же;
- приличный набор библиотек, в т.ч. заточенных под специфический IB;
- наличие выбора оптимизирующих компиляторов;
- и работающих кластерных ФС.Но это как раз всё не техническое, а следствия. :)
Технически линукс оказался good enough в том месте-времени, когда кластеры (ещё на Beowulf) начали зарождаться примерно в том виде, который нам знаком теперь.
>По сравнению с Solaris или же MacOS X например? Лично я считаю, что дело тут
>скорее в открытости исходников и благоприятная лицензия:)Это фундаментальное -- остальное по существу куча следствий.
>P.S. И поинтересуйтесь все же "историей Бигмака" ;)
Малоинтересно, поскольку в положительных моментах предсказуемо.
>Дело там не в выпендреже любой ценой, а скорее наоборот, в том, что
>у универа не было средств для покупки монстров от IBM или Cray.
>Поэтому решили не мудрствуя лукаво накупить системников от ЭпплЭто не объяснение, а дурь чистой воды. "Не было на порш, взяли бимер". А нужен-то был -- грузовик. И то, что он _намного_ дешовле и вообще, и в пересчёте на тонну груза -- таких "экономистов" обычно не цепляет.
Не надо рассказывать про покупку эпловского железа, когда "средств нету" -- средние потроха по двойной-тройной цене тут норма. Хорошо хоть -- наконец и до этих дошла коммодизация компонент (помните, как HP жрали SIMM только "для HP", IBM -- тоже свои, и т.д.? -- NuBus вот тоже забыли...) :-/
А если на блэйды средств нету -- смотреть сейчас осмысленно в сторону такого вот:
http://www.supermicro.com/products/motherboard/Xeon1333/5400...Ну и про плотность упаковки и энергоэффективность (с учётом охлаждения) отдельно молчу.
>И в результате - одна из первых строчек в топ500.
По линпаку. А что там зацеплено в качестве стораджа и как оно себя чувствует под пусть гигабайтом-двумя в секунду с нескольких узлов, где собирается выхлоп задач? Как решены вопросы загрузки -- если локальная, то ещё и обновления ПО и возвращения выпавших по диску узлов в строй?..
Кластер -- это не только терафлопы, но ещё и достаточно много вот такого головняка.
>Вот и кластер на МакОС.
Энтузиастер на пицце. :-) Потом эти университеты стоят и чешут репу -- и шо теперь с производными проблемами делать. А кто поумней -- тот изначально не выпендривается.
[*] http://mail.opensolaris.org/pipermail/ofuv-dev/2007-October/... :
>>>> Assuming you are working with OFED on Linux,
>>>> "general at lists.openfabrics.org"
>>>> would be the contact point.
>>> Unfortunately, our strategic platform is Solaris. We have no plans to go
>>> with Linux.Не повезло так не повезло...
PS: Вад, там не только с мониторингом -- с управлением потреблением на x86 ещё хуже.
PPS: на конторе, помимо более современных маков, есть один из первых в стране яблочных PPC604 (или 601 ещё?);
[xxxx@access ~]$ squeue
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
5452 scit1 make_sca yyyy PD 0:00 1 (PartitionNodeLimit)
5451 scit1 make_bla yyyy PD 0:00 1 (PartitionNodeLimit)
5079 scit1 vo_gr zzzz PD 0:00 1 (PartitionNodeLimit)
5287 scit3 explore- abcd R 5-16:46:34 1 n3111
5288 scit3 explore- abcd R 5-16:45:35 1 n3131
5289 scit3 explore- abcd R 5-16:45:22 1 n3107
5290 scit3 explore- abcd R 5-16:44:58 1 n3108
5291 scit3 explore- abcd R 5-16:44:48 1 n3102
5519 scit3 sleep efgh R 4:59:04 16 n[3044-3059]
5533 scit3 Slae_bps ijkl R 11:57 24 n[3006-3019,3032-3041]
>Но кто-то ведь делает, как видим... Или они тоже дураки по-Вашему?они, по-моему, из моего последнего предложения. а именно, сильно мотивированы.
>они, по-моему, из моего последнего предложения. а именно, сильно мотивированы.уж насколько сильно мотивированы пользователи OpenSource, тут уж никто с ними не сравнится :) кто-то больше, кто-то меньше:) Через что они временами проходят, двигаемые желанием использовать ОпенСорс-системы. апофеозом наверное является господин Столлман, которые готов работать на детском ноутбуке с внешней клавиатурой и с неработающим вай-фаем. Вот это мотивация
>апофеозом наверное является господин Столлман, которые готов работать
>на детском ноутбуке с внешней клавиатурой и с неработающим вай-фаем.Бук как бук, не помню какой. В консоли :-)
PS: гюльчатай, личико-то не хотите показать вместе со /своей/ мотивацией?
>[оверквотинг удален]
>>уму разуму, а то они-то и не в курсе :D
>
>А тот самый BigMac, что был собран из обычных маков, занимал в
>свое время верхние (в 1ой пятерке точно) строчки top500. И работает
>он под MacOS X. И нисколько ему не помешала такая ОС.
>Это к вопросу об "уникальности" и "незаменимости" линукса для кластерных систем.
>И на винде можно нормальный мощный кластер собрать, если использовать хорошее
>кластерное ПО и _прямые руки_. То же самое можно сказать и
>о Solaris, и о FreeBSD. Это вам не SMP и не
>СC-NUMA.9Да там собственно и не винда, Microsoft года три назад какую-то конторку прикупила с ее ОС для кластеров, теперь оно трудится под брендом Microsoft Windows.
>Да там собственно и не винда, Microsoft года три назад какую-то конторку
>прикупила с ее ОС для кластеров, теперь оно трудится под брендом
>Microsoft Windows.Вы думаете, что на RoadRunner'ax и Jaguar'ax работает обычный линукс из коробки? Ничего подобного, там его тоже основательно перелопатили. На таких машинах стандартные версии ОС не используются.
>Вы думаете, что на RoadRunner'ax и Jaguar'ax работает обычный линукс из коробки?
>Ничего подобного, там его тоже основательно перелопатили. На таких машинах стандартные
>версии ОС не используются.чего там думать, там тот же линукс, что и везде... можешь centos взять и развернуть, если руки не кривые... может планировщик другой или пара патчей, а в целом тот же линукс, что и на кпк
>чего там думать, там тот же линукс, что и везде... можешь centos
>взять и развернуть, если руки не кривые... может планировщик другой или
>пара патчей, а в целом тот же линукс, что и на кпкЕрундой не болтайте? Где "от центоса", там от того центоса ошмётков хорошо если треть остаётся. Не говоря уже о "кпк".
>И на винде можно нормальный мощный кластер собрать,И микроскопом можно гвоздь забить если долго и упорно стараться.Главное силищи побольше да микроскоп потяжелее.А то что неудобно - так ерунда, привыкнете, руки "прямее" станут и все такое - и освоите новое применение знакомого инструмента на раз-два-три.
>микроскопом можно...правильно произносится мАЙкроскоп ;-)
неправда!
за мАЙкро можно уже и суд попасть!
линдоус и тот приплели...
>>какие-то психи не иначеДа не, MS просто ооочень, ну оочень хочется, чтоб про WCCS хоть как-то услышали :) поэтому они за его прилепливание хотя бы боком (как в Томске) готовы денег приплачивать.
>Ну напишите им об этом, расскажите что да как. В общем, научите
>уму разуму, а то они-то и не в курсе :DВаш сарказм уместен прежде всего по отношению к Вам же. Поскольку как раз не в курсе.
Из 6.2% смешанного типа 6% содержат Линукс.
Посмотрите сколько процессоров в RoadRunner! Если учесть подход к лицензированию Винды от кол-ва процессоров, получится просто астраномическая сумма.
Смысл Винды на кластере один - использование специального ПО, которое есть только для Винды. Такое тоже бывает.