Опубликовано (http://www.nkj.ru/interview/1589/) интересное интервью с Сергеем Михайловичем Абрамовым (http://www.botik.ru/~abram), научным руководителем и исполнительным директором суперкомпьютерной Программы "СКИФ (http://skif.pereslavl.ru/)".
URL: http://www.nkj.ru/interview/1589/
Новость: http://www.opennet.me/opennews/art.shtml?num=6708
Очень грамотный мужик.С удовольствием прочел.
Статья пронравилась.
И написано немамало, и все по делу.
И журналу и Абрамову респект.
Как всегда - денег просит
Совковые методы
Госзаказ хочет
Живи по рынку
Конкурируй
Продавай на Запад
Разбогатей
Если на самом деле что-то представляет
Хотя врядли
Штучное производство
Низкое качество
Миллионы ненайденых ошибок
Софт работающий только если рядом есть разработчик
Всюду ставят SUN Enterprise 10000 - 25000
Проверено Надежно Сервис Запчасти Софт Дороже
Прошу прощения если задел
Начните с маленького
Массового Надежного Дешевого
а кто их не просит
в этих методах есть свои преимущества
хочет, такие проекты без государства не реализовать
сначала надо то, что будет поддерживать эту жизнь
чем?
что?
как?
именно предстваляет
вы так быстро все оценили?
ну так это не тапочки
везде много ошибок
с чего вы взяли?
ставят и будут ставить, разве дело в этом?
именно дороже
не задели
маленький суперкомпьютер?
дешевый массовый суперкомп.?:-)
> Как всегда ...Мы встречались? ;-)
> ... - денег просит. Совковые методы. Госзаказ хочет. Живи по рынку.
Конкурируй.Цитаты из доклада
http://www7.nationalacademies.org/cstb/pub_supercomp.html"Суперкомпьютинг -- забота государства" (не рынка) "Хрупкий рынок, без
госзаказа мы теряем целые компании (Cray) и корпоративную память",
"Страна в ответе за...".После данного доклада рыночные США выделяет 2млрд USD __из бюджета__ в
год на эти цели.> Госзаказ хочет
Честно? Хочу.
Но не потому, что жить нечем (у нас много своего маленького, рыночного,
без государства и бюрократии, что дает безбедно жить всегда).Хочу, потому, что понимаю, что без этого России нельзя. Действительно
нельзя.Почитайте в подлинике указанный URL и еще докладики:
http://www.ostp.gov/Мне не все равно, что будет дальше в России.
> Продавай на Запад. Разбогатей
Done. Дальше что? А за державу не обидно ;-)
> Прошу прощения если задел
Нисколько. Стандартные стереотипы.
Запрограммировано. Надежно. Массово. Проверено. ;-)
Спасибо, посмеялся :)Как раз таки не стереотипы, а продуманный выбор.
Мы были в центрах и на заводах SUN, они в состоянии очень быстро выпустить
суперкомьютеры любой произодительности, были бы заказчики.Причем из компонентов и систем, которые развивись в течение
многих лет реального производства и эксплуатации.Открытая архитектура SPARC, совместимые FUJI и многое другое ...
Сотни работающих установок, тысячи исправленных ошибок,
миллионы накопленных практических ситуаций, миллиарды человеко-часов ...Российское в сравнении с Западным
- это как сравнение ребенка и взрослого человека.Ребенок оперирирует отдельными поверхностными максималисткими критериями,
взрослый оперирует более широкими, глубокими и целостными понятиями,
причем испытанными на опыте.Любить родину можно по-разному, и чем меньше о этом говорят тем лучше любят. Слова ничего не значат, хуже того обычно ими прикрываются.
Мы усвоим все лучшее западное и потом только с этих позиций будем
смотреть на российское.Тем неменее успехов Вам.
Собственно вопрос
Если нужны деньги, а продать железо трудно то
почему не продовать машинное время?
На мой взгляд и клиентов найти легче (намного большему колличеству
предприятий и организаций требуется супер время от времени)
и не требуется получать местные разрешения на пиобретения Российской
техники, а INTERNET2 доступен , если я не ошибаюсь и в России
(чтоб гонять данные)
> Софт работающий только если рядом есть разработчикСофт бОльшей частью стандартный, проверенный годами, работающий весьма неплохо. Ну, и не без новых разработок, очевидно. И разработчики доступны, если что. Кстати, то же СКИФ К-1000 работет уже давно и не в Переславле-Залесском а в Минске...
> Всюду ставят SUN Enterprise 10000 - 25000
А вы загляните на top500.org или supercomputers.ru, не пожалейте времени... Может они там найдутся? Посмотрите РЕАЛЬНУЮ производительность СКИФ-а и SUN Enterprise. Ощутите разницу.
>Совковые методы
Мы все из совка, одно из негативных проявлений - эта фраза.
>Госзаказ хочет
>Живи по рынку
>Конкурируй
>Продавай на Запад
Российский рынок недоразвит для потребления этого, минимальны наукоемкие производства. На западный рынок не пустят, область государственного влияния.
>Низкое качество
>Миллионы ненайденых ошибок
>Софт работающий только если рядом есть разработчик
Уже пробовали ?
>Всюду ставят SUN Enterprise 10000 - 25000
>Проверено Надежно Сервис Запчасти Софт Дороже
Я сомневаюсь, что Sun для больших вычислений оптимален, нагруженные стандартные приложения - это его.
Тем более тут речь идет о HPC кластере, Sun несколько другое и станет много дороже.
>Прошу прощения если задел
>Начните с маленького
>Массового Надежного Дешевого
Собственно размером не велик ( по крайней мере не трех этажное здание ). Так как кластер, масштабируем по надобности или по бюджету.
Весьма странное суждение посетителя под ником "Деньги" (ИМХО). Такие крупные, дорогостоящие проекти не могут существовать без госзаказа, так как частных фирм, которым нужна такая техника совсем немного. А по поводу разработчиков - так вполне нормально, как мне кажется, ожидать присутствия представителя производителя при запуске/наладке такой железяки... А по поводу "маленького и дешевого" так это вопрос просто не туда - это совершенно разные уровни. Мне кажется - эта отрасль должна получать государственную поддержку. И чем больше, тем лучше.
Начальник мой бывший.. работал я как раз в ЦИМС ИПС РАН... Мужик умный но лучше бы с разработчиками поговорили... С тем же Рогановым Володей, вот уж действительно для тезнарей бы дал более интересное интервью.
Кластер есть кластер, дешевая замена настоящим большим машинам. А кластер на основе Xeon 2.8 (Скиф) это оприходование бюджетных средств, потому как стоит не намного дешевле ( в тех масштабах, которых реализуется ) тех самых больших машин.
Стоит много, а 32-битный, со всеми вытекающими ограничениями - вот те нате ... 128Гб памяти,а что с ними он может сделать? Вуществующие расширения адресного пространства, при их активировании, сожрут добрую треть производительности... Вобщем вы и так это знаете...
>Кластер есть кластер, дешевая замена настоящим большим машинам А кластер на основе
>Xeon 2.8 (Скиф) это оприходование бюджетных средств, потому как стоит не
>намного дешевле ( в тех масштабах, которых реализуется ) тех самых
>больших машин.Например каких? Хочется, чтобы Вы сами цены сравнили на реальном примере...
>Стоит много, а 32-битный, со всеми вытекающими ограничениями - вот те нате
>... 128Гб памяти,а что с ними он может сделать? Вуществующие расширения
>адресного пространства, при их активировании, сожрут добрую треть производительности... Вобщем вы
>и так это знаете...Сейчас СКИФ и на Opteron делают, внимательнее смотрите. А насчёт производительности - ну почитайте статью, там данные LINPACK есть. Потом будете про треть говорить...
Что Вы имеете ввиду под "настоящими большими машинами" ?
Вообще эти сравнения кластеров с "большими" крайне натянуто, Вы просто попробуйте представить как будет работать сотня процессоров в единой памяти ?
Ответ простой - очень плохо.
SMP архитектура до 8 процессов, NUMA до сотни с небольшим. Это все более менее распространненые решения. Numa дорогостоящая штука, и требует специального подхода в ПО, так как стоимость запроса к памяти другого процессора крайне высока (в разы если не в десятки раз), и это придется учитывать. Сколько по этому поводу грязи вылили производители тяжелых серверов друг на друга, отдельная тема. В любом случае, такие решения связаны с разработкой специализированных чипов..... не наш конек....
Кластер сделать проще, есстественно что более слабая связь между узлами будет ограничивает круг задач, но это реальный числодробилки и могут решать реальные задачи, недосегаемые для "больших" серверов. Наличие большого количества клстерных систем в TOP500, говорит о востребованности HPC кластеров.
> SMP архитектура до 8 процессов, NUMA до сотни с небольшим.Простите, но Вы путаете яркое со сладким.
Есть три вида многопроцессорности: SMP (симметричная), AsMP (асимметричная) и MPP (массово-параллельная).
Есть три вида доступа к памяти: UMA (униформенный), NUMA (неуниформенный) и NonMA (нет доступа к чужой памяти, как на кластерах).
Теоретически возможны все девять вариантов сочетаний; естественно, одни используются чаще, другие реже.Если рассмотреть обычный современный "однопроцессорный" писюк, то в нём есть куча процессоров: на жёстком диске, на сетевой карте, на видеокарте и даже в клавиатуре. Взаимодействие процессоров: AsMP (хотя на видеокарте м.б. несколько процессоров, взаимодействующих между собой по схеме SMP или MPP). Распределение памяти - NonMA (центральный процессор не может обратиться к памяти на брюхе жёсткого диска, а процессор на брюхе жёсткого диска не может обратиться к DIMM'ам); исключение - видеокарта, там NUMA (для PCI - в одну сторону для обеспечения доступа процессора к видеопамяти в режимах CGA/EGA/VGA; на AGP добавлен NUMA-доступ видеопроцессора в основную память).
Если брать "многопроцессорный" писюк, то "много" - это два одинаковых равноправных процессора (SMP) с общей памятью (UMA); видимо, это Вы имели в виду под словом "SMP". Естественно, при большом числе процессоров коллизии при одновременном доступе в память (при промахах при обращении в кэш) станут узким местом. Наращивание кэшей тоже ограничено, т.к. все операции записи в память (включая операции со стеком) приходится аппаратно доводить до всех кэшей всех процессоров.
Система SMP+UMA гораздо лучше масштабируется для RISC-процессоров, т.к. у них гораздо больше регистров, и потому обращения в память гораздо реже. Будь прокляты дебилы, которые держатся за писбюковую совместимость по командам с процессором тридцатилетней давности!!!
Производительность системы SMP+UMA можно было бы поднять при использовании многобанковой памяти (большое количество модулей памяти), если чипсет подобно Ethernet-коммутатору может одновременно рассылать запросы в разные банки памяти. К сожалению, AFAIK, писюковые системы имеют общую шину (адреса и данных) ко всем модулям памяти, что не позволяет наращивать производительность подсистемы памяти. Впрочем, первый шаг в этом направлении сделан - двухканальная память.
Однако, если все процессоры станут активно обращаться в один банк памяти (например, в код разделяемой библиотеки), то именно этот банк может оказаться "тормозным элементом" системы. Хотя и против этого тоже есть методы.
>Теоретически возможны все девять вариантов сочетаний; естественно, одни используются чаще, другие реже.
>
SMP подразумевает UMA (иначе Symmetric не получится), так что не стоит цепляться к таким формулировкам.>Производительность системы SMP+UMA можно было бы поднять при использовании многобанковой памяти (большое
>количество модулей памяти), если чипсет подобно Ethernet-коммутатору может одновременно рассылать запросы
>в разные банки памяти. К сожалению, AFAIK, писюковые системы имеют общую
>шину (адреса и данных) ко всем модулям памяти, что не позволяет
>наращивать производительность подсистемы памяти. Впрочем, первый шаг в этом направлении сделан
>- двухканальная память.
>
Существуют Opteron-ы с TyperTransport - каждый лазит в свою память напрямую, но может залезать и к соседям (NUMA). Однако проблемы тут не снимаются до конца. Да и стоимость... Сравните 64-процессорный SuperDom и 64-процессорный кластер (любой).
Я действитеьно смешал термины SMP и NUMA зря, но таково мое воспряитие ;-).По моему не особо квалифицированному мнению, двухканальная память хорошо, но сколько еще каналов реально можно породить? И как себя будет чувствоать контроллер памяти(аля езернет коммутация), когда с одной стороны сядут куча процессоров, с другой множество банков памяти. Думаю такое решение сильно не растянешь. Где сильно - многие сотни процессоров.
NUMA сейчас популярна на тяжелых серверах, но там тоже не все замечательно, и платишь изрядно. При этом нет факт, что увеличение количества узлов приведет к увеличению производительности, так как ПО должно учитывать разницу в стоимости запроса к памяти, а оно это не всегда делает нормально.Проблема в том, что народ просто заворожен магией букв SUN, HP, IBM совершенно не понимая, что чудес не бывает. После определенного порога увеличение мощности серверов дается большим трудом и деньгами.
Купить SuperDOM , и бездумно водрузить на него с десяток БД - великая глупость, за редким исключением. Это десять разных задач требует десять серверов ( приблизительно ;-) ). Так и дешевле и эффективней. Тоже самое и с кластерами, если алгоритм хорошо параллелится, зачем использвать всякие дорогие решения с красивой лейбочкой ?
Помнится, когда goolge еще только появился, yahoo купила пару серверов с умопомрачительной конфигурацией. Где сейчас Yahoo и где Google ?
Огромные кластера Google из примитивных узлов решили проблемы с другой стороны, куда более эффективно.