The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Для ядра Linux развивается система распределённого выполнени..., opennews (??), 04-Май-20, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


47. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Онаним (?), 05-Май-20, 09:02 
> 3. Давным давно поддерживал сборник патчей для ядра Linux который мог:

Проблема моськи знаешь в чём? Это строго SSI. Никакой реальной кластеризацией софта там банально не пахнет, софт должен сам уметь в синхронизацию между своими процессами, обмен данными (через "классические" решения например) и т.п.

Ответить | Правка | К родителю #42 | Наверх | Cообщить модератору

52. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Аноним (48), 05-Май-20, 09:15 
Это огромный плюс, что для миграции между нодами используются стандартные системные вызовы fork (pthreads). Именно это избавляет от потребности переписывать прикладное ПО. Все что умеет fork (pthreads) будет изкаробки, сразу, прозрачно работать в кластере SSI балансируя нагрузку между узлами!

Ответить | Правка | Наверх | Cообщить модератору

54. "Для ядра Linux развивается система распределённого выполнени..."  +1 +/
Сообщение от Аноним (48), 05-Май-20, 09:21 
> Это строго SSI. Никакой реальной кластеризацией софта там банально не пахнет, софт должен сам уметь в синхронизацию между своими процессами, обмен данными (через "классические" решения например) и т.п.

Смотри DYSTRYK. В нем одновременно реализован SSI и MPI. Они друг другу совсем не мешают, а наоборот помогают. SSI дает один виртуальный компьютер с общим числом процов и оперативы в сети. MPI можно запускать не на физических компах, а сразу на виртуальных - кластерах SSI!

Ответить | Правка | К родителю #47 | Наверх | Cообщить модератору

96. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Онаним (?), 06-Май-20, 09:04 
> Смотри DYSTRYK. В нем одновременно реализован SSI и MPI. Они друг другу

И много у тебя классического софта с MPI? Софт под это дело всё равно нужен специализированный. Понятно, что там грант хороший был, вот дистр на коленке и запилили, давай уж честно...


Ответить | Правка | Наверх | Cообщить модератору

100. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Аноним (100), 06-Май-20, 16:20 
> И много у тебя классического софта с MPI

equery h mpi

Понятно что только научные проги.

> Софт под это дело всё равно нужен специализированный.

Для нормального SSI не надо специализированного софта! Системных вызовов fork (pthreads) хватает. Дочирные процесс будут мигрировать на узлы кластера. Для обычного пользователя это архиваторы, кодировщик видео.

> Понятно, что там грант хороший был, вот дистр на коленке и запилили, давай уж честно...

Делал сам, для себя, в свободное время, без всяких президентских грандов.

Установку купили пару школ и один ВУЗ. Предприятия от кластерной реализации отказались, другую версию покупали.

Ответить | Правка | Наверх | Cообщить модератору

101. "Для ядра Linux развивается система распределённого выполнени..."  –1 +/
Сообщение от Онаним (?), 06-Май-20, 19:41 
> Понятно что только научные проги

Ну ладно, здесь таки признал.

> Для нормального SSI не надо специализированного софта! Системных вызовов fork (pthreads) хватает.

Для этого вполне докера достаточно и микросервисов. Идея с миграцией бессмысленна без DSM, солнце закатывать (синхронизацию, обмен данными) иначе всё равно придётся костылить вручную.

Ответить | Правка | Наверх | Cообщить модератору

109. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Аноним (105), 07-Май-20, 09:07 
> Ну ладно, здесь таки признал.

MPI это довольно не тривиальный интерфейс параллельного программирования разработанный учеными для ученых. Понятно что нигде кроме науки не используется ибо для запуска MPI ПО надо MPI кластер, котрого дома нет.

Для домашних пользователей есть кучу других технологий: fork (pthreads), OpenMP, OpenCL,...

> Идея с миграцией бессмысленна.

Нет ты ошибаешься. Мигрировать может и вся задача. OpenMosix имел режим при котором на запускаемом узле вообще процесы не исполняются, все мигрирует на узлы, там исполняются и приходит только результат.

Ты путаешся в специализированном ПО для кластеров, где есть какая-то межпроцесная синхронизация.

SSI кластер это для жирных, тяжелых процессов которые целиком мигрируют на другой узел и возвращают результат. Примеры: архиватор, перекодировщик видео,... Они паралельно запускаются на нескольких узлах, а результат их работы собирается на одном. Более того в SSI кластере при загруженом проце, обычные процесы начинают мигрировать на другие узлы! И память у меня в SSI кластере синхронизируется идеально с максимальной защитой. Мой SSI кластер абсолютно прозрачен для ПО и пользователя, они видят общие число ядер в сети и общий объем оперативы, вся синхронизация скрыта от ПО под капотом OpenMosix.

Ответить | Правка | Наверх | Cообщить модератору

112. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Онаним (?), 07-Май-20, 12:49 
> Нет ты ошибаешься. Мигрировать может и вся задача. OpenMosix имел режим при котором на запускаемом узле вообще процесы не исполняются, все мигрирует на узлы, там исполняются

Ну и зачем оно в таком виде?

Ответить | Правка | Наверх | Cообщить модератору

114. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Аноним (114), 07-Май-20, 13:58 
Практика использования SSI показала, что быстрее всего задача считается когда запускаемый узел вообще не ведет расчет, а только занимается раскидыванием расчетов по другим узлам и сбором результатов.

В те времена это вполне логично, компы однопроцессорные были, если ресурсы одного проца тратить на распределение работ, сбор результатов и еще при этом вести расчет то задача считалась заметно дольше!

Ответить | Правка | Наверх | Cообщить модератору

102. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Онаним (?), 06-Май-20, 19:42 
> Делал сам, для себя, в свободное время, без всяких президентских грандов.
> Установку купили пару школ и один ВУЗ.

Ну давай, признай уже, что были, может не президентские, но стимул эту бессмыслицу пилить должен быть :)


Ответить | Правка | К родителю #100 | Наверх | Cообщить модератору

110. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Аноним (105), 07-Май-20, 09:16 
> Ну давай, признай уже, что были, может не президентские, но стимул эту бессмыслицу пилить должен быть :)

SSI кластер это не бесмыслица, а пропущенный путь развития. Linux, FreeBSD, OpenBSD не в тот поворот свернули.

Разработка DYSTRYK никем, никогда не финансировать и велась мною в свободное время.

Хочу чтобы увидели один закон:

Если задачи ресурсоемки, а процессоры очень дорогие и маломощны - есть спрос на кластерные решения SSI.

Если ресурсоемких задач нет, а процессоры мощные и дешовые - спроса на кластера SSI не будет.

Ответить | Правка | Наверх | Cообщить модератору

111. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Онаним (?), 07-Май-20, 12:48 
OS/2 тоже пропущенный путь развития. Нежизнеспособное отмирает.
Ответить | Правка | Наверх | Cообщить модератору

115. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Аноним (114), 07-Май-20, 14:03 
Если вдруг станет вопрос необходимости SSI кластера, то отомрут Linux, FreeBSD, OpenBSD - которые свои ядра испоганили так, что добавить в них SSI кластер теперь очень сложно.
Ответить | Правка | Наверх | Cообщить модератору

118. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Онаним (?), 07-Май-20, 19:48 
> Если вдруг станет вопрос необходимости SSI кластера, то отомрут Linux, FreeBSD, OpenBSD

Если бы у бабушки был он, ну вы поняли...

Ответить | Правка | Наверх | Cообщить модератору

124. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Аноним (124), 09-Май-20, 09:38 
Требование к вычислительным ресурсам будет расти до бесконечности, а вычислительная мощь проца когда-то упрется в потолок. Вот когда упрется, тогда и займутся ядром ОС с SSI кластером.
Ответить | Правка | Наверх | Cообщить модератору

127. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Аноним (126), 24-Май-20, 18:38 
практически уже упёрлись - % выхода годных после eUV, а так же ситуация со всякими Spectre/Meltdown/RowHammer это наглядно демонстрируют.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру