The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Для ядра Linux развивается система распределённого выполнени..., opennews (??), 04-Май-20, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


17. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Онаним (?), 05-Май-20, 01:03 
Есть у тебя софт, обрабатывающий данные в 100500 потоков, но при этом имеющий между ними общие данные и синхронизацию. Дальше ты его равномерно размазываешь по N систем без специальных ухищрений по обмену этими самыми данными.
Ответить | Правка | Наверх | Cообщить модератору

18. "Для ядра Linux развивается система распределённого выполнени..."  +4 +/
Сообщение от псевдонимус (?), 05-Май-20, 01:11 
А чем практически это отличается от кластеризации, в чем преимущество?
Ответить | Правка | Наверх | Cообщить модератору

24. "Для ядра Linux развивается система распределённого выполнени..."  +2 +/
Сообщение от Аноним (19), 05-Май-20, 01:27 
Так, наверное, это и есть одна из разновидностей кластеризации. Только здесь должно быть существено меньше танцев с настройками.
Ответить | Правка | Наверх | Cообщить модератору

93. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Lex (??), 06-Май-20, 06:19 
Там работа с памятью несколько смущает.
Есть смутные подозрения, что, если в ходе работы, активно шарятся данные, то производительность упрется в скорость синхронизации памяти по сети.
Ответить | Правка | Наверх | Cообщить модератору

108. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Аноним (105), 07-Май-20, 08:43 
> Есть смутные подозрения, что, если в ходе работы, активно шарятся данные, то производительность упрется в скорость синхронизации памяти по сети.

Оно во всех кластерах в скорость сети упирается.

Хороший выиграш на жирных, тяжолых процесах: распределить перекодировку видео на нескольких компах.

Ответить | Правка | Наверх | Cообщить модератору

21. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от JL2001 (ok), 05-Май-20, 01:17 
> Есть у тебя софт, обрабатывающий данные в 100500 потоков, но при этом
> имеющий между ними общие данные и синхронизацию. Дальше ты его равномерно
> размазываешь по N систем без специальных ухищрений по обмену этими самыми
> данными.

а чего - распределённые/кластерные фс и просто базы данных раньше не существовали?

я не понимаю концептуальную новизну/профит (кроме distributed shared memory - не знаю были ли раньше распределённые in-memory map/bd, для java у GridGain было, у них ещё и жавамашина вместо LLVM создаёт мультиплатформенность)

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

32. "Для ядра Linux развивается система распределённого выполнени..."  +3 +/
Сообщение от Anonimous (?), 05-Май-20, 02:12 
Не, ну понятно что парни каких-то прорывов в синхронизации данных не совершили. Есть и распределенные базы данных и распределенные фс. Дело то не в синхронизации данных, а в конкретной реализации данных принципов применительно к процессу.

Процесс не выполняется в ядре в вакууме. Он держит открытые хенлы на файлы, на сокеты, на расшаренную память. И это не считая того, что приложение может работать вообще с кастомными железками по pci или usb, которые тоже хранят свое состояние.

Все это нужно как-то синхронизировать, возможно уметь перемещать между компьютерами или пробрасывать прозрачно на один "основной" компьютер. Когда разрабатывали CRIU, с этим было куча проблем. И весь вопрос, насколько эта система работает быстро и сколько покрывает всех этих возможностей приложения. Потому что хочется брать абсолютно любое приложение и чтобы оно само начинало параллелиться, т.к. никто не будет переписывать приложение специально под Попкорн.

Ответить | Правка | Наверх | Cообщить модератору

44. "Для ядра Linux развивается система распределённого выполнени..."  +1 +/
Сообщение от Онаним (?), 05-Май-20, 08:55 
При чём тут FS? Речь о том, что у тебя треды _одного_ процесса потенциально могут летать между нодами, при этом прозрачно сохраняя общую область памяти + возможность синхронизации - и для этого не надо изголяться с кластерными FS, пилить свою собственную синхронизацию и т.п. Кластерная FS тут идёт только как дополнение - треды вполне могут захотеть что-то с общего "диска" почитать.
Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

53. "Для ядра Linux развивается система распределённого выполнени..."  +1 +/
Сообщение от Аноним (65), 05-Май-20, 09:16 
Потоки с чтением файлов не могут клонироваться в новости написано.
Ответить | Правка | Наверх | Cообщить модератору

91. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Онаним (?), 05-Май-20, 23:03 
> Потоки с чтением файлов не могут клонироваться в новости написано.

А я поэтому и говорю, что из этого супового набора имхо взлетит только DSM.

Ответить | Правка | Наверх | Cообщить модератору

80. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от JL2001 (ok), 05-Май-20, 14:57 
> При чём тут FS? Речь о том, что у тебя треды _одного_
> процесса потенциально могут летать между нодами, при этом прозрачно сохраняя общую
> область памяти + возможность синхронизации

а чем это от numa отличается?

Ответить | Правка | К родителю #44 | Наверх | Cообщить модератору

90. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Онаним (?), 05-Май-20, 23:02 
Извини дружок, ты это в школе не проходил, да?
https://en.wikipedia.org/wiki/Non-uniform_memory_access
Ответить | Правка | Наверх | Cообщить модератору

92. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от JL2001 (ok), 06-Май-20, 02:28 
> Извини дружок, ты это в школе не проходил, да?
> https://en.wikipedia.org/wiki/Non-uniform_memory_access

и? так в чём разница? иль numa-over-ethernet диво дивное?

Ответить | Правка | Наверх | Cообщить модератору

94. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от Онаним (?), 06-Май-20, 09:01 
> и? так в чём разница? иль numa-over-ethernet диво дивное?

Разница в том, что при NUMA одна микропроцессорная система осуществляет множественный доступ к разделяемой памяти, а в случае SDSM это синхронизация между несколькими системами.

Ответить | Правка | Наверх | Cообщить модератору

97. "Для ядра Linux развивается система распределённого выполнени..."  +/
Сообщение от JL2001 (ok), 06-Май-20, 09:55 
>> и? так в чём разница? иль numa-over-ethernet диво дивное?
> Разница в том, что при NUMA одна микропроцессорная система осуществляет множественный доступ
> к разделяемой памяти, а в случае SDSM это синхронизация между несколькими
> системами.

давайте лучше в терминах "когерентности кеша" для каждого проца
в чём отличие в обеспечении когерентности локальной памяти (кеша) каждого проца в numa и в "Distributed shared memory" соединённых через ethernet ("После стабилизации основных алгоритмов будет применён более эффективный вид транспорта.") ?

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру