https://www.opennet.me/openforum/vsluhforumID3/39089.html Zach Brown ведет работу (http://tservice.net.ru/~s0mbre/blog/devel/fs/2007_11_24.html) над созданием сетевой Файловой системы CRFS (Coherent Remote File System). CRFS похожа на NFS, но с возможностью кэширвования данных на клиентской стороне.<br><br><br>Все файловые операции производится на локально прокэшированных данных, с дальнейшей фоновой синхронизацией кэша. Если данных в кэше не оказалось, они загружаются с сервера.<br><br><br>Так как проект CRFS развивается в недрах компании Oracle и дата открытия исходных текстов неизвестна, Евгений Поляков решил (http://tservice.net.ru/~s0mbre/blog/devel/fs/2007_11_24.html) создать ФС работающую по тем же принципам, но развивающуюся как открытый проект.<br><br>URL: http://tservice.net.ru/~s0mbre/blog/devel/fs/2007_11_24.html<br>Новость: http://www.opennet.ru/opennews/art.shtml?num=12923<br> https://www.opennet.me/openforum/vsluhforumID3/39089.html#21 Wed, 28 Nov 2007 14:38:01 GMT &gt;Разделяемый файл это тоже массив байт. На этом пожалуй и закончу. <br><br>Серьезное утверждение! :)) Также необходимо отметить, что 2+2=4.<br><br>Файлов много, они все разные, плюс операции с метаданными.<br><br>Кстати, для справки: mpi алгоритмы проще для реализации когерентности кэшей, поэтому не существует (по крайней мере широко известных) реализаций глобального адресного пространства для сетевых файловых систем (хотя можно назвать "Munin: Distributed Shared Memory Using Multi-Protocol Release Consistency", да и там message passing все время).<br><br>По разговорам с автором, предполагается для начала простейший механизм на основе сообщений.<br><br>Я тут подумал на досуге, интересно, а как вообще реализовать распределенный кэш без сообщений? В любом случае будут уведомления о смене состояния страницы/ячейки. В SMP это в целом тоже самое, только называется по-другому - cache line invalidate и т.п. а по сути сообщения.<br> https://www.opennet.me/openforum/vsluhforumID3/39089.html#20 Wed, 28 Nov 2007 14:07:50 GMT &gt;&gt;Там global physical address space, здесь Global File System Space. Не вижу <br>&gt;&gt;принципиальной разницы. <br>&gt;<br>&gt;Память - один массив байт, файлы - на каждый файл разный массив. <br><br>Разделяемый файл это тоже массив байт. На этом пожалуй и закончу.<br> https://www.opennet.me/openforum/vsluhforumID3/39089.html#19 Wed, 28 Nov 2007 13:51:30 GMT &gt;Там global physical address space, здесь Global File System Space. Не вижу <br>&gt;принципиальной разницы. <br><br>Память - один массив байт, файлы - на каждый файл разный массив.<br><br>&gt;Ну так потому и ошибки так как сложные алгоритмы и протоколы. Распределённая <br>&gt;обработка перешла лет 10 как на уровень либо транзакций БД либо <br>&gt;на потоки сообщений. Кому реально сейчас нужно открывать на запись разделяемые <br><br>Никуда она не ушли - mpi как был, так и остался.<br><br>&gt;файлы на нескольких машинах ? Если говорить о группе файлов, состовляющих <br>&gt;одно логическое целое, то тем более такой группой нужно управлять централизовано <br>&gt;в одной точке чтобы гарантировать целостность информации. Обмен данными в виде <br>&gt;файлов отмирает так как не учитывает природу и логическую структуру хрнящейся <br>&gt;в ней информации. Поэтому никто до сих NFS массово на что-нибудь <br>&gt;не меняют. Зачем менять шило на мыло ? Подождать лет пять <br>&gt;- оно засохнет и само отвалиться. <br><br>Наличие одной такой точки сводит на нет масштабируемость - с 10 клиентами раб https://www.opennet.me/openforum/vsluhforumID3/39089.html#18 Wed, 28 Nov 2007 13:11:44 GMT &gt;Это всего лишь слова. На самом деле немного отличается - global physical <br>&gt;address space намного сложнее представить на нескольких машинах, поэтому проще <br><br>Там global physical address space, здесь Global File System Space. Не вижу принципиальной разницы.<br><br>&gt;А gpfs почему-то не наступила с параллельным доступом. Может стоит реализовывать без <br>&gt;ошибок в дизайне? <br>&gt;На самом деле проект, если автор его доведет до работоспособного состояния, то <br>&gt;это будет отличной заменой NFS на подавляющем большинстве задач. <br><br>Ну так потому и ошибки так как сложные алгоритмы и протоколы. Распределённая обработка перешла лет 10 как на уровень либо транзакций БД либо на потоки сообщений. Кому реально сейчас нужно открывать на запись разделяемые файлы на нескольких машинах ? Если говорить о группе файлов, состовляющих одно логическое целое, то тем более такой группой нужно управлять централизовано в одной точке чтобы гарантировать целостность информации. Обмен данными в виде файлов отмирает так как не учитывает природу и ло https://www.opennet.me/openforum/vsluhforumID3/39089.html#17 Wed, 28 Nov 2007 10:07:46 GMT &gt;Когерентность кэшей файловых систем прниципиально ничем не отличается от того же для <br>&gt;кэшей оперативной памяти, а это уже давно обсосано и все грабли <br>&gt;известны. Плюс к этому обсосаны алгоритмы обеспечения согласованности распределённых файловых систем. <br>&gt;Это про теорию. <br><br>Это всего лишь слова. На самом деле немного отличается - global physical address space намного сложнее представить на нескольких машинах, поэтому проще использовать message passing алгоритмы, которые медленнее. Но это тоже только слова.<br><br>&gt;Блокировать и кэшировать надо на уровне прикладного ПО ибо только оно знает <br>&gt;логическую структуру данных. Sun уже пыталась легко и непринуждённо присклеить к <br>&gt;NFS CacheFS на стороне клиента и огребла проблемы при открытии файлов <br>&gt;на запись. А Novell на грабли с кэшированием файлов на стороне <br>&gt;клиента наступила ешё лет сем-восемь назад и, естественно, попросила не пользоваться. <br>&gt;Кто следующий ? <br><br>А gpfs почему-то не наступила с параллельным доступом. Может стоит реализовывать без ошибок в https://www.opennet.me/openforum/vsluhforumID3/39089.html#16 Wed, 28 Nov 2007 07:18:53 GMT &gt;&gt;Мазохисты. Опять будут городить сложное и глючное. Каждый раз одно и тоже: <br>&gt;&gt;как только понадобяться блокировки так вся эта кешированная трихому-ия на стороне <br>&gt;&gt;килента станет занозой в заднице. И ведь уже полно примеров реализаций <br>&gt;&gt;и последующих отказов от этого. И теория неплохо давно описана. А <br>&gt;&gt;нет надо самим на это наступить. Мазохисты. <br>&gt;<br>&gt;По ссылкам не ходили? Там предполагается механизм когерентности кэшей. <br>&gt;И что за теория быстрой работы без кэшей, просвятите общественность? <br><br>Когерентность кэшей файловых систем прниципиально ничем не отличается от того же для кэшей оперативной памяти, а это уже давно обсосано и все грабли известны. Плюс к этому обсосаны алгоритмы обеспечения согласованности распределённых файловых систем. Это про теорию.<br><br>Блокировать и кэшировать надо на уровне прикладного ПО ибо только оно знает логическую структуру данных. Sun уже пыталась легко и непринуждённо присклеить к NFS CacheFS на стороне клиента и огребла проблемы при открытии файлов на запись. А Novell https://www.opennet.me/openforum/vsluhforumID3/39089.html#15 Tue, 27 Nov 2007 07:15:34 GMT &gt;Мазохисты. Опять будут городить сложное и глючное. Каждый раз одно и тоже: <br>&gt;как только понадобяться блокировки так вся эта кешированная трихому-ия на стороне <br>&gt;килента станет занозой в заднице. И ведь уже полно примеров реализаций <br>&gt;и последующих отказов от этого. И теория неплохо давно описана. А <br>&gt;нет надо самим на это наступить. Мазохисты. <br><br>По ссылкам не ходили? Там предполагается механизм когерентности кэшей.<br>И что за теория быстрой работы без кэшей, просвятите общественность?<br> https://www.opennet.me/openforum/vsluhforumID3/39089.html#14 Tue, 27 Nov 2007 06:48:56 GMT "Все файловые операции производится на локально прокэшированных данных, с дальнейшей фоновой синхронизацией кэша."<br><br>Мазохисты. Опять будут городить сложное и глючное. Каждый раз одно и тоже: как только понадобяться блокировки так вся эта кешированная трихому-ия на стороне килента станет занозой в заднице. И ведь уже полно примеров реализаций и последующих отказов от этого. И теория неплохо давно описана. А нет надо самим на это наступить. Мазохисты.<br> https://www.opennet.me/openforum/vsluhforumID3/39089.html#13 Tue, 27 Nov 2007 05:57:32 GMT Умолчальный nfsv4 (без kerberos) не поддерживает контрольные суммы для данных и метаданных. Да, его потом расширили и наверное kerberos поддерживается по умолчанию во всех дистрибутивах, но это ли не признак кривого протокола?<br>