The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Эксперимент по создания файловой системы, хранящей данные в ..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Эксперимент по создания файловой системы, хранящей данные в ..."  +/
Сообщение от opennews (??) on 13-Янв-18, 11:14 
Под вдохновением от проекта PingFS (https://github.com/yarrick/pingfs), предпринята попытка (https://blog.benjojo.co.uk/post/dns-filesystem-true-cloud-st...) создания более надёжной ФС  - DNSFS (https://github.com/benjojo/dnsfs).  Как и PingFS проект DNSFS позиционируется как эксперимент, не рассчитанный на серьёзное использование.


В PingFS для хранения информации используется поле с данными в пакетах ICMP Echo -  инициируется серия непрерывных операций ping, и каждый ответ синхронизирует примерно 1400 байт информации по аналогии с синхронизацией содержимого памяти (время жизни информации от отправки пакета до получения ответа). Но в случае остановки ping или потери пакета информация потеряется.


В DNSFS для хранения информации решено использовать кэш DNS.  Для определения общедоступных резолверов было произведено сканирование всех IP-адресов сети при помощи пакета masscan, которое выявило почти 4 млн открытых DNS-резолверов, но повторная проверка показала, что 37.9% не пригодны для проекта, так как используют динамически выделяемые адреса. Дальнейшее изучение списка показало, что только 18% открытых резолверов могут хранить данные в кэше около суток. В итоге пригодными для проекта оказались 438 тысяч открытых резолверов.


Отслеживая время жизни записей и дублируя информацию можно добиться приемлимого уровня надёжности при достаточно редком цикле обновления информации (по сравнению с PingFS). В итоге можно получить полностью распределённое и не зависимое эфемерное хранилище. Для хранения было решено использовать TXT-записи в рассчёте 9 TXT-записей по 187 байт на каждый резолвер. Максимальный размер хранилища при такой разбивке составляет 250 Мб с учётом репликации данных как минимум на три разных резолвера. В текущем виде DNSFS оформлен в виде простого HTTP-интерфейса для загрузки и скачивая файла. Обновление состояния блоков пока не поддерживается, т.е. данные могут хранится не более суток.


URL: https://blog.benjojo.co.uk/post/dns-filesystem-true-cloud-st...
Новость: http://www.opennet.me/opennews/art.shtml?num=47895

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Эксперимент по создания файловой системы, хранящей данные в ..."  +2 +/
Сообщение от Аноним (??) on 13-Янв-18, 11:14 
Скоро будут халявные файлопомойки на dns
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Эксперимент по создания файловой системы, хранящей данные в ..."  –8 +/
Сообщение от Аноним (??) on 13-Янв-18, 12:58 
Давно существуют техники так называемого тумманого хранения данных. Когда данные живут в сетевом оборудовании. Скажем Ping летит за 200 ms содержит 1400 байт значит можно хранить в сети 1400 байт целых 200 ms. По сути хранением данных будут заниматься роутеры до места назначения.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

29. "Эксперимент по создания файловой системы, хранящей данные в ..."  –5 +/
Сообщение от pavlinux (ok) on 13-Янв-18, 17:51 
> Скоро будут халявные файлопомойки на dns

Со время апдейта 3600 секунд? :)

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "Эксперимент по создания файловой системы, хранящей данные в ..."  –4 +/
Сообщение от Аноним (??) on 13-Янв-18, 11:23 
Фрики, неиронично использовавшии Iodine, вышли на новый уровень.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Эксперимент по создания файловой системы, хранящей данные в ..."  –4 +/
Сообщение от Аноним (??) on 13-Янв-18, 12:26 
как всегда не написано о практическом применении
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Эксперимент по создания файловой системы, хранящей данные в ..."  –5 +/
Сообщение от ваш К.О. on 13-Янв-18, 12:32 
cp беспалевно хранить, чего ж еще.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Эксперимент по создания файловой системы, хранящей данные в ..."  –5 +/
Сообщение от Аноним (??) on 13-Янв-18, 12:36 
в объёме равном десяти записей ТХТ?
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Эксперимент по создания файловой системы, хранящей данные в ..."  –3 +/
Сообщение от Аноним (??) on 13-Янв-18, 12:37 
250М на весь мир
мало тебе чтоли?
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "Эксперимент по создания файловой системы, хранящей данные в ..."  +2 +/
Сообщение от аноним 12 on 13-Янв-18, 12:39 
«Как и PingFS проект DNSFS позиционируется как эксперимент, не рассчитанный на серьёзное использование.»

Какое ещё практическое применение?

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

15. "Эксперимент по создания файловой системы, хранящей данные в ..."  –2 +/
Сообщение от Нанобот (ok) on 13-Янв-18, 15:06 
Написано. Купи очки
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

18. "Эксперимент по создания файловой системы, хранящей данные в ..."  +1 +/
Сообщение от Аноним (??) on 13-Янв-18, 16:10 
Значение слова «эксперимент» можешь посмотреть в словаре.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

9. "Эксперимент по создания файловой системы, хранящей данные в ..."  –6 +/
Сообщение от Аноним (??) on 13-Янв-18, 13:05 
Киберпанк!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

10. "Эксперимент по создания файловой системы, хранящей данные в ..."  –3 +/
Сообщение от Аноним (??) on 13-Янв-18, 13:05 
Интересно, а есть прога чтобы посмотреть что там сейчас лежит?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Эксперимент по создания файловой системы, хранящей данные в ..."  –3 +/
Сообщение от Аноним (??) on 13-Янв-18, 14:03 
nslookup
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

16. "Эксперимент по создания файловой системы, хранящей данные в ..."  –5 +/
Сообщение от Аноним (??) on 13-Янв-18, 15:20 
Сделал rndc dumpdb -cache, посмотрелл less'ом содержимое named_dump.db и не нашел ни одной TXT записи.
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

31. "Эксперимент по создания файловой системы, хранящей данные в ..."  +/
Сообщение от Аноним (??) on 13-Янв-18, 18:39 
irfan view, acdsee :D
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

11. "Эксперимент по создания файловой системы, хранящей данные в ..."  –5 +/
Сообщение от Аноним (??) on 13-Янв-18, 13:33 
Это таки облако, госопда
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Эксперимент по создания файловой системы, хранящей данные в ..."  –4 +/
Сообщение от ыы on 13-Янв-18, 14:20 
>[оверквотинг удален]
> надёжности при достаточно редком цикле обновления информации (по сравнению с PingFS).
> В итоге можно получить полностью распределённое и не зависимое эфемерное хранилище.
> Для хранения было решено использовать TXT-записи в рассчёте 9 TXT-записей по
> 187 байт на каждый резолвер. Максимальный размер хранилища при такой разбивке
> составляет 250 Мб с учётом репликации данных как минимум на три
> разных резолвера. В текущем виде DNSFS оформлен в виде простого HTTP-интерфейса
> для загрузки и скачивая файла. Обновление состояния блоков пока не поддерживается,
> т.е. данные могут хранится не более суток.
> URL: https://blog.benjojo.co.uk/post/dns-filesystem-true-cloud-st...
> Новость: http://www.opennet.me/opennews/art.shtml?num=47895

это распределенное хранилище "ключ-значение", а не ФС.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

19. "Эксперимент по создания файловой системы, хранящей данные в ..."  –3 +/
Сообщение от Аноним (??) on 13-Янв-18, 16:11 
В рамках курсовой по программированию тебе любой студент напишет FuseDNSFS, было бы желание.
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

28. "Эксперимент по создания файловой системы, хранящей данные в ..."  –6 +/
Сообщение от pavlinux (ok) on 13-Янв-18, 17:50 
> это распределенное хранилище "ключ-значение", а не ФС.

тебе прям чтоб в ядре было, иноды крутило и все syscall отрабатывало?


Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

22. "Эксперимент по создания файловой системы, хранящей данные в ..."  –5 +/
Сообщение от fantom (??) on 13-Янв-18, 17:33 
Эх блин люди....

Когда был обнаружен эффект отклонения стрелки компаса в магнитном поле, его показывали как "красивый фокус, практического применения не имеющий"...
А на этом принципе все электродвигатели и генераторы построены.

Герц, открыв радиоволны, тоже считал это просто фокусом.
Первая железная дорога была аттракционом.

и список можно продолжать до бесконечности.

Мы на данном этапе не в состоянии оценить насколько полезным этот эксперимент будут считать через 100 лет :)  

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

24. "Эксперимент по создания файловой системы, хранящей данные в ..."  +/
Сообщение от pavlinux (ok) on 13-Янв-18, 17:37 
Тут есть открытие?
Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

30. "Эксперимент по создания файловой системы, хранящей данные в ..."  –1 +/
Сообщение от Ю.Т. on 13-Янв-18, 18:01 
Ну, фантаст. серию на этом принципе запилили уже давно - "Гиперион" Симмонса.
Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

34. "Эксперимент по создания файловой системы, хранящей данные в ..."  +/
Сообщение от ssh (ok) on 13-Янв-18, 18:52 
> Ну, фантаст. серию на этом принципе запилили уже давно - "Гиперион" Симмонса.

Ну, на обитель Техно-Центра это слабо походит. Тсс. Шрайк! :\

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

35. "Эксперимент по создания файловой системы, хранящей данные в ..."  –1 +/
Сообщение от Ю.Т. on 13-Янв-18, 19:08 
>> Ну, фантаст. серию на этом принципе запилили уже давно - "Гиперион" Симмонса.
> Ну, на обитель Техно-Центра это слабо походит. Тсс. Шрайк! :\

Но принцип очевидно схож (может, и Симмонс первоначальную идею у кого-то тяпнул).

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

41. "Эксперимент по создания файловой системы, хранящей данные в ..."  +1 +/
Сообщение от Аноним (??) on 16-Янв-18, 03:24 
>>Герц, открыв радиоволны, тоже считал это просто фокусом.

Герц ещё считал ряды Фурье бесполезным баловством - пора для единицы частоты найти новое название!

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

33. "Эксперимент по созданию файловой системы, хранящей данные в ..."  +1 +/
Сообщение от Аноним (??) on 13-Янв-18, 18:50 
Вирусописатели непременно воспользуются =)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

37. "Эксперимент по созданию файловой системы, хранящей данные в ..."  +/
Сообщение от Пресли on 13-Янв-18, 20:36 
А чё, как анонимизатор транзакций и L3 кэш (пул), ещё невошедших в блокчайн транзакций, - сойдёт...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

39. "Эксперимент по созданию файловой системы, хранящей данные в ..."  +/
Сообщение от Аноним (??) on 14-Янв-18, 13:32 
Какой анонимизатор? Ты для этого должен доменом рулить, анонимно этого делать не дают.
Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

40. "Эксперимент по созданию файловой системы, хранящей данные в ..."  +/
Сообщение от Pofigist on 15-Янв-18, 10:36 
Что тебе мешает использовать альтернативную систему корневых доменов, где это разрешено, или вообще - создать свою?
Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

42. "Эксперимент по созданию файловой системы, хранящей данные в ..."  +/
Сообщение от mickvav email on 16-Янв-18, 09:18 
Ну тогда и развернуть распределенную файловую систему не должно быть великой проблемой - если ты пилишь крипту, у тебя уже есть возможность запускать свой код на куче устройств и хозяева этих устройств уже мотивированы хранить твои данные (они же, по сути, в доле). А тут - ты хранишь данные на оборудовании людей, которые по организационным причинам не могут твои данные не хранить. Платить им не надо.
Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

43. "Эксперимент по созданию файловой системы, хранящей данные в ..."  +/
Сообщение от DmA (??) on 18-Янв-18, 13:56 
но если кто-то ещё захочет этим воспользоваться, то мои данные затрутся быстро :)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру