The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Эксперимент по созданию файловой системы, хранящей данные в кэше DNS

13.01.2018 10:20

Под вдохновением от проекта PingFS, предпринята попытка создания более надёжной ФС - DNSFS. Как и PingFS проект DNSFS позиционируется как эксперимент, не рассчитанный на серьёзное использование.

В PingFS для хранения информации используется поле с данными в пакетах ICMP Echo - инициируется серия непрерывных операций ping, и каждый ответ синхронизирует примерно 1400 байт информации по аналогии с синхронизацией содержимого памяти (время жизни информации от отправки пакета до получения ответа). Но в случае остановки ping или потери пакета информация потеряется.

В DNSFS для хранения информации решено использовать кэш DNS. Для определения общедоступных резолверов было произведено сканирование всех IP-адресов сети при помощи пакета masscan, которое выявило почти 4 млн открытых DNS-резолверов, но повторная проверка показала, что 37.9% не пригодны для проекта, так как используют динамически выделяемые адреса. Дальнейшее изучение списка показало, что только 18% открытых резолверов могут хранить данные в кэше около суток. В итоге пригодными для проекта оказались 438 тысяч открытых резолверов.

Отслеживая время жизни записей и дублируя информацию можно добиться приемлемого уровня надёжности при достаточно редком цикле обновления информации (по сравнению с PingFS). В итоге можно получить полностью распределённое и независимое эфемерное хранилище. Для хранения было решено использовать TXT-записи в рассчёте 9 TXT-записей по 187 байт на каждый резолвер. Максимальный размер хранилища при такой разбивке составляет 250 Мб с учётом репликации данных как минимум на три разных резолвера. В текущем виде DNSFS оформлен в виде простого HTTP-интерфейса для загрузки и скачивания файла. Обновление состояния блоков пока не поддерживается, т.е. данные могут храниться не более суток.



  1. Главная ссылка к новости (https://blog.benjojo.co.uk/pos...)
  2. OpenNews: Организация Linux Foundation представила DNS-сервер CoreDNS 1.0.0
  3. OpenNews: Выпуск DNS-сервера Knot DNS 2.2
  4. OpenNews: Уязвимости в Dnsmasq, позволяющие удалённо выполнить код атакующего
  5. OpenNews: Вступили в силу требования к удостоверяющим центрам по проверке CAA-записей в DNS
  6. OpenNews: DNS как канал передачи данных от вредоносного ПО
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/47895-dns
Ключевые слова: dns, dnsfs, pingfs
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (32) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 11:14, 13/01/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Скоро будут халявные файлопомойки на dns
     
     
  • 2.8, Аноним (-), 12:58, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • –8 +/
    Давно существуют техники так называемого тумманого хранения данных. Когда данные живут в сетевом оборудовании. Скажем Ping летит за 200 ms содержит 1400 байт значит можно хранить в сети 1400 байт целых 200 ms. По сути хранением данных будут заниматься роутеры до места назначения.
     
  • 2.29, pavlinux (ok), 17:51, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • –5 +/
    > Скоро будут халявные файлопомойки на dns

    Со время апдейта 3600 секунд? :)

     

  • 1.2, Аноним (-), 11:23, 13/01/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    Фрики, неиронично использовавшии Iodine, вышли на новый уровень.
     
  • 1.3, Аноним (-), 12:26, 13/01/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    как всегда не написано о практическом применении
     
     
  • 2.4, ваш К.О. (?), 12:32, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • –5 +/
    cp беспалевно хранить, чего ж еще.

     
     
  • 3.5, Аноним (-), 12:36, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • –5 +/
    в объёме равном десяти записей ТХТ?
     
     
  • 4.6, Аноним (-), 12:37, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • –3 +/
    250М на весь мир
    мало тебе чтоли?
     
  • 2.7, аноним 12 (?), 12:39, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • +2 +/
    «Как и PingFS проект DNSFS позиционируется как эксперимент, не рассчитанный на серьёзное использование.»

    Какое ещё практическое применение?

     
  • 2.15, Нанобот (ok), 15:06, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Написано. Купи очки
     
  • 2.18, Аноним (-), 16:10, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Значение слова «эксперимент» можешь посмотреть в словаре.
     

  • 1.9, Аноним (-), 13:05, 13/01/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    Киберпанк!
     
  • 1.10, Аноним (-), 13:05, 13/01/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Интересно, а есть прога чтобы посмотреть что там сейчас лежит?
     
     
  • 2.12, Аноним (-), 14:03, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • –3 +/
    nslookup
     
  • 2.16, Аноним (-), 15:20, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Сделал rndc dumpdb -cache, посмотрелл less'ом содержимое named_dump.db и не нашел ни одной TXT записи.
     
  • 2.31, Аноним (-), 18:39, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • +/
    irfan view, acdsee :D
     

  • 1.11, Аноним (-), 13:33, 13/01/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    Это таки облако, госопда
     
  • 1.14, ыы (?), 14:20, 13/01/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    gt оверквотинг удален это распределенное хранилище ключ-значение , а не ФС ... большой текст свёрнут, показать
     
     
  • 2.19, Аноним (-), 16:11, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • –3 +/
    В рамках курсовой по программированию тебе любой студент напишет FuseDNSFS, было бы желание.
     
  • 2.28, pavlinux (ok), 17:50, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • –6 +/
    > это распределенное хранилище "ключ-значение", а не ФС.

    тебе прям чтоб в ядре было, иноды крутило и все syscall отрабатывало?


     

  • 1.22, fantom (??), 17:33, 13/01/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    Эх блин люди....

    Когда был обнаружен эффект отклонения стрелки компаса в магнитном поле, его показывали как "красивый фокус, практического применения не имеющий"...
    А на этом принципе все электродвигатели и генераторы построены.

    Герц, открыв радиоволны, тоже считал это просто фокусом.
    Первая железная дорога была аттракционом.

    и список можно продолжать до бесконечности.

    Мы на данном этапе не в состоянии оценить насколько полезным этот эксперимент будут считать через 100 лет :)  

     
     
  • 2.24, pavlinux (ok), 17:37, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Тут есть открытие?
     
     
  • 3.30, Ю.Т. (?), 18:01, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну, фантаст. серию на этом принципе запилили уже давно - "Гиперион" Симмонса.
     
     
  • 4.34, ssh (ok), 18:52, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну, фантаст. серию на этом принципе запилили уже давно - "Гиперион" Симмонса.

    Ну, на обитель Техно-Центра это слабо походит. Тсс. Шрайк! :\

     
     
  • 5.35, Ю.Т. (?), 19:08, 13/01/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> Ну, фантаст. серию на этом принципе запилили уже давно - "Гиперион" Симмонса.
    > Ну, на обитель Техно-Центра это слабо походит. Тсс. Шрайк! :\

    Но принцип очевидно схож (может, и Симмонс первоначальную идею у кого-то тяпнул).

     
  • 2.41, Аноним (-), 03:24, 16/01/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >>Герц, открыв радиоволны, тоже считал это просто фокусом.

    Герц ещё считал ряды Фурье бесполезным баловством - пора для единицы частоты найти новое название!

     

  • 1.33, Аноним (-), 18:50, 13/01/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Вирусописатели непременно воспользуются =)
     
  • 1.37, Пресли (?), 20:36, 13/01/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А чё, как анонимизатор транзакций и L3 кэш (пул), ещё невошедших в блокчайн транзакций, - сойдёт...
     
     
  • 2.39, Аноним (-), 13:32, 14/01/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Какой анонимизатор? Ты для этого должен доменом рулить, анонимно этого делать не дают.
     
     
  • 3.40, Pofigist (?), 10:36, 15/01/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Что тебе мешает использовать альтернативную систему корневых доменов, где это разрешено, или вообще - создать свою?
     
     
  • 4.42, mickvav (?), 09:18, 16/01/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Ну тогда и развернуть распределенную файловую систему не должно быть великой проблемой - если ты пилишь крипту, у тебя уже есть возможность запускать свой код на куче устройств и хозяева этих устройств уже мотивированы хранить твои данные (они же, по сути, в доле). А тут - ты хранишь данные на оборудовании людей, которые по организационным причинам не могут твои данные не хранить. Платить им не надо.
     

  • 1.43, DmA (??), 13:56, 18/01/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    но если кто-то ещё захочет этим воспользоваться, то мои данные затрутся быстро :)
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру