Для кластерной файловой системы HAMMER (http://www.dragonflybsd.org/hammer/), разрабатываемой в рамках проекта DragonFly BSD, реализована (http://leaf.dragonflybsd.org/mailarchive/commits/2010-11/msg...) поддержка объединения дубликатов данных. Представленная функция позволяет заметно сократить потребление дискового пространства в конфигурациях с большой долей повторяющихся данных за счет физического хранения на диске только одной копии всех дубликатов. Для пользователей которые не хотят рисковать использовать экспериментальный код, но не против узнать сколько можно сэкономить места на диске предусмотрен режим симуляции операции объединения дубликатов ("hammer dedup-simulate").

Некоторые возможности файловой системы HAMMER: восстановление ошибок во время монтирования, без необходимости выполнения fsck; возможность создания неограниченного числа снапшотов, отражающих состояние файловой системы в заданный промежуток времени; инкрементальное зеркалирование без использования о...

URL: http://www.shiningsilence.com/dbsdlog/2010/11/07/6740.html
Новость: http://www.opennet.me/opennews/art.shtml?num=28608

• В файловой системе HAMMER появилась поддержка объединения ду...,PavelR, 23:12 , 10-Ноя-10
  • В файловой системе HAMMER появилась поддержка объединения ду...,Andrei, 00:01 , 11-Ноя-10
  • Deduplication for Linux,Алексей, 03:37 , 11-Ноя-10
• В файловой системе HAMMER появилась поддержка объединения ду...,User294, 23:36 , 10-Ноя-10
  • В файловой системе HAMMER появилась поддержка объединения ду...,Аноним, 07:17 , 11-Ноя-10
  • В файловой системе HAMMER появилась поддержка объединения ду...,www2, 09:25 , 11-Ноя-10
• В файловой системе HAMMER появилась поддержка объединения ду...,Аноним, 00:20 , 11-Ноя-10
  • В файловой системе HAMMER появилась поддержка объединения ду...,тигар, 10:23 , 11-Ноя-10
• В файловой системе HAMMER появилась поддержка объединения ду...,Аноним, 00:21 , 11-Ноя-10
  • В файловой системе HAMMER появилась поддержка объединения ду...,iZEN, 00:25 , 11-Ноя-10
    • В файловой системе HAMMER появилась поддержка объединения ду...,Аноним, 00:51 , 11-Ноя-10
      • В файловой системе HAMMER появилась поддержка объединения ду...,kshetragia, 05:20 , 11-Ноя-10
• В файловой системе HAMMER появилась поддержка объединения ду...,pavlinux, 14:26 , 11-Ноя-10

Нужно делать бэкапы виртуальных машин.
Предполагается использовать rsync для их копирования.

Необходимо организовать хранилище файлов резервных копий, с поддержкой дедупликации, чтобы хранились только изменившиеся блоки. Какая ОС/фс готовы к такому использованию в настоящий момент?
(solaris+zfs.v26, какие еще?)

man "cp -al ... && rsync ..." ||
man unionfs

Из известных мне решений для дедупликации под Linux могу посоветовать смотреть в сторону LessFS (http://www.lessfs.com/) и SDFS (http://www.opendedup.org/), обе эти ФС работают через FUSE.
SDFS написана на жабе, для работы требует достаточно много ОЗУ, но при этом работает весьма шустро.

Нечто такое жутко рулило бы для виртуалок и контейнеров - по сути можно прямо на дисковй ФС хранить и делать все то что обычно делают в самопальных форматах виртуальных дисков и прочих костылях. Было бы куда удобнее в управлении чем виртуальные диски в файлах и прочая муть. Вот только где виртуализация на бсд? Ржевский, молчать! :)

VirtualBox ? Под фряхой у него даже усб есть (в OSS верии):)
Хотя под фряхой и ZFS есть так чтЭ ...

В DragonFly BSD, разработчики которой одновременно являются и разработчиками HAMMER, есть vkernel. Насколько я могу судить, это аналог User Mode Linux.

Замечательно, еще бы портировали в другие *БСД

Диллон правильно сказал что "у вас(fbsd) есть zfs, пилите его лучше". Но лично Вы можете портировать hammer на нужную xBSD ;)

Когда ей уже во FreeBSD портируют?

Сейчас в FreeBSD идёт активное перелопачивание vfs и структур ZFS — подготавливается внедрение дедупликации и ZFSv28. ;)

И? Времени достаточно было, еще даже до импорта ZFS.

Там были другие, более важные задачи.

Предлагаю снизить количество дубликатов до двух бит - 1 и 0, или да же до одного - 0 и ~0