Представлен новый выпуск rmlint 2.2.0 (https://github.com/sahib/rmlint), утилиты для чистки файловой системы, выявляющей дубликаты файлов и директорий, исполняемые файлы с отладочной информацией, повреждённые символические ссылки, пустые файлы, файлы с некорректными идентификаторами владельца и группы. Кроме штатного режима сравнения по контрольным суммам, доступен режим побайтового сопоставления. Программа отличается высокой производительностью, поддержкой различных форматов вывода (отчёт в JSON, shell-сценарий чистки), возможностью проверки только новых файлов. Код написан на языке Си и распространяется под лицензией GPLv3.

URL: http://www.reddit.com/r/linux/comments/35g1hy/rmlint_220_rel.../
Новость: http://www.opennet.me/opennews/art.shtml?num=42200

• Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 14:52 , 10-Май-15
  • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 15:53 , 11-Май-15
• Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,KOT040188, 15:03 , 10-Май-15
  • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Michael Shigorin, 22:36 , 11-Май-15
• Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 15:17 , 10-Май-15
  • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,ячс, 00:52 , 11-Май-15
    • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Crazy Alex, 02:52 , 11-Май-15
    • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 12:58 , 11-Май-15
    • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 15:44 , 11-Май-15
• Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 15:42 , 10-Май-15
  • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,cmp, 16:14 , 10-Май-15
    • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,YetAnotherOnanym, 16:45 , 10-Май-15
  • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Омномним, 11:00 , 11-Май-15
• Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 15:52 , 10-Май-15
• Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,grayich, 15:58 , 10-Май-15
  • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,ононимус, 16:27 , 11-Май-15
    • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,grayich, 16:45 , 11-Май-15
• Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Xasd, 17:41 , 10-Май-15
• Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,anonimko, 19:33 , 10-Май-15
  • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,pp, 20:36 , 10-Май-15
    • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 21:56 , 10-Май-15
      • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,ячс, 00:50 , 11-Май-15
        • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 01:01 , 11-Май-15
        • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 10:54 , 11-Май-15
        • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 16:03 , 11-Май-15
          • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Xasd, 18:45 , 11-Май-15
            • (offtopic) кто, если не Це,Michael Shigorin, 22:43 , 11-Май-15
        • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 09:09 , 12-Май-15
  • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,gvr, 23:26 , 10-Май-15
    • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 01:03 , 11-Май-15
      • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,_KUL, 01:45 , 12-Май-15
        • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 09:08 , 12-Май-15
    • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 10:55 , 11-Май-15
  • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 15:56 , 11-Май-15
• Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 19:46 , 10-Май-15
  • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Куяврег, 20:16 , 10-Май-15
  • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 15:57 , 11-Май-15
• Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Анончик, 20:02 , 10-Май-15
  • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Anonim, 23:43 , 10-Май-15
    • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Анончег, 05:39 , 11-Май-15
• Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 06:01 , 11-Май-15
• Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,vn971, 12:15 , 11-Май-15
  • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Аноним, 15:59 , 11-Май-15
    • Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа...,Michael Shigorin, 22:44 , 11-Май-15

> Код написан на языке Си и распространяется под лицензией GPLv3.

Годнота.

> Годнота.

А как оно относится с JSON и shell-скриптами к всяким креативно оформленным путям?

Ну там например в /home/username создать субдиру " subdir" (с пробелом в начале). Что там у нас скрипт потрет? :)

Вот только недавно искал нечто подобное.

> Вот только недавно искал нечто подобное.

Их довольно много, сходу вспомнилось findd.

Уф... на С, слава Богу, а то я уж подумал, что очередной бинарь на 20Мб

> Уф... на С, слава Богу, а то я уж подумал, что очередной бинарь на 20Мб

Угу, на ц оно само работает ведь

-I/usr/include/at-spi2-atk/2.0
18    -I/usr/include/gtk-3.0
19    -I/usr/include/gio-unix-2.0/
20    -I/usr/include/cairo
21    -I/usr/include/pango-1.0
22    -I/usr/include/atk-1.0
23    -I/usr/include/cairo
24    -I/usr/include/pixman-1
25    -I/usr/include/freetype2
26    -I/usr/include/libpng16
27    -I/usr/include/harfbuzz
28    -I/usr/include/freetype2
29    -I/usr/include/harfbuzz
30    -I/usr/include/libdrm
31    -I/usr/include/libpng16
32    -I/usr/include/gdk-pixbuf-2.0
33    -I/usr/include/libpng16
34    -I/usr/include/glib-2.0

Понятие "shared libraries" знакомо, надеюсь?

Эти либы написаны на си и их использует всё, включая go и python. Проблема низкой производительности и большого потребления памяти приложений на том же python не в них.

И где ты в зависимостях этой программы нашел эти либы, интересно?

А реестр она не чистит?

Ага мне вот тоже интересно как можно пользоваться линуксом и при этом не научится элементарным правилам, чтобы засрать фс, чтобы этим пользоваться

Разные ситуации бывают, не спешите осуждать.

Нет, поддержка systemd пока не реализована.

код на си но для убунта питон3 необходим

кто пользовал, как она относительно fdupes ?

rmlint намного быстрее. fdupes сравнивает по контрольным суммам, но побайтовый режим часто быстрее. Например, если нужно сравнить два файла по 4Gb и они отличаются в первом байте, то побайтовое сравнение считает с диска только первый блок из каждого файла, а сравнение по контрольным суммам прочитает оба файла полностью. А из-за кеширования в Linux как правило файлы много раз считывать заново не придется, поэтому преимущество от контрольных сумм теряется. Но быстрее всех rdfind, там еще хитрые оптимизации с сортировкой файлов по inode.

возможно ошибаюсь, но вроде где-то читал,
что fdupes сначала по размерам сравнивает, потом(если размеры совпали) по crc, а потом по md5 или sha

нужно ещё чтобы эта программа находила бы и исправляла бы системные ошибки в операционной системе!

;)

единичные герои, неподдающиеся python истерии, когда-нибудь спасут мир

причем тут истерия, когда быстро надо что то наклепать питон самое то. например в саблиме плагины пишутся на питоне, и я за 15 минут написал плагин который создает файл для gdb с вписанным именем файлом и строкой для бряков (по строкам которые я отметил в саблиме), которые автоматом потом загружается при дебаге. просто разные задачи у языков

Никто и не спорит, если питон применяется по назначению, например быстро написать себе скрипт, это даже хорошо. Но писать ПО на питоне для массового пользователя, как делается в убунте - это зло. И немногие это осознают.

> Никто и не спорит, если питон применяется по назначению, например быстро написать себе скрипт, это даже хорошо. Но писать ПО на питоне для  массового пользователя

Быстро написать для себя - хорошо, но быстро написать для других - это зло. Логично.

Логично. Когда время создания делится на множество пользователей, может появится смысл затратить больше времени, чтобы сделать более качественно.

Быстро написать для себя - хорошо, но быстро написать тормозящее приложение, жрущее оперативку и требующее более 200 мегабайт зависимостей, которым будут пользоваться миллионы пользователей потом и очень долго - это больше чем зло.

> Быстро написать для себя - хорошо, но быстро написать для других -
> это зло. Логично.

Поэтому я для себя написал прожку, которая жует... в первом приближении то что выдает fdupes. Но после моего просмотра. И фигачит unlink() на это. Быстро и сердито, на си. Потому что совсем не прикольно пытаться накормить шелскрипты теми путями которые у меня на дисках встречаются (с неправильными кодировками и прочая). Шелл таким макаром в два счета вынесет полдиска с его разбором wildcard и прочая :)

Hint: в именах файлов может быть "*", "?", " ", и другие веселые символы. Что очень доставляет при попытке автоматизировать обработку.

> Hint: в именах файлов может быть "*", "?", " ", и другие веселые символы. Что очень доставляет при попытке автоматизировать обработку.

hint: такая проблема есть только у bash (и ну ни как не у Python) .. и именно поэтому не рекомендуется писать код на bash размером более чем три короткие строчки :-)

> .. и именно поэтому не рекомендуется писать код на
> bash размером более чем три короткие строчки :-)

Это если четыре штанины.  А так-то http://docs.altlinux.org/archive/2.2/master/devel-html/ch03....

Луче перефразировать более корректно: Быстро написать для себя - хорошо, но быстро написать тормозное, тяжелое и непортируемое по для других - это зло.

Питон старше тебя, лол.

Как будто возраст — это что-то хорошее. Особенно для ЯП.

А как же явный пример между С++ и --E ??? Через десяток лет и --Е станет крутым. Возраст - важный аспект для оттестирования всего вся в языке.

В случае питона с возрастом растет его размер, тормознутость и жручесть оперативки. И работа по улучшению в этих направлениях не ведется, поскольку они не являются задачами данного языка.

Всмысле питон - старперский язык?

> единичные герои, неподдающиеся python истерии, когда-нибудь спасут мир

Нынче у хипстоты мода на go. Вон в соседней новости - "pwd с некоторыми ограничениями" :)

Нашла в хомяке гиг хлама

звучит как "одел очки, оказывается пока ел обляпался"

> Нашла в хомяке гиг хлама

Запустил fdupes. Убил 100Гб дряни. Учись, студент! :P

Непорядок. Должно быть написано на Go.

>Непорядок. Должно быть написано на Go.

Нет. На Javascript

> Нет. На Javascript

При чём в браузере, иначе не труЪ!

одобряю, щас к себе в архив, и даже буду пользоватся.

По этой теме ещё похожую утилиту упомяну: `hardlink`.
Ищет дубликаты файлов и позволяет их между собой захардлинкать, полезно для бэкапов и неизменяемых файлов типа видео/аудио.

> Ищет дубликаты файлов и позволяет их между собой захардлинкать, полезно для бэкапов

Особенно когда под файлом вылезет бэд. Тогда вы наконец поймете шутку про нортон командер, два диска цэ и "а зачем мне их два?!"

>> Ищет дубликаты файлов и позволяет их между собой захардлинкать, полезно для бэкапов
> Особенно когда под файлом вылезет бэд.

Хламовник бэкапнику не замена.