The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Выпуск rmlint 2.2.0, инструмента для выявления дубликатов файлов

10.05.2015 14:11

Представлен новый выпуск rmlint 2.2.0, утилиты для чистки файловой системы, выявляющей дубликаты файлов и директорий, исполняемые файлы с отладочной информацией, повреждённые символические ссылки, пустые файлы, файлы с некорректными идентификаторами владельца и группы. Кроме штатного режима сравнения по контрольным суммам, доступен режим побайтового сопоставления. Программа отличается высокой производительностью, поддержкой различных форматов вывода (отчёт в JSON, shell-сценарий чистки), возможностью проверки только новых файлов. Код написан на языке Си и распространяется под лицензией GPLv3.

  1. Главная ссылка к новости (http://www.reddit.com/r/linux/...)
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/42200
Ключевые слова: , rmlint
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (44) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 14:52, 10/05/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +14 +/
    > Код написан на языке Си и распространяется под лицензией GPLv3.

    Годнота.

     
     
  • 2.38, Аноним (-), 15:53, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Годнота.

    А как оно относится с JSON и shell-скриптами к всяким креативно оформленным путям?

    Ну там например в /home/username создать субдиру " subdir" (с пробелом в начале). Что там у нас скрипт потрет? :)

     

  • 1.2, KOT040188 (?), 15:03, 10/05/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вот только недавно искал нечто подобное.
     
     
  • 2.46, Michael Shigorin (ok), 22:36, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Вот только недавно искал нечто подобное.

    Их довольно много, сходу вспомнилось findd.

     

  • 1.3, Аноним (-), 15:17, 10/05/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Уф... на С, слава Богу, а то я уж подумал, что очередной бинарь на 20Мб
     
     
  • 2.26, ячс (??), 00:52, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Уф... на С, слава Богу, а то я уж подумал, что очередной бинарь на 20Мб

    Угу, на ц оно само работает ведь

    -I/usr/include/at-spi2-atk/2.0
    18 -I/usr/include/gtk-3.0
    19 -I/usr/include/gio-unix-2.0/
    20 -I/usr/include/cairo
    21 -I/usr/include/pango-1.0
    22 -I/usr/include/atk-1.0
    23 -I/usr/include/cairo
    24 -I/usr/include/pixman-1
    25 -I/usr/include/freetype2
    26 -I/usr/include/libpng16
    27 -I/usr/include/harfbuzz
    28 -I/usr/include/freetype2
    29 -I/usr/include/harfbuzz
    30 -I/usr/include/libdrm
    31 -I/usr/include/libpng16
    32 -I/usr/include/gdk-pixbuf-2.0
    33 -I/usr/include/libpng16
    34 -I/usr/include/glib-2.0

     
     
  • 3.29, Crazy Alex (ok), 02:52, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Понятие "shared libraries" знакомо, надеюсь?
     
  • 3.36, Аноним (-), 12:58, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Эти либы написаны на си и их использует всё, включая go и python. Проблема низкой производительности и большого потребления памяти приложений на том же python не в них.
     
  • 3.37, Аноним (-), 15:44, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    И где ты в зависимостях этой программы нашел эти либы, интересно?
     

  • 1.4, Аноним (-), 15:42, 10/05/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +8 +/
    А реестр она не чистит?
     
     
  • 2.8, cmp (ok), 16:14, 10/05/2015 [^] [^^] [^^^] [ответить]  
  • –15 +/
    Ага мне вот тоже интересно как можно пользоваться линуксом и при этом не научится элементарным правилам, чтобы засрать фс, чтобы этим пользоваться
     
     
  • 3.11, YetAnotherOnanym (ok), 16:45, 10/05/2015 [^] [^^] [^^^] [ответить]  
  • +18 +/
    Разные ситуации бывают, не спешите осуждать.
     
  • 2.34, Омномним (?), 11:00, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Нет, поддержка systemd пока не реализована.
     

  • 1.5, Аноним (-), 15:52, 10/05/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    код на си но для убунта питон3 необходим
     
  • 1.6, grayich (ok), 15:58, 10/05/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    кто пользовал, как она относительно fdupes ?
     
     
  • 2.43, ононимус (?), 16:27, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    rmlint намного быстрее. fdupes сравнивает по контрольным суммам, но побайтовый режим часто быстрее. Например, если нужно сравнить два файла по 4Gb и они отличаются в первом байте, то побайтовое сравнение считает с диска только первый блок из каждого файла, а сравнение по контрольным суммам прочитает оба файла полностью. А из-за кеширования в Linux как правило файлы много раз считывать заново не придется, поэтому преимущество от контрольных сумм теряется. Но быстрее всех rdfind, там еще хитрые оптимизации с сортировкой файлов по inode.
     
     
  • 3.44, grayich (ok), 16:45, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    возможно ошибаюсь, но вроде где-то читал,
    что fdupes сначала по размерам сравнивает, потом(если размеры совпали) по crc, а потом по md5 или sha
     

  • 1.13, Xasd (ok), 17:41, 10/05/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    нужно ещё чтобы эта программа находила бы и исправляла бы системные ошибки в операционной системе!


    ;)

     
  • 1.14, anonimko (?), 19:33, 10/05/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    единичные герои, неподдающиеся python истерии, когда-нибудь спасут мир
     
     
  • 2.19, pp (?), 20:36, 10/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    причем тут истерия, когда быстро надо что то наклепать питон самое то. например в саблиме плагины пишутся на питоне, и я за 15 минут написал плагин который создает файл для gdb с вписанным именем файлом и строкой для бряков (по строкам которые я отметил в саблиме), которые автоматом потом загружается при дебаге. просто разные задачи у языков
     
     
  • 3.21, Аноним (-), 21:56, 10/05/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Никто и не спорит, если питон применяется по назначению, например быстро написать себе скрипт, это даже хорошо. Но писать ПО на питоне для массового пользователя, как делается в убунте - это зло. И немногие это осознают.
     
     
  • 4.25, ячс (??), 00:50, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Никто и не спорит, если питон применяется по назначению, например быстро написать себе скрипт, это даже хорошо. Но писать ПО на питоне для  массового пользователя

    Быстро написать для себя - хорошо, но быстро написать для других - это зло. Логично.

     
     
  • 5.27, Аноним (-), 01:01, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Логично. Когда время создания делится на множество пользователей, может появится смысл затратить больше времени, чтобы сделать более качественно.
     
  • 5.32, Аноним (-), 10:54, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Быстро написать для себя - хорошо, но быстро написать тормозящее приложение, жрущее оперативку и требующее более 200 мегабайт зависимостей, которым будут пользоваться миллионы пользователей потом и очень долго - это больше чем зло.
     
  • 5.42, Аноним (-), 16:03, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Быстро написать для себя - хорошо, но быстро написать для других -
    > это зло. Логично.

    Поэтому я для себя написал прожку, которая жует... в первом приближении то что выдает fdupes. Но после моего просмотра. И фигачит unlink() на это. Быстро и сердито, на си. Потому что совсем не прикольно пытаться накормить шелскрипты теми путями которые у меня на дисках встречаются (с неправильными кодировками и прочая). Шелл таким макаром в два счета вынесет полдиска с его разбором wildcard и прочая :)

    Hint: в именах файлов может быть "*", "?", " ", и другие веселые символы. Что очень доставляет при попытке автоматизировать обработку.

     
     
  • 6.45, Xasd (ok), 18:45, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > Hint: в именах файлов может быть "*", "?", " ", и другие веселые символы. Что очень доставляет при попытке автоматизировать обработку.

    hint: такая проблема есть только у bash (и ну ни как не у Python) .. и именно поэтому не рекомендуется писать код на bash размером более чем три короткие строчки :-)

     
     
  • 7.47, Michael Shigorin (ok), 22:43, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > .. и именно поэтому не рекомендуется писать код на
    > bash размером более чем три короткие строчки :-)

    Это если четыре штанины.  А так-то http://docs.altlinux.org/archive/2.2/master/devel-html/ch03.html#id2816285

     
  • 5.52, Аноним (-), 09:09, 12/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Луче перефразировать более корректно: Быстро написать для себя - хорошо, но быстро написать тормозное, тяжелое и непортируемое по для других - это зло.
     
  • 2.23, gvr (?), 23:26, 10/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Питон старше тебя, лол.
     
     
  • 3.28, Аноним (-), 01:03, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Как будто возраст — это что-то хорошее. Особенно для ЯП.

     
     
  • 4.49, _KUL (ok), 01:45, 12/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    А как же явный пример между С++ и --E ??? Через десяток лет и --Е станет крутым. Возраст - важный аспект для оттестирования всего вся в языке.
     
     
  • 5.51, Аноним (-), 09:08, 12/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    В случае питона с возрастом растет его размер, тормознутость и жручесть оперативки. И работа по улучшению в этих направлениях не ведется, поскольку они не являются задачами данного языка.
     
  • 3.33, Аноним (-), 10:55, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Всмысле питон - старперский язык?
     
  • 2.39, Аноним (-), 15:56, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > единичные герои, неподдающиеся python истерии, когда-нибудь спасут мир

    Нынче у хипстоты мода на go. Вон в соседней новости - "pwd с некоторыми ограничениями" :)

     

  • 1.15, Аноним (-), 19:46, 10/05/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Нашла в хомяке гиг хлама
     
     
  • 2.17, Куяврег (?), 20:16, 10/05/2015 [^] [^^] [^^^] [ответить]  
  • +4 +/
    звучит как "одел очки, оказывается пока ел обляпался"
     
  • 2.40, Аноним (-), 15:57, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Нашла в хомяке гиг хлама

    Запустил fdupes. Убил 100Гб дряни. Учись, студент! :P

     

  • 1.16, Анончик (?), 20:02, 10/05/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Непорядок. Должно быть написано на Go.
     
     
  • 2.24, Anonim (??), 23:43, 10/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    >Непорядок. Должно быть написано на Go.

    Нет. На Javascript

     
     
  • 3.30, Анончег (?), 05:39, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Нет. На Javascript

    При чём в браузере, иначе не труЪ!

     

  • 1.31, Аноним (-), 06:01, 11/05/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    одобряю, щас к себе в архив, и даже буду пользоватся.
     
  • 1.35, vn971 (ok), 12:15, 11/05/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    По этой теме ещё похожую утилиту упомяну: 'hardlink'.
    Ищет дубликаты файлов и позволяет их между собой захардлинкать, полезно для бэкапов и неизменяемых файлов типа видео/аудио.
     
     
  • 2.41, Аноним (-), 15:59, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > Ищет дубликаты файлов и позволяет их между собой захардлинкать, полезно для бэкапов

    Особенно когда под файлом вылезет бэд. Тогда вы наконец поймете шутку про нортон командер, два диска цэ и "а зачем мне их два?!"


     
     
  • 3.48, Michael Shigorin (ok), 22:44, 11/05/2015 [^] [^^] [^^^] [ответить]  
  • +/
    >> Ищет дубликаты файлов и позволяет их между собой захардлинкать, полезно для бэкапов
    > Особенно когда под файлом вылезет бэд.

    Хламовник бэкапнику не замена.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру