5 лучших инструментов для поиска и удаления повторяющихся файлов в Linux

Управление файлами само по себе является сложной задачей. Добавьте к этому большой объем повторяющихся файлов, которые обычно занимают место для хранения, и процесс становится все труднее.

Стандартный способ справиться с повторяющимися файлами – найти и удалить их вручную. Однако использование специальной программы для поиска дубликатов файлов может значительно ускорить процесс.

Итак, если вы планируете избавиться от повторяющихся файлов и очистить свой компьютер, вот список некоторых из лучших инструментов для поиска и удаления повторяющихся файлов в Linux.

1. Fslint

Fslint – это утилита на основе графического интерфейса и интерфейса командной строки для очистки вашей системы от разного рода беспорядка. Он называет этот беспорядок «пухом» и предлагает несколько инструментов, которые помогут вам выполнить множество задач, включая поиск дубликатов файлов, пустых каталогов и проблемных имен файлов.

Обладая графическим режимом работы и режимом командной строки, fslint упрощает новым пользователям Linux процесс освобождения памяти компьютера от всех видов системных линтов.

Чтобы получить доступ к fslint через графический интерфейс, все, что вам нужно сделать, это открыть терминал и запустить команду fslint-gui .

Что касается расширенной функциональности, программа предлагает 10 различных функций в режиме CLI, таких как findup, findu8, findnl, findtf и finded. Используя их, вы можете уточнить результаты поиска, чтобы повысить ваши шансы найти определенные типы повторяющихся файлов в вашей системе.

Как установить fslint

В дистрибутивах на основе Debian, таких как Ubuntu:

 sudo apt install fslint

В дистрибутивах на основе RHEL, таких как CentOS и Fedora:

 sudo yum install fslint
 sudo dnf install fslint

В Arch Linux и Manjaro:

 sudo pacman -S fslint

2. Fdupes

Fdupes – одна из самых простых программ для выявления и удаления дубликатов файлов, находящихся в каталогах. Выпущено под лицензией MIT на GitHub, бесплатно и с открытым исходным кодом.

Программа работает с использованием подписи md5sum и проверки побайтного сравнения для определения повторяющихся файлов в каталоге. При необходимости вы также можете выполнять рекурсивный поиск, отфильтровывать результаты поиска и получать сводное представление об обнаруженных повторяющихся файлах.

После того, как вы определили повторяющиеся файлы в каталоге, вы можете использовать fdupes, чтобы либо удалить файлы, либо заменить их ссылками на исходный файл.

Установка Fdupes

В дистрибутивах на основе Debian:

 sudo apt install fdupes

В дистрибутивах на основе RHEL:

 sudo yum install fdupes
 sudo dnf install fdupes

Для установки в Arch Linux и Manjaro:

 sudo pacman -S fdupes

Связанный: Как найти и удалить повторяющиеся файлы в Linux с помощью fdupes

3. Rdfind

Rdfind – еще одна утилита Linux, которая поможет вам найти на вашем компьютере избыточные файлы в разных каталогах. Он основан на сравнении файлов на основе их содержимого, а не имени, для выявления дубликатов, что делает его более эффективным в своей работе.

Для этого программа работает, ранжируя одинаковые файлы в каталоге и определяя оригинал и дубликаты: файл с самым высоким рейтингом выбирается как оригинал, а остальные – дубликаты.

Кроме того, rdfind также может вычислять контрольные суммы для сравнения файлов при необходимости. И что самое приятное, он сохраняет отсканированные результаты в файл results.txt в домашнем каталоге, поэтому вы можете обратиться к нему, когда собираетесь удалить дубликаты, чтобы убедиться, что вы не удалите неправильные.

Конечно, как и большинство других средств поиска дубликатов файлов, rdfind также предлагает некоторые препроцессоры для сортировки файлов, игнорирования пустых файлов или установки символических ссылок. И последнее, но не менее важное: есть возможность удалить повторяющиеся файлы.

Связано: Что такое символическая ссылка (Symlink)? Как создать его в Linux

Как установить rdfind

В Debian / Ubuntu:

 sudo apt install rdfind

В Fedora / CentOS:

 sudo dnf install rdfind

4. DupeGuru

DupeGuru – это кроссплатформенный инструмент для поиска и удаления дубликатов файлов на вашем компьютере. Одна из его лучших характеристик – возможность настроить механизм сопоставления в соответствии с вашими предпочтениями, чтобы увеличить ваши шансы найти правильный тип повторяющихся файлов в каталоге. И, как и несколько других программ поиска дубликатов, он также предлагает графический интерфейс для облегчения операций.

Говоря о функциональности, dupeGuru использует свой алгоритм нечеткого сопоставления для сканирования имен файлов или содержимого файлов и быстрого и эффективного поиска дубликатов.

Кроме того, он также хорошо справляется с музыкой и информацией об изображениях, что дает ему преимущество перед другими поисковиками дубликатов файлов. Более того, при необходимости у вас есть возможность настроить его механизм сопоставления, чтобы найти именно тот тип повторяющихся файлов, которые вы хотите удалить.

DupeGuru также позволяет удалять повторяющиеся файлы. И для этого у него есть справочная система каталогов, которая предотвращает случайное удаление неправильных файлов. Помимо удаления, есть возможность переместить или скопировать их в другое место.

Установка DupeGuru

В дистрибутивах на основе Debian:

 sudo add-apt-repository ppa:dupeguru/ppa
 sudo apt-get update
 sudo apt-get install dupeguru

В Arch Linux:

 sudo pacman -S dupeguru

5. Рмлинт

Rmlint – это еще один инструмент для поиска и удаления копий, а не просто дубликатов файлов для Linux. Его можно использовать бесплатно, и он очень быстро обнаруживает повторяющиеся файлы и каталоги в вашей системе. Вы также получаете поддержку формата хранения Btrfs, что выделяет его среди других инструментов в этом списке.

Кстати, некоторые из других аспектов, в которых rmlint превосходит другие конкурирующие инструменты для удаления дубликатов файлов, включают в себя возможность поиска файлов на основе определенного периода времени, поиск файлов с неработающими идентификаторами пользователей / групп и поиск неизолированных двоичных файлов, которые занимают много места. пространства. Кроме того, как и несколько других программ, он также сохраняет отсканированные результаты в файлы rmlint.json и rmlint.sh , которые могут пригодиться во время операции удаления.

Однако обратите внимание, что, в отличие от других инструментов, rmlint не самый простой в использовании: он генерирует сценарий для удаления дубликатов, который требует некоторого уровня понимания для эффективного использования.

Как установить rmlint

В дистрибутивах на основе Debian:

 sudo apt install rmlint

В Fedora и CentOS:

 sudo yum install rmlint
 sudo dnf install rmlint

В дистрибутивах на основе Arch, таких как Manjaro:

 sudo pacman -S rmlint

Защита от дублирующихся файлов в Linux

Используя перечисленные выше программы поиска дубликатов файлов, вы можете легко определить дубликаты файлов, которые могут занимать место на вашем компьютере, и полностью удалить их. Тем не менее, небольшой совет при работе с такими инструментами: будьте особенно осторожны с вашими действиями, чтобы избежать удаления важных файлов и документов в вашей системе.

Если вы немного скептически относитесь к тому, какие файлы удалить, а какие оставить, обязательно сделайте резервную копию всех данных в вашей системе, чтобы быть в безопасности.