Jeden Tag laden wir verschiedene Dateitypen in unserem Betriebssystem herunter, erstellen und bearbeiten sie, in diesem speziellen Fall sprechen wir über Linux, und einer der häufigsten Fehler ist, dass wir häufig mehrere doppelte Dateien haben, die nicht nur ein Extra belegen Speicherplatz auf der Festplatte, kann aber beim Öffnen und Bearbeiten von Dateien zu einem Störfaktor werden.
Bei vielen Gelegenheiten haben wir auf unseren Desktops oder Servern verschiedene Dateien, unabhängig von ihrem Format, Duplikate und wir wissen es nicht. Dies führt dazu, dass unnötig Speicherplatz beansprucht wird und wir mit einer falschen Datei arbeiten können, da wir eine bearbeiten und dann die andere öffnen können usw. Eine praktische Möglichkeit, unsere Arbeitsumgebung besser zu organisieren, besteht darin, diese doppelten Dateien zu erkennen und zu beseitigen, sodass auf diese Weise eine einzige Datei verwendet werden kann.
Es lohnt sich, diese Aufgabe nicht nur zu löschen, um die Duplikate zu löschen, sondern auch um Suchen durchzuführen, bei denen wir die Dateien entfernen und löschen können, die wir nicht mehr benötigen, aber von verschiedenen Teilen des Linux-Betriebssystems wiederholt haben. Unabhängig von der Version, wie sie in Fedora, Ubuntu, Debian, CentOS und vielen anderen sein kann.
Wir haben schon zu seiner Zeit gesehen, wie man doppelte Dateien in Windows findet. Hier konzentrieren wir uns auf Linux-Umgebungen, in denen wir sowohl auf grafischer Ebene als auch auf der Befehlszeile über Tools verfügen, die uns helfen, diese Dateien zu finden und diejenigen zu eliminieren, die wir als solche betrachten Nicht nützlich.
Solvetic erklärt auf einfache, aber funktionale Weise, wie man doppelte Dateien in Linux erkennt und entfernt.
Was ist das Rdfind-Dienstprogramm?Rdfind ist ein Befehlszeilentool, das entwickelt wurde, um doppelte Dateien im Verzeichnis zu erkennen. Seine Verwendung kann verwendet werden, um Backup-Verzeichnisse zu komprimieren oder doppelte Dateien auf einfache Weise zu finden. Dieses Dienstprogramm vergleicht Dateien anhand ihres Inhalts, jedoch nicht anhand ihrer Dateinamen, da es auf der Prüfsumme basiert. Rdfind verwendet einen Algorithmus, um die Dateien zu klassifizieren und so zu erkennen, welches der Duplikate das Original ist und den Rest als Duplikate zu betrachten. Die Regeln für die Verwendung von Rdfind sind:
- Wenn A beim Scannen eines Eingabearguments vor B gefunden wurde, wird A höher eingestuft.
- Wenn A in einer Tiefe von weniger als B gefunden wurde, wird A höher eingestuft.
- Wenn A vor B gefunden wurde, wird A höher eingestuft.
Was ist der Algorithmus von Rdfind?Rdfind verwendet, wie bereits erwähnt, den folgenden Algorithmus, wobei N die Anzahl der zu durchsuchenden Dateien und der erforderliche Aufwand O (Nlog (N)) ist. Rdfind sortiert Dateien vor dem Lesen von der Festplatte in Inodes, sodass dieser Prozess schnell ist und Daten nur bei Bedarf von der Festplatte liest. Der Algorithmus verwaltet die folgenden Sequenzen:
- Über jedem Argument auf der Befehlszeile wird eine Schleife erstellt, wobei jedem Argument in aufsteigender Reihenfolge eine Prioritätsnummer zugewiesen wird.
- Für jedes Argument wird der Inhalt des Verzeichnisses rekursiv aufgelistet und der Dateiliste zugeordnet.
- Rdfind weist jedem Argument eine Verzeichnistiefennummer zu, beginnend bei 0.
- Wenn das Eingabeargument eine Datei ist, wird sie der Dateiliste hinzugefügt.
- Die Liste wird dann durchlaufen und die Größen aller Dateien werden ermittelt.
- Wenn das Flag „-removeidentinode“ wahr ist, werden die bereits hinzugefügten Elemente der Liste entsprechend der Kombination aus Gerätenummer und Inode entfernt.
- Dateien werden nach Größe sortiert, dann werden Dateien mit eindeutigen Größen aus der Liste entfernt.
- Es ist nach Gerät und Inode geordnet, was das Lesen von Dateien beschleunigt).
- Dateien in der Liste mit gleicher Größe, aber unterschiedlichen ersten Bytes werden entfernt.
- Die Prüfsumme wird für jede Datei ausgeführt.
- Nur Dateien in der Liste mit derselben Größe und Prüfsumme werden beibehalten. Dies sind die Duplikate.
- Die Liste ist nach Größe, Prioritätsnummer und Tiefe sortiert. Die erste Datei in jedem Duplikatsatz wird standardmäßig als Original betrachtet.
- Wenn Sie "-makeresultsfile true" ankreuzen, wird die Ergebnisdatei gedruckt (Standard).
- Wenn das Flag "-deleteduplicates true" ist, werden die doppelten Dateien gelöscht.
- Wenn das Flag "-makesymlinks true" ist, werden die Duplikate durch einen symbolischen Link zum Original ersetzt.
- Wenn das Ergebnis "-makehardlinks true" ist, ersetzen wir die Duplikate durch einen Link zum Original.
1. Finden Sie doppelte Dateien mit dem Dienstprogramm Rdfind unter Linux
Schritt 1
Um Rdfind unter Linux zu installieren, können wir einen der folgenden Befehle ausführen:
sudo apt install rdfind (Debian / Ubuntu / Mint) sudo yum install epel-release && $ sudo yum install rdfind (CentOS / RHEL) sudo dnf install rdfind (Fedora)
Schritt 2
Sobald Rdfind heruntergeladen und installiert ist, führen wir es wie folgt in einem einfachen Verzeichnis aus:
rdfind / home / Solvetic
Schritt 3
Dort können wir sehen, dass die Anzahl der Dateien in diesem Verzeichnis erkannt wird und ob doppelte Dateien entfernt wurden oder nicht. Das Dienstprogramm Rdfind speichert die Ergebnisse in einer Datei results.txt, die sich im selben Verzeichnis befindet, in dem das Programm ausgeführt wurde. Wir können den Inhalt mit cat anzeigen:
Katze Ergebnisse.txt
Schritt 4
Eine zusätzliche Aufgabe für rdfind besteht darin, den Parameter "-dryrun" zu verwenden, der eine Liste von Duplikaten bereitstellt, ohne etwas dagegen zu unternehmen:
rdfind -dryrun true / home / Solvetic
Schritt 5
Falls Duplikate erkannt werden, ist es möglich, diese durch solche Hardlinks zu ersetzen.
rdfind -makehardlinks true / home / userSchritt 6
Um Duplikate zu beseitigen, müssen wir Folgendes ausführen:
rdfind -deleteduplicates true / home / userSchritt 7
Um auf die Hilfe von Rdfind zuzugreifen, verwenden wir den folgenden Befehl:
Mann rdfind
2. Finden Sie doppelte Dateien mit dem Fdupes-Dienstprogramm unter Linux
Eine weitere Option, die wir in Linux haben, um doppelte Dateien zu überprüfen, ist Fdupes. Es ist ein Befehlszeilentool, mit dem wir im Detail beobachten können, welche Dateien wir auf dem System doppelt haben. Fdupes ist ein Programm, das entwickelt wurde, um doppelte Dateien in bestimmten Verzeichnissen in Linux zu identifizieren oder zu entfernen, es ist Open Source und kostenlos und es ist in C geschrieben.
Funktionen von FdupesFdupes verwendet die folgenden Methoden, um doppelte Dateien in Verzeichnissen zu ermitteln:
- Vergleich von partiellen md5sum-Signaturen.
- Vergleich aller Signaturen von md5sum.
- Byte-für-Byte-Vergleichsprüfung.
Bei der Verwendung von Fdupes haben wir Optionen zur Verwendung wie:
- Rekursive Suche.
- Leere Dateien ausschließen.
- Zeigt die Größe doppelter Dateien an.
- Entfernen Sie Duplikate sofort.
- Schließen Sie Dateien mit unterschiedlichen Eigentümern aus.
Schritt 1
Dieses Tool ist standardmäßig nicht installiert, daher müssen wir den folgenden Befehl eingeben, um es zu installieren. Um Fdupes zu installieren, führen wir den folgenden Befehl aus:
sudo apt installieren fdupes
Schritt 2
Nach dem Herunterladen können wir die folgende Zeile für eine einfache Suche ausführen. Dort werden die doppelten Dateien angezeigt.
fdupes / Pfad zur Suche
Schritt 3
Um eine rekursive Suche durchzuführen, verwenden wir die folgende Zeile:
fdupes -r / Pfad zur Suche
Schritt 4
Es wird möglich sein, mehrere Verzeichnisse anzugeben und ein Verzeichnis für die rekursive Suche wie folgt anzugeben:
fdupes -rSchritt 5
Wenn Fdupes die Größe doppelter Dateien berechnen soll, verwenden wir die Option -S:
fdupes -S
Schritt 6
Um zusammenfassende Informationen über die gefundenen Dateien zu sammeln, verwenden wir die Option -m:
fdupes -m
Schritt 7
Falls Sie alle Duplikate löschen möchten, führen wir Folgendes aus:
fdupes -dSchritt 8
Wenn wir auf die Hilfe des Dienstprogramms zugreifen möchten, führen wir Folgendes aus:
fdupes -hilfeSchritt 9
Einige der allgemeinen Nutzungsoptionen sind:
Greifen Sie für jedes ausgewählte Verzeichnis auf seine Unterverzeichnisse zu
-r -rekurs
Rekursive Suche aktivieren
-R --rekurs
Erstellen Sie symbolische Links
-s -symlinks
Wenn zwei oder mehr Dateien auf dasselbe Ziel verweisen, werden sie als Nicht-Duplikate behandelt
-H -Hardlinks
Dateien der Länge null ausschließen
-n -nicht leer
Versteckte Dateien ausschließen
-A -nohidden
Doppelte Dateigröße anzeigen
-S -Größe
Ausgewählte Dateien löschen
-d -löschen
Verstecke das -q -quiet
-q -leise
Sortierreihenfolge für Ausgabe und Löschen nach Datei auswählen
-o - ***** = BY
Löschoptionen für Protokolldateien in LOGFILE
-l --log = LOGFILE
Stellen Sie die Fdupes-Version bereit
-v -Version
Zeigen Sie die Hilfemeldung an
-h - Hilfe
3. Finden Sie doppelte Dateien mit dem FSlint-Dienstprogramm unter Linux
Eine andere, die wir verwenden werden, ist FSlint, das standardmäßig in den verschiedenen Linux-Ditros wie Ubuntu, Debian, Fedora usw. enthalten ist. Um mehr über FSlint zu erfahren, können wir den folgenden Link besuchen:
Schritt 1
Wir können im Menü "Aktivitäten" nach FSlint suchen, um es zu verwenden.
VERGRÖSSERN
Schritt 2
Nach dem Öffnen müssen wir die Anwendung installieren. Klicken Sie dazu einfach auf die Schaltfläche Installieren und der Installationsvorgang des Dienstprogramms wird gestartet.
VERGRÖSSERN
Schritt 3
Sobald das Tool installiert wurde, fahren wir mit seiner Ausführung fort und sehen die folgende Umgebung:
Schritt 4
Um den Suchvorgang für alle doppelten Dateien zu starten, klicken Sie unten auf die Schaltfläche "Suchen" und das Ergebnis sieht ähnlich aus. Dort können wir die nicht benötigten Dateien auswählen und durch Drücken der Schaltfläche Löschen löschen. Das FSlint-Tool kann auch vom Terminal in Ubuntu 16 verwendet werden.
Schritt 5
Wenn wir das Tool vom Terminal aus installieren möchten, geben wir den Befehl ein:
sudo apt-get install fslint
Schritt 6
Sobald FSlint installiert ist, geben wir die folgenden Befehle ein, um FSlint zu verwenden. Wir können sehen, dass alle Dateien, die im System doppelt vorhanden sind, angezeigt werden.
cd / usr / share / fslint / fslint (Dies ist der Standardpfad in Ubuntu) ./fslint / Pfad zum Suchen von Dateien
Wichtiger HinweisKeines dieser Tools löscht doppelte Dateien, es zeigt uns nur, was sie sind und wir müssen diese Aufgabe manuell ausführen.
Wir sehen, dass wir zwei praktische Optionen haben, um doppelte Dateien in Linux-Umgebungen zu erkennen und zu entfernen und so den Speicherplatz und die zu verwendenden Dateien besser zu verwalten.
