Doppelte Dateien finden

Sept. 10, 2012·
Julio Batista Silva
Julio Batista Silva
· 1 Min Lesezeit
blog

Dubletten vergeuden Speicherplatz. Glücklicherweise gibt es Tools, die die Suche automatisieren.

fdupes

Installieren:

sudo pacman -S fdupes

Rekursiv laufen lassen und Ausgabe in Datei schreiben:

fdupes -r . > dupes1.txt

Auf meinem Rechner dauerte das ~7 min für ~23.500 Dateien. dupes1.txt hatte 5714 Zeilen.

fdupes -rf . > dupes2.txt

Nach ~7 min: dupes2.txt mit 3878 Zeilen. Leere Zeilen entfernen mit sed -i '/^$/d' dupes2.txt → 2054 Zeilen.

Viele Treffer sind beabsichtigt identisch (z. B. Beispielcode in Büchern). VCS‑Verzeichnisse (git, svn, …) können als doppelt erscheinen, sollten aber nicht gelöscht werden.

Wer sicher Speicher sparen will, kann doppelte Dateien durch Hardlinks ersetzen.

Löschen aller doppelten Dateien (Vorsicht!):

while read f; do rm "$f"; done < dupes2.txt

Gemini (macOS)

Kostenpflichtige Alternative mit GUI: Gemini.

Julio Batista Silva
Autoren
Senior Cloud Developer

Ich bin ein brasilianischer Computeringenieur mit Wohnsitz in Deutschland und begeistere mich für Technik, Wissenschaft, Fotografie und Sprachen.

Ich programmiere seit etwa zwei Jahrzehnten und habe dabei alles von mobilen Apps und Webentwicklung bis hin zu Machine Learning erkundet. Derzeit fokussiere ich mich auf Cloud‑SRE und Data Engineering.

Ich engagiere mich ehrenamtlich in den Open‑Source- und Python‑Communities, helfe bei der Organisation der PyCon DE und PyData Berlin, betreue als Mentor und trage mit Code und Übersetzungen bei.

In meinem Blog teile ich Linux‑Tipps, Einrichtungsanleitungen und persönliche Notizen, die ich als spätere Referenz geschrieben habe. Ich hoffe, dass sie auch anderen nützlich sind. Die Inhalte sind in mehreren Sprachen verfügbar.

Schau dir meine Galerie an, um einige meiner Fotografien zu sehen.

Abseits der Tastatur findest du mich auf Konzerten, beim Klarinettenspiel, Radfahren, Tauchen oder beim Erkunden neuer Orte, Kulturen und Küchen.

Ich freue mich immer über den Austausch! 🙂

comments powered by Disqus