winlin
Goto Top

Find duplicate Images on linux command line

Hallo Leute,

ich habe eine NextcloudPI Installation und verwalte da drüber meine Fotosammlung. Nun habe ich leider sehr viele Duplicate in verschiedenen Verzeichnissen. Muss unbedingt aufräumen und es gäbe FSLINT, FSDUPE. Ich kenne die GUI´s gut habe aber noch nie in der commandline was gemacht mit den tools.

Im Endeffekt möchte ich nur in meinen Hauptverzeichnis mit einigen Unterordnern nach duplikaten suchen und danach diese woanders verschieben z.B i nein anderes Verzeichnis.
HAt das schon jemand gemacht???? Ist das nur ein Kommando wie
fslint /PFAD -r -d

Content-Key: 564732

Url: https://administrator.de/contentid/564732

Printed on: April 19, 2024 at 23:04 o'clock

Mitglied: 143728
143728 Apr 13, 2020 updated at 10:05:35 (UTC)
Goto Top
Member: winlin
winlin Apr 13, 2020 at 10:29:10 (UTC)
Goto Top
könnte man so machen und das ergebnis aller duplikate in eine Textdatei schreiben:
find Pictures/  -type f -exec md5sum '{}' ';' | sort | uniq --all-repeated=separate -w 15 > dupes.txt  
Member: Lochkartenstanzer
Lochkartenstanzer Apr 13, 2020 updated at 10:45:56 (UTC)
Goto Top
Moin

Probier mal man fdupes. face-smile

 fdupes -r -n Pictures | tee duplicates.txt 

lks
Member: winlin
winlin Apr 13, 2020 at 11:00:41 (UTC)
Goto Top
fdupes ist glaub gar nicht so schlecht....wenn ich will das er verzeichnisse rekursiv durchsucht und duplikate automatisch löschen soll dann mache ich das wohl so:
fdupes /mnt/DatenenZumEntrümpeln/ -d -r -N 

Und wie mache ich es wenn ich möchte ds er die Files nicht löscht sindern in ein anderes Verzeichns schiebt????
fdupes /mnt/DatenenZumEntrümpeln/ -d -r -N  | mv /PFAD_ZUM_DUPLIKATE_ORDNER
Mitglied: 143728
Solution 143728 Apr 13, 2020 updated at 11:11:42 (UTC)
Goto Top
Zitat von @winlin:
Und wie mache ich es wenn ich möchte ds er die Files nicht löscht sindern in ein anderes Verzeichns schiebt????
> fdupes /mnt/DatenenZumEntrümpeln/ -d -r -N  | mv /PFAD_ZUM_DUPLIKATE_ORDNER
> 

fdupes -r -n -f /mnt/whatever | xargs -I'{}' mv -f '{}' '/ziel/whatever/'  
Member: winlin
winlin Apr 13, 2020 at 11:15:36 (UTC)
Goto Top
ahhhh super. In diesem Befehl verschiebt er doppelte files ind das neue Zielverzeichnis und kopiert sie nicht ??? Am ende sollten die Duplikate alle in dem Zielverzeichnis sein und nicht verstreut in den Quellverzeichnissen
Mitglied: 143728
Solution 143728 Apr 13, 2020 updated at 11:23:24 (UTC)
Goto Top
Zitat von @winlin:

ahhhh super. In diesem Befehl verschiebt er doppelte files ind das neue Zielverzeichnis und kopiert sie nicht ???
Naja du musst dich schon entscheiden wenn du oben schreibst "schieben" dann nehme ich in der Regel ein mv ansonsten eben cp, den Unterschied kennst du hoffentlich.

P.s deine Fragezeichentaste hängt des öfteren. Einmal reicht im Normalfall!
Am ende sollten die Duplikate alle in dem Zielverzeichnis sein und nicht verstreut in den Quellverzeichnissen
Joa, Option -f in fdupes überspringt das erste der Duplikate, denn ich denke mal das eins davon dort bleiben darf? Wenn nicht, einfach die Option entfernen, ansonsten wie immer RTFM...

Du darfst das gerne auch einfach mal selbst in einer Shell ausprobieren, dann kommst du auf das alles auch selbst und muss nicht jeden Fitzel nachfragen den man in 2 Minuten selbst herausbekommt, nur so lernt man davon auch was face-wink.