Dubletten finden mit Bash

Dubletten_finden.md

Finden von Dubletten mit md5 und xxh3

Ein Vergleich :

find . -type f -exec md5sum {} + | sort | uniq -w32 -Di

Ordner mit ca. 100 Videos durchsucht in 1 Minute 57 Sek ; 11 Treffer oder

find . -type f -exec xxhsum -H3 {} + | sort | uniq -w32 -Di

Ordner mit ca. 100 Videos durchsucht in 2 Minuten 21Sek ; 10 Treffer

---

Sicherheitsexperten erzeugen den Hash statt mit md5sum gerne auch mit mit shasum oder sha256sum.

Ich hab das probiert, kostet in diesem Fall aber nur Zeit.