Duplikate löschen - funktioniert nicht...
Hallo Ihr Admins,
habe gemäß der Lösung von Biber vom 28.05.2009 um 08:29 Uhr :
Mit Batchdatei aus einer .txt alle doppelten Zeilen (Duplikate) komplett löschen
versucht Duplikate aus einer Textdatei zu löschen.
Diese funktioniert auch super, solange
- entweder keine Duplikate in meiner Textdatei sind oder
- mindestens eine Textzeile abweichend ist.
Sobald die Datei aber ausschließlich aus Duplikaten besteht, funktioniert es nicht...
Datei könnte also sein:
11111111
11111111
22222222
22222222
33333333
33333333
Und diese sieht nach dem Skript nach der Lösung von Biber immer noch genauso aus...
11111111
11111111
22222222
22222222
33333333
33333333
Nach meinem Verständnis müsste ich jedoch eine 0kB Datei (also eine leere Datei) bekommen
Kann mir da jemand auf die Sprünge helfen?
Gruß
UHU-stic
PS Die Lösung von LotPings 28.05.2009 um 11:01 Uhr habe ich nicht nachvollziehen können und diese somit aus meiner Bewertung ausgenommen
habe gemäß der Lösung von Biber vom 28.05.2009 um 08:29 Uhr :
Mit Batchdatei aus einer .txt alle doppelten Zeilen (Duplikate) komplett löschen
versucht Duplikate aus einer Textdatei zu löschen.
Diese funktioniert auch super, solange
- entweder keine Duplikate in meiner Textdatei sind oder
- mindestens eine Textzeile abweichend ist.
Sobald die Datei aber ausschließlich aus Duplikaten besteht, funktioniert es nicht...
Datei könnte also sein:
11111111
11111111
22222222
22222222
33333333
33333333
Und diese sieht nach dem Skript nach der Lösung von Biber immer noch genauso aus...
11111111
11111111
22222222
22222222
33333333
33333333
Nach meinem Verständnis müsste ich jedoch eine 0kB Datei (also eine leere Datei) bekommen
Kann mir da jemand auf die Sprünge helfen?
Gruß
UHU-stic
PS Die Lösung von LotPings 28.05.2009 um 11:01 Uhr habe ich nicht nachvollziehen können und diese somit aus meiner Bewertung ausgenommen
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 250420
Url: https://administrator.de/forum/duplikate-loeschen-funktioniert-nicht-250420.html
Ausgedruckt am: 20.04.2025 um 15:04 Uhr
3 Kommentare
Neuester Kommentar
Moin,
Die "Einzeiler"-Lösung, die man auch unter windows z.B. mit cygwin nutzen kann.
Und ja, das Ergebnis sollte aufgrund der Aufgabenstellung "leer" sein. Wenn es das nicht ist, Hat das Skript vermutlich einen Fehler, wi z.B. Spezialfall nicht abgefangen oder so (Ich habe mir jetzt das ale Skript nicht angeschaut).
lks
PS: Umformattiert zum Dreizeiler
sort test.txt | tee test.txt.sort | uniq >test.txt.uniq ; diff test.txt.uniq test.txt.sort | grep ">" | gawk -F "> " ' { print $2 } ' | sort -u >test.txt.double ; grep -v -f test.txt.double -F test.txt | tee result.txt
Die "Einzeiler"-Lösung, die man auch unter windows z.B. mit cygwin nutzen kann.
Und ja, das Ergebnis sollte aufgrund der Aufgabenstellung "leer" sein. Wenn es das nicht ist, Hat das Skript vermutlich einen Fehler, wi z.B. Spezialfall nicht abgefangen oder so (Ich habe mir jetzt das ale Skript nicht angeschaut).
lks
PS: Umformattiert zum Dreizeiler
sort test.txt | tee test.txt.sort | uniq >test.txt.uniq
diff test.txt.uniq test.txt.sort | grep ">" | gawk -F "> " ' { print $2 } ' | sort -u >test.txt.double
grep -v -f test.txt.double -F test.txt | tee result.txt