Doppeleinträge in Textdatei löschen

Hallo,

ich habe eine Textdatei (.txt) mit über 1.500 Einträgen. Würde dort gerne doppelte Einträge identifizieren und löschen. Mit welchem Program geht das? Ich habe schon selbst recherchiert, und bin auf Notepad++ gestoßen. Nur leider stimmen die Anleitungen, die man im Internet dazu findet, nicht. Da ist von irgendeinem Plugin die Rede, dass es aber scheinbar nicht mehr gibt. Ich steige da nicht durch.....

Wer kann mir da helfen?

Ich bin nur einfacher Anwender, also bitte kein Fachchinesisch.

Vielen Dank schonmal

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 1681110309

Url: https://administrator.de/contentid/1681110309

Ausgedruckt am: 25.11.2024 um 14:11 Uhr

15 Kommentare

Neuester Kommentar

Moin,

Ohoh, Manager im Sicherheitsbereich und kein Fachchinesisch im Fachbereich/Fachforum. Das wird Schwierig bis unmöglich, da bleibt nur der manuelle Weg.
Datei öffnen, Zeile für Zeile lesen, abgleichen, markieren, Enft-Taste drücken.

Für den Rest gab es einen schönen Artikel auf Heise.de
https://www.heise.de/meinung/Unternehmensfuehrung-Top-Manager-ohne-IT-Wi ...

Gruß
C.C.

Ich bin kein Manager im Sicherheitsbereich. Scheinbar habe ich irgendwas aus Versehen angeklickt.

Gibt es weitere Ideen? Was ist denn mit Notepad ++? Geht das damit wirklich nicht mehr?

Moin.

Schau Mal hier (bei Google):

kann das Grad nicht nochmal testen - vor nicht allzu langer Zeit ging's noch und ich sehe keinen Grund - z.B. NPP Versionsänderungen - warum es nicht mehr gehen sollte.

NPP Deduplizieren: NPPTextFX

Au weia, da muss man sich aber schon wirklich anstellen um mit der Suchmaschine der Wahl nicht erfolgreich zu sein, und sowas in nem Admin-Forum ... 🙃🙈 Z.B.Schnell mit PowerShell abgefackelt

Get-Content .\datei.txt | select -unique | set-content .\datei_neu.txt

Demo
https://tio.run/##K8gvTy0qzkjNyfn/30GdKyknMSmnNMkQxjDCEDFGSKk7KNQo5JeW6K ...

Schreib dir ein Werkzeug in Python. Eine Sache von höchstens 5 Minuten.

Zitat von @EliteHacker:

Schreib dir ein Werkzeug in Python. Eine Sache von höchstens 5 Minuten.

Na das wird ja dann abenteuerlich für den TO 😆😆

Ich bin nur einfacher Anwender, also bitte kein Fachchinesisch.

Ojeh.

#!/usr/bin/env python3

words = 
unique = 

with open("liste.txt", "r") as f:  
    lines = f.readlines()

for i in lines:
    words.append(i.rstrip("\n"))  

for word in words:
    if word not in unique:
        unique.append(word)

with open("unique.txt", "w") as f:  
    for word in unique:
        f.write(word + "\n")  

print("Fertig.")  

Die Datei "liste.txt" mit deiner eigenen Datei ersetzen und aufpassen, dass du nicht noch eine andere Datei hast die "unique.txt" heisst, sonst wird sie überschrieben.

Bitte.

Du kannst es auch mit Excel abarbeiten. Stichwort "Duplikate entfernen" ist dein Freund.

Moin,

$sort -u <input.txt >output.txt

Oder

$unique <input.txt >output.txt

lks

Hallo,

habe inzwischen eine noch einfachere Lösung gefunden. Warum ich es nicht früher gesehen hab, weiß ich auch nicht. Vielleicht ist es auch erst neu in Notepad++ eingefügt worden:

also: Notepad++ 1. Bearbeiten, 2. Zeilenoperationen, 3. "Doppelte Zeilen" löschen

Das wars! In jedem Fall noch danke an eure Vorschläge und Lösungen.

Danke das habe ich gerade auch in Notepad ++ gesucht

Versteh nicht wie manche immer über einen Berg mit python script oder sonst was gehen wollen.
Einfache Lösung war gefragt und dann kommt so ein Müll!

Zitat von @EliteHacker:

Ojeh.

#!/usr/bin/env python3

words = 
unique = 

with open("liste.txt", "r") as f:  
    lines = f.readlines()

for i in lines:
    words.append(i.rstrip("\n"))  

for word in words:
    if word not in unique:
        unique.append(word)

with open("unique.txt", "w") as f:  
    for word in unique:
        f.write(word + "\n")  

print("Fertig.")  

Die Datei "liste.txt" mit deiner eigenen Datei ersetzen und aufpassen, dass du nicht noch eine andere Datei hast die "unique.txt" heisst, sonst wird sie überschrieben.

Bitte.

Danke,
kann man das auch erweitern? Ich habe in einer Datei eine Struktur:

 WertA, WertB, WertC ( WertA, WertX, WertY), WertB, WertC, WertA, WertD

Das ganze hätte ich gerne so:

 
WertA 
WertB 
WertE ( WertA, WertX, WertY)
WertC 
WertD

Also Duplikate löschen, die in den Klammern aber behalten. Und ich muss die Werte halt erstemal in "lines" bekommen.

Hab mit Python leider noch nichts am Hut. Arbeite mich da gerade erst ein und hab das Skipt erstmal so in Spyder zum laufen bekommen :D...