Doppeleinträge in Textdatei löschen

02.01.2022

2140

Hallo,

ich habe eine Textdatei (.txt) mit über 1.500 Einträgen. Würde dort gerne doppelte Einträge identifizieren und löschen. Mit welchem Program geht das? Ich habe schon selbst recherchiert, und bin auf Notepad++ gestoßen. Nur leider stimmen die Anleitungen, die man im Internet dazu findet, nicht. Da ist von irgendeinem Plugin die Rede, dass es aber scheinbar nicht mehr gibt. Ich steige da nicht durch.....

Wer kann mir da helfen?

Ich bin nur einfacher Anwender, also bitte kein Fachchinesisch.

Vielen Dank schonmal

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-Key: 1681110309

Url: https://administrator.de/contentid/1681110309

Ausgedruckt am: 04.07.2022 um 12:07 Uhr

11 Kommentare

Neuester Kommentar

Moin,

Ohoh, Manager im Sicherheitsbereich und kein Fachchinesisch im Fachbereich/Fachforum. Das wird Schwierig bis unmöglich, da bleibt nur der manuelle Weg.
Datei öffnen, Zeile für Zeile lesen, abgleichen, markieren, Enft-Taste drücken.

Für den Rest gab es einen schönen Artikel auf Heise.de
https://www.heise.de/meinung/Unternehmensfuehrung-Top-Manager-ohne-IT-Wi ...

Gruß
C.C.

Ich bin kein Manager im Sicherheitsbereich. Scheinbar habe ich irgendwas aus Versehen angeklickt.

Gibt es weitere Ideen? Was ist denn mit Notepad ++? Geht das damit wirklich nicht mehr?

Moin.

Schau Mal hier (bei Google):

kann das Grad nicht nochmal testen - vor nicht allzu langer Zeit ging's noch und ich sehe keinen Grund - z.B. NPP Versionsänderungen - warum es nicht mehr gehen sollte.

NPP Deduplizieren: NPPTextFX

Au weia, da muss man sich aber schon wirklich anstellen um mit der Suchmaschine der Wahl nicht erfolgreich zu sein, und sowas in nem Admin-Forum ... 🙃🙈 Z.B.Schnell mit PowerShell abgefackelt

Get-Content .\datei.txt | select -unique | set-content .\datei_neu.txt

Demo
https://tio.run/##K8gvTy0qzkjNyfn/30GdKyknMSmnNMkQxjDCEDFGSKk7KNQo5JeW6K ...

Schreib dir ein Werkzeug in Python. Eine Sache von höchstens 5 Minuten.

Zitat von @EliteHacker:

Schreib dir ein Werkzeug in Python. Eine Sache von höchstens 5 Minuten.

Na das wird ja dann abenteuerlich für den TO 😆😆

Ich bin nur einfacher Anwender, also bitte kein Fachchinesisch.

Ojeh.

#!/usr/bin/env python3

words = []
unique = []

with open("liste.txt", "r") as f:
    lines = f.readlines()

for i in lines:
    words.append(i.rstrip("\n"))

for word in words:
    if word not in unique:
        unique.append(word)

with open("unique.txt", "w") as f:
    for word in unique:
        f.write(word + "\n")

print("Fertig.")

Die Datei "liste.txt" mit deiner eigenen Datei ersetzen und aufpassen, dass du nicht noch eine andere Datei hast die "unique.txt" heisst, sonst wird sie überschrieben.

Bitte.

Du kannst es auch mit Excel abarbeiten. Stichwort "Duplikate entfernen" ist dein Freund.

Moin,

$sort -u <input.txt >output.txt

Oder

$unique <input.txt >output.txt

lks

Hallo,

habe inzwischen eine noch einfachere Lösung gefunden. Warum ich es nicht früher gesehen hab, weiß ich auch nicht. Vielleicht ist es auch erst neu in Notepad++ eingefügt worden:

also: Notepad++ 1. Bearbeiten, 2. Zeilenoperationen, 3. "Doppelte Zeilen" löschen

Das wars! In jedem Fall noch danke an eure Vorschläge und Lösungen.