bjoern1
Jan 02, 2022
view13075
view15
0
Goto Top

Doppeleinträge in Textdatei löschen

GermansolvedQuestionOff Topic
Hallo,

ich habe eine Textdatei (.txt) mit über 1.500 Einträgen. Würde dort gerne doppelte Einträge identifizieren und löschen. Mit welchem Program geht das? Ich habe schon selbst recherchiert, und bin auf Notepad++ gestoßen. Nur leider stimmen die Anleitungen, die man im Internet dazu findet, nicht. Da ist von irgendeinem Plugin die Rede, dass es aber scheinbar nicht mehr gibt. Ich steige da nicht durch.....

Wer kann mir da helfen?

Ich bin nur einfacher Anwender, also bitte kein Fachchinesisch.

Vielen Dank schonmal
comment-contentCommentShareShare
Share on Facebook Share on Twitter Share on Reddit Share on Linkedin

Content-Key: 1681110309

Url: https://administrator.de/contentid/1681110309

Printed on: April 25, 2024 at 14:04 o'clock

15 Comments
Latest comment
Goto Top
Mitglied: 148656
148656 Jan 02, 2022 at 09:36:01 (UTC)
Goto Top
Moin,

Ohoh, Manager im Sicherheitsbereich und kein Fachchinesisch im Fachbereich/Fachforum. Das wird Schwierig bis unmöglich, da bleibt nur der manuelle Weg.
Datei öffnen, Zeile für Zeile lesen, abgleichen, markieren, Enft-Taste drücken.

Für den Rest gab es einen schönen Artikel auf Heise.de
https://www.heise.de/meinung/Unternehmensfuehrung-Top-Manager-ohne-IT-Wi ...

Gruß
C.C.
Member: Bjoern1
Bjoern1 Jan 02, 2022 at 09:52:12 (UTC)
Goto Top
Ich bin kein Manager im Sicherheitsbereich. Scheinbar habe ich irgendwas aus Versehen angeklickt.

Gibt es weitere Ideen? Was ist denn mit Notepad ++? Geht das damit wirklich nicht mehr?
Member: MirkoKR
MirkoKR Jan 02, 2022 at 10:01:37 (UTC)
Goto Top
Moin.

Schau Mal hier (bei Google):

kann das Grad nicht nochmal testen - vor nicht allzu langer Zeit ging's noch und ich sehe keinen Grund - z.B. NPP Versionsänderungen - warum es nicht mehr gehen sollte.

NPP Deduplizieren: NPPTextFX
Mitglied: 149569
149569 Jan 02, 2022 updated at 10:20:23 (UTC)
Goto Top
Au weia, da muss man sich aber schon wirklich anstellen um mit der Suchmaschine der Wahl nicht erfolgreich zu sein, und sowas in nem Admin-Forum ... 🙃🙈 Z.B.Schnell mit PowerShell abgefackelt
Get-Content .\datei.txt | select -unique | set-content .\datei_neu.txt

Demo
https://tio.run/##K8gvTy0qzkjNyfn/30GdKyknMSmnNMkQxjDCEDFGSKk7KNQo5JeW6K ...
Member: EliteHacker
EliteHacker Jan 02, 2022 at 11:02:54 (UTC)
Goto Top
Schreib dir ein Werkzeug in Python. Eine Sache von höchstens 5 Minuten.
Mitglied: 149569
149569 Jan 02, 2022 updated at 11:04:54 (UTC)
Goto Top
Zitat von @EliteHacker:

Schreib dir ein Werkzeug in Python. Eine Sache von höchstens 5 Minuten.

Na das wird ja dann abenteuerlich für den TO 😆😆
Ich bin nur einfacher Anwender, also bitte kein Fachchinesisch.
Member: EliteHacker
EliteHacker Jan 02, 2022 at 11:21:46 (UTC)
Goto Top
Ojeh.

#!/usr/bin/env python3

words = 
unique = 

with open("liste.txt", "r") as f:  
    lines = f.readlines()

for i in lines:
    words.append(i.rstrip("\n"))  

for word in words:
    if word not in unique:
        unique.append(word)

with open("unique.txt", "w") as f:  
    for word in unique:
        f.write(word + "\n")  

print("Fertig.")

Die Datei "liste.txt" mit deiner eigenen Datei ersetzen und aufpassen, dass du nicht noch eine andere Datei hast die "unique.txt" heisst, sonst wird sie überschrieben.

Bitte.
Member: Daemmerung
Daemmerung Jan 02, 2022 at 12:06:39 (UTC)
Goto Top
Du kannst es auch mit Excel abarbeiten. Stichwort "Duplikate entfernen" ist dein Freund. face-smile
Member: Lochkartenstanzer
Lochkartenstanzer Jan 02, 2022, updated at Jan 04, 2022 at 12:13:32 (UTC)
Goto Top
Moin,

$sort -u <input.txt >output.txt

Oder

$unique <input.txt >output.txt

lks
Member: Bjoern1
Solution Bjoern1 Jan 04, 2022 updated at 11:51:27 (UTC)
Goto Top
Hallo,

habe inzwischen eine noch einfachere Lösung gefunden. Warum ich es nicht früher gesehen hab, weiß ich auch nicht. Vielleicht ist es auch erst neu in Notepad++ eingefügt worden:

also: Notepad++ 1. Bearbeiten, 2. Zeilenoperationen, 3. "Doppelte Zeilen" löschen

Das wars! In jedem Fall noch danke an eure Vorschläge und Lösungen.
Member: interface31
interface31 Apr 07, 2022 at 19:47:52 (UTC)
Goto Top
Danke das habe ich gerade auch in Notepad ++ gesucht face-smile
Versteh nicht wie manche immer über einen Berg mit python script oder sonst was gehen wollen.
Einfache Lösung war gefragt und dann kommt so ein Müll!
Member: themuck
themuck Oct 20, 2022 updated at 13:15:38 (UTC)
Goto Top
Zitat von @EliteHacker:

Ojeh.

#!/usr/bin/env python3

words = 
unique = 

with open("liste.txt", "r") as f:  
    lines = f.readlines()

for i in lines:
    words.append(i.rstrip("\n"))  

for word in words:
    if word not in unique:
        unique.append(word)

with open("unique.txt", "w") as f:  
    for word in unique:
        f.write(word + "\n")  

print("Fertig.")

Die Datei "liste.txt" mit deiner eigenen Datei ersetzen und aufpassen, dass du nicht noch eine andere Datei hast die "unique.txt" heisst, sonst wird sie überschrieben.

Bitte.

Danke,
kann man das auch erweitern? Ich habe in einer Datei eine Struktur:
 WertA, WertB, WertC ( WertA, WertX, WertY), WertB, WertC, WertA, WertD
Das ganze hätte ich gerne so:
 
WertA 
WertB 
WertE ( WertA, WertX, WertY)
WertC 
WertD

Also Duplikate löschen, die in den Klammern aber behalten. Und ich muss die Werte halt erstemal in "lines" bekommen.

Hab mit Python leider noch nichts am Hut. Arbeite mich da gerade erst ein und hab das Skipt erstmal so in Spyder zum laufen bekommen :D...
Member: wasabigo
wasabigo Jan 22, 2024 at 10:30:48 (UTC)
Goto Top
Ist das noch aktuell? Habe das gleiche Problem face-smile
Member: interface31
interface31 Jan 22, 2024 at 11:49:23 (UTC)
Goto Top
was für ein file hast?
Member: Lochkartenstanzer
Lochkartenstanzer Jan 22, 2024 at 11:51:15 (UTC)
Goto Top
Zitat von @wasabigo:

Ist das noch aktuell? Habe das gleiche Problem face-smile

Doppeleinträge in Textdatei löschen
GermansolvedQuestionOff Topic
Hotly discussed
gleixnerdCheck of ZFW Firewallgleixnerd - 5 CommentsjstrickerWireguard VPN on UDM Pro behind Fritzbox - Handshake did not completejstricker - 3 Comments