Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

gelöst Alle Zeilen mit non-ASCII Zeichen in allen Text-Dateien in mehreren Unterverzeichnissen löschen?

Mitglied: takitano

takitano (Level 1) - Jetzt verbinden

07.12.2018, aktualisiert 15:58 Uhr, 155 Aufrufe, 6 Kommentare

Haloo liebe Gemeinde,

und wieder mal habe ich ein Problem mit Linux.

Ich habe Folgendes Verzeichnisstruktur:

Hauptordner
- Unterordner 1
- Unterordner 2
- Unterordner 3
usw. (insgesamt ca. 1000 Untervezeichnisse)

Jedes Unterordner beihaltet ca. 100 txt-Dateien (von 100000 Zeilen bis 10000000 Zeilen).

Ich möchte gerne alle Zeilen , die non-ASCII Zeichen beihalten, in allen Dateien in diesen Unterordnern löschen.

Bis jetzt hatte ich folgende Hintergedanken:

Mir dem Befehl:

01.
find Hauptordner -type f -exec grep -v -P '[\x00-\x08\x0E-\x1F\x80-\xFF]' Datei1.txt > tmp-Datei1.txt 
02.
mv Datei1.txt
kann ich es in einer Datei machen.

Nun wie kann ich das für 100.000 Dateien realiseiren, ohne vorher alle Dateinamen fleißig im Bash aufschreiben (sie haben dazu auch noch kein einheitliches Muster für Dateinamen: 1.txt, new-150.txt, 1(2).txt, bond.txt usw.)?
Mitglied: Lochkartenstanzer
LÖSUNG 07.12.2018, aktualisiert um 23:20 Uhr
Zitat von takitano:

Mir dem Befehl:

01.
find Hauptordner -type f -exec grep -v -P '[\x00-\x08\x0E-\x1F\x80-\xFF]' Datei1.txt > tmp-Datei1.txt 
02.
> mv Datei1.txt
kann ich es in einer Datei machen.

Nun wie kann ich das für 100.000 Dateien realiseiren, ohne vorher alle Dateinamen fleißig im Bash aufschreiben (sie haben dazu auch noch kein einheitliches Muster für Dateinamen: 1.txt, new-150.txt, 1(2).txt, bond.txt usw.)?


Moin,

Du schreibst ein kleines Skript filter-die-datei.sh
 
#!bin/bash 
grep -v -P '[\x00-\x08\x0E-\x1F\x80-\xFF]'  $1 > S1.txt
mv $1.txt $1
und dann kannst du mit

find Hauptordner -type f -exec filter-die-datei.sh {} \; 
die Datei filtern

lks
Bitte warten ..
Mitglied: takitano
07.12.2018 um 16:09 Uhr
Danke! Das ist was ich brauche! Werde es am Wochenende testen.
Bitte warten ..
Mitglied: takitano
07.12.2018 um 16:11 Uhr
Moment mal:

S41.txt ????

Du meintest wohl $1.txt oder?
Bitte warten ..
Mitglied: Lochkartenstanzer
LÖSUNG 07.12.2018 um 16:23 Uhr
Zitat von takitano:

Moment mal:

S41.txt ????

Du meintest wohl $1.txt oder?

Du hast es gemerkt.

Ja, ist ein doofer Tippfehler.

lks
Bitte warten ..
Mitglied: takitano
07.12.2018 um 16:25 Uhr
Frohe Weihnachten!
Bitte warten ..
Mitglied: Lochkartenstanzer
07.12.2018, aktualisiert um 23:24 Uhr
Zitat von takitano:

Frohe Weihnachten!

Danke Dir auch.

Beachte bei dem Skript, daß es keinerlei Sicherheitvorkehrungen gegen manipulierte Dateipfade und -namen hat. Damit ist einer Code-Injection Tür und Tor geöffnet, wenn es in einer unkontrollierten Umgebung läuft und kein Parameter-Sanitation erfolgt.

Es ist halt einfach quick'n'dirty.

lks
Bitte warten ..
Ähnliche Inhalte
Batch & Shell
Ergebnis in Text datei ausgeben
gelöst Frage von XcaschoXBatch & Shell2 Kommentare

Hallo, irgendwie stehe ich auf dem schlauch. Habe folgende Batch erstellt, aber der Text wier immer überschrieben. Das ergebnis ...

Debian

Rasbian Text Datei gelöscht - wiederherstellbar?

Frage von bytetixDebian1 Kommentar

HI, habe mich mit meinem Handy per OpenVPN auf eine Samba Freigabe auf meiner entfernten PI verbunden und dort ...

Batch & Shell

Paramter aus Batch-Datei in Text-Datei schreiben, sobald diese nicht mehr verwendet wird

gelöst Frage von Schorsch112Batch & Shell5 Kommentare

Hallo zusammen, ich habe ein kleines Problem und da ich mich leider erst seit sehr kurzem mit dem Scripting ...

Peripheriegeräte

Handscanner Erweiterung mit Ascii

Frage von rocco61Peripheriegeräte4 Kommentare

Hallo zusammen, es geht um einen Honeywell MS9520 Handscanner Auf dem Gerät ist es möglich ein CR einzustellen um ...

Neue Wissensbeiträge
Humor (lol)
Administrator.de Perlen
Tipp von DerWindowsFreak2 vor 2 TagenHumor (lol)3 Kommentare

Hallo, Heute beim stöbern auf dieser Seite bin auf folgenden Thread aus dem Jahre 2006 gestossen: Was meint ihr? ...

Erkennung und -Abwehr
OpenSSH-Backdoor Malware erkennen
Tipp von Frank vor 3 TagenErkennung und -Abwehr

Sicherheitsforscher von Eset haben 21 Malware-Familien untersucht. Die Malware soll Hintertüren via OpenSSH bereitstellen, so dass Angreifer Fernzugriff auf ...

iOS
WatchChat für Whatsapp
Tipp von Criemo vor 6 TageniOS5 Kommentare

Ziemlich coole App für WhatsApp User in Verbindung mit der Apple Watch. Gibts für iOS sowohl als auch für ...

iOS
IOS hat nen Cursor!
Tipp von Criemo vor 6 TageniOS5 Kommentare

Nette Funktion im iOS. iPhone-Mauszeiger aktivieren „Nichts ist nerviger, als bei einem Tippfehler zu versuchen, den iOS-Cursor an die ...

Heiß diskutierte Inhalte
Grafikkarten & Monitore
PCIe 1.0 Grafikkarte für 3840x2160
Frage von Windows10GegnerGrafikkarten & Monitore29 Kommentare

Hallo, mein Vater hat einen neuen Monitor gekauft, welcher eine native Auflösung von 3840*2160 hat. Diese muss jetzt auch ...

Windows 10
Windows Enterprise 1809 Eval nicht bootbar
Frage von Sunny89Windows 1022 Kommentare

Hallo zusammen, bevor ich mich jetzt noch stundenlang rumärger wollte ich euch fragen, ob Ihr die gleichen Probleme habt ...

Windows Server
Dienstnamen und oder Deutsche und Englische Beschreibung in services.msc gleichzeitig anzeigen
gelöst Frage von vafk18Windows Server21 Kommentare

Guten Morgen, die Suche nach Diensten in services.msc gestaltet sich immer wieder schwierig, weil mir je nach Aufgabe die ...

Linux
Info Monitor für eine Schule
gelöst Frage von CAT404Linux13 Kommentare

Moin, ich möchte einen Infomonitor betreiben; derzeit läuft da ein Windows 10 Rechner bei dem Firefox beim Start in ...