10
Innerhalb einer Linux .Log Datei nach bestimmten Strings suchen und und Zeilen löschen
Hallo Zusammen
Ich möchte eine Log Datei nach bestimmten Strings durchsuchen und jede Zeile in der dieser bestimmte String vorkommt löschen.
Hierbei ist zu beachten das diese Log Datei aktiv ist, bzw. fortlaufend weitere Einträge geschrieben werden und die Log Datei selber ca. 830 MB gross ist.
Das heisst ich brauche hilfe für ein Skript das folgendes tut:
1. Liest Zeile für Zeile (nicht die ganze Log file auf einmal)
2. Falls der gesuchte String in der jeweiligen Zeile vorkommt, wird die komplette Zeile gelöscht.
Es soll während dem Suchen und Löschen gewährleistet sein, dass das Logfile weiterhin läuft, bzw. weiterhin Einträge reingeschrieben werden.
Gibt es eine Möglichkeit?
Danke für eure Unterstützung
Ich möchte eine Log Datei nach bestimmten Strings durchsuchen und jede Zeile in der dieser bestimmte String vorkommt löschen.
Hierbei ist zu beachten das diese Log Datei aktiv ist, bzw. fortlaufend weitere Einträge geschrieben werden und die Log Datei selber ca. 830 MB gross ist.
Das heisst ich brauche hilfe für ein Skript das folgendes tut:
1. Liest Zeile für Zeile (nicht die ganze Log file auf einmal)
2. Falls der gesuchte String in der jeweiligen Zeile vorkommt, wird die komplette Zeile gelöscht.
Es soll während dem Suchen und Löschen gewährleistet sein, dass das Logfile weiterhin läuft, bzw. weiterhin Einträge reingeschrieben werden.
Gibt es eine Möglichkeit?
Danke für eure Unterstützung
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 213503
Url: https://administrator.de/contentid/213503
Ausgedruckt am: 22.11.2024 um 15:11 Uhr
10 Kommentare
Neuester Kommentar
so auf die Schnelle kommt mir nur
Wie du dann vorgehen musst, kann ich dir aber leider nicht erklären.
sed als geeignetes Tool in den Sinn.Wie du dann vorgehen musst, kann ich dir aber leider nicht erklären.
Hab mal den Befehl herausgesucht, dieser Befehl sucht nach bestimmten Strings und löscht die jeweilige Zeile in welcher der String vorkommt.
sed -i -e '/[String]/d' access.log
Jedoch stellen Sich mich einige Fragen dazu:
- Wenn ich den Befehl ausführe, können dann weitere Einträge in der Log geschrieben werden? Die Log ist eben Gross und Aktiv.
- öffnet er die ganze Datei oder Zeile für Zeile?
- Löscht er die Zeile so dass die gar nicht mehr existiert oder bleibt anstatt eine "Leere" Zeile, z.b
Zeile1
Zeile2
Zeile3
Zeile5
Zeile6
Experten sind gefragt ;)
sed -i -e '/[String]/d' access.log
Jedoch stellen Sich mich einige Fragen dazu:
- Wenn ich den Befehl ausführe, können dann weitere Einträge in der Log geschrieben werden? Die Log ist eben Gross und Aktiv.
- öffnet er die ganze Datei oder Zeile für Zeile?
- Löscht er die Zeile so dass die gar nicht mehr existiert oder bleibt anstatt eine "Leere" Zeile, z.b
Zeile1
Zeile2
Zeile3
Zeile5
Zeile6
Experten sind gefragt ;)
Bin ich leider nicht.
Ich könnte mir aber vorstellen, den Output über
tail -f an sed oder awk zu pipen.lg.
Hi
Log Dateien werden ja zum Fehler suchen verwendet.
Und wenn eine Logdatei schon 800 MB groß ist, kann ich mir schwer vorstellen das diese noch übersichtlich und damit hilfreich ist.
Für gewöhnlich ist es so - wenn ich mich nicht komplett irre - dass die .log Datei automatisch erstellt wird. Sprich du könntest einfach hergehen und die Logdatei einmal weg moven.
Für gewöhnlich müsste dann der Service oder was auch immer das Logfile anfüllt wieder ein neues Logfile anlegen.
Ich hab für wichtige Logs (zB Login versuche, etc ...) Cronjobs definiert die mir jede Woche das aktuelle Logfile in ein Archive Verschieben.
Dies ist einfach übersichtlicher.
Wenn das bei dir möglich ist sollte das Löschen der Zeilen kein Problem mehr sein.
mit grep -v löscht du eine Gesamte Zeile in der das gesuchte Wort vorkommt
Hoffe ich konnte helfen.
fg
Hausens
Log Dateien werden ja zum Fehler suchen verwendet.
Und wenn eine Logdatei schon 800 MB groß ist, kann ich mir schwer vorstellen das diese noch übersichtlich und damit hilfreich ist.
Für gewöhnlich ist es so - wenn ich mich nicht komplett irre - dass die .log Datei automatisch erstellt wird. Sprich du könntest einfach hergehen und die Logdatei einmal weg moven.
mv Logdatei.log Logdatei.log_6.8.2013Für gewöhnlich müsste dann der Service oder was auch immer das Logfile anfüllt wieder ein neues Logfile anlegen.
Ich hab für wichtige Logs (zB Login versuche, etc ...) Cronjobs definiert die mir jede Woche das aktuelle Logfile in ein Archive Verschieben.
Dies ist einfach übersichtlicher.
Wenn das bei dir möglich ist sollte das Löschen der Zeilen kein Problem mehr sein.
mit grep -v löscht du eine Gesamte Zeile in der das gesuchte Wort vorkommt
grep -v "gesuchter text" Logdatei.log_6.8.2013 > Logdatei.log_6.8.2013_v2 Hoffe ich konnte helfen.
fg
Hausens
Nein das Logfile kopieren oder neu erstellen kann ich nicht, da es an der aktiven vorgenommen werden muss.
Andere Frage:
Mit dem Befehl:
tail -f Datei.log | grep "[String]" kann ich live verfolgen was in das Logfile geschrieben wird.
Kann ich nun diese neuen Einträge abfangen, bzw. Zeilen mit bestimmten Einträgen im "Live Modus" Löschen?
Andere Frage:
Mit dem Befehl:
tail -f Datei.log | grep "[String]" kann ich live verfolgen was in das Logfile geschrieben wird.
Kann ich nun diese neuen Einträge abfangen, bzw. Zeilen mit bestimmten Einträgen im "Live Modus" Löschen?
Hi,
ich hab das jetzt mal nachgestellt
klappt wunderbar:
lg.
ich hab das jetzt mal nachgestellt
klappt wunderbar:
tail -F share.log | sed '[REGEX]d' >> new.log [REGEX] der Ausdruck, nach dem die zu löschenden Zeilen ausgewählt werdend sed-Befehl zum Zeile löschen>> Umleitung in neue Dateilg.
1
Hallo Sire,
sag mir mal, wie das Dateisystem-technisch denn ablaufen soll.
Ich sehe keine Möglichkeit, ein laufendes Log STÄNDIG von ungewünschten Einträgen zu bereinigen. Vorallem nicht, wenn dieses 800 MB groß ist.
Wir können dir besser helfen, wenn du uns sagst, was dir in dem Log nicht passt und welche Software dieses log erstellt (und wie)
sag mir mal, wie das Dateisystem-technisch denn ablaufen soll.
Ich sehe keine Möglichkeit, ein laufendes Log STÄNDIG von ungewünschten Einträgen zu bereinigen. Vorallem nicht, wenn dieses 800 MB groß ist.
Wir können dir besser helfen, wenn du uns sagst, was dir in dem Log nicht passt und welche Software dieses log erstellt (und wie)
Zitat von @Endoro:
Hi,
ich hab das jetzt mal nachgestellt
klappt wunderbar:
lg.
Hi,
ich hab das jetzt mal nachgestellt
klappt wunderbar:
tail -F share.log | sed '[REGEX]d' >> new.log [REGEX] der Ausdruck, nach dem die zu löschenden Zeilen ausgewählt werdend sed-Befehl zum Zeile löschen>> Umleitung in neue Dateilg.
Sollte der String mit dem d nicht durch ein / getrennt werden -> tail -f datei.log | sed '/[String]/d' >> new.log
Was ist wenn ich die Umleitung nicht mache, bzw. das ">> new.log" weglasse? Werden die Zeilen dann einfach gelöscht?
An dem Original-Log wird nichts gelöscht, nur im Output (entweder auf dem Schirm oder umgeleitet im "new.log".
Die "wachsende" Logdatei kannst du nicht direkt verändern. Die wird ja schon verändert, deshalb wächst sie.
Wenn du mit sed alle Zeilen löschen willst, die mit
lg.
Die "wachsende" Logdatei kannst du nicht direkt verändern. Die wird ja schon verändert, deshalb wächst sie.
Wenn du mit sed alle Zeilen löschen willst, die mit
# anfangen:tail -F share.log | sed '/^#/d'
Gibt hier ja schon genug Lösungen mit sed für ein existierendes Logfile.
Aber ich muss mich hier der Frage von Snowman25 anschließen:
Was genau soll denn hier der Zweck sein, das bestimmte Einträge aussortiert werden sollen?
Wenn es nur darum gehen soll „unnötige” Einträge komplett aus den Logs rauszuhalten: Es gibt genügend logger mit eingebauten Filterfunktionen.
Aber ich muss mich hier der Frage von Snowman25 anschließen:
Was genau soll denn hier der Zweck sein, das bestimmte Einträge aussortiert werden sollen?
Wenn es nur darum gehen soll „unnötige” Einträge komplett aus den Logs rauszuhalten: Es gibt genügend logger mit eingebauten Filterfunktionen.
