Daten von txt-Dateien zusammenführen und in Ordnerstruktur speichern auf Raspberry Pi mittels Bash oder Python
Hallo,
ich bin auf der Suche nach einem Script, dass mehrere .txt-Dateien zusammenführt und diese in einer neuen Datei speichert.
Die Daten stammen von meiner Wetterstation und werden jede Stunde in Form einer txt-Datei gespeichert.
Die Dateien sehen so aus:
weatherdatalog2014-10-28-17-01-02.txt
weatherdatalog2014-10-28-18-01-02.txt
weatherdatalog2014-10-28-19-01-02.txt
weatherdatalog2014-10-28-20-01-02.txt
usw....(24 Stück pro Tag)
Der Inhalt einer txt-Datei enthält u.a. die Temperaturen jeder Minute in Zeitraum von einer Stunde. Eine txt-Datei sieht z.B. so aus:
10.2;2014.10.28;17:01:02
11.7;2014.10.28;17:02:02
10.6;2014.10.28;17:03:02
usw..(60 Werte)
Das Script soll den Inhalt von txt-Dateien eines Tages zusammenführen (im obrigen Beispiel Tag 28) und in einer neuen txt-Datei speichern.
Die Datei, die die zusammengeführten Daten eines Tages enthält, sollte heißen:
2014-10-28.txt
Diese Dateien eines Monats sollen in einer Ordnerstruktur abgelegt werden, etwa /2014/10/ (Jahr und Monat).
Die Uhrzeit wird nicht verwendet. Alle Dateien befinden sich in einem Ordner.
Das Script soll im Hintergrund laufen und laufend überprüfen, ob neue Daten von der Wetterstation auf der Orderfreigabe abgelegt wurden und diese dann wie oben beschrieben behandeln.
Ein Script habe ich dazu als Batchdatei zum manuellen Ausführen unter Windows vorliegen (Dank @bastla). Leider reichen meine Kenntnisse in Bash oder Python nicht aus, um ein derartiges Script zu schreiben.
Ich hoffe, dass Sie/Ihr mir weiterhelfen können/könnt! Über jeden Ratschlag würde ich mich freuen!
Ich bedanke mich schon mal!
ich bin auf der Suche nach einem Script, dass mehrere .txt-Dateien zusammenführt und diese in einer neuen Datei speichert.
Die Daten stammen von meiner Wetterstation und werden jede Stunde in Form einer txt-Datei gespeichert.
Die Dateien sehen so aus:
weatherdatalog2014-10-28-17-01-02.txt
weatherdatalog2014-10-28-18-01-02.txt
weatherdatalog2014-10-28-19-01-02.txt
weatherdatalog2014-10-28-20-01-02.txt
usw....(24 Stück pro Tag)
Der Inhalt einer txt-Datei enthält u.a. die Temperaturen jeder Minute in Zeitraum von einer Stunde. Eine txt-Datei sieht z.B. so aus:
10.2;2014.10.28;17:01:02
11.7;2014.10.28;17:02:02
10.6;2014.10.28;17:03:02
usw..(60 Werte)
Das Script soll den Inhalt von txt-Dateien eines Tages zusammenführen (im obrigen Beispiel Tag 28) und in einer neuen txt-Datei speichern.
Die Datei, die die zusammengeführten Daten eines Tages enthält, sollte heißen:
2014-10-28.txt
Diese Dateien eines Monats sollen in einer Ordnerstruktur abgelegt werden, etwa /2014/10/ (Jahr und Monat).
Die Uhrzeit wird nicht verwendet. Alle Dateien befinden sich in einem Ordner.
Das Script soll im Hintergrund laufen und laufend überprüfen, ob neue Daten von der Wetterstation auf der Orderfreigabe abgelegt wurden und diese dann wie oben beschrieben behandeln.
Ein Script habe ich dazu als Batchdatei zum manuellen Ausführen unter Windows vorliegen (Dank @bastla). Leider reichen meine Kenntnisse in Bash oder Python nicht aus, um ein derartiges Script zu schreiben.
Ich hoffe, dass Sie/Ihr mir weiterhelfen können/könnt! Über jeden Ratschlag würde ich mich freuen!
Ich bedanke mich schon mal!
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 254436
Url: https://administrator.de/contentid/254436
Ausgedruckt am: 25.11.2024 um 22:11 Uhr
10 Kommentare
Neuester Kommentar
Hallo Sven289,
das könnte nach deinen Angaben so aussehen:
In Zeile 2 gibst du den Ordner an in dem die LOG-Files liegen; den Ordner in dem die Ordnerstruktur angelegt werden soll gibst du in Zeile 3 und den Ordner in den die "verarbeiteten" *.txt-Dateien verschoben werden sollen nachdem Ihr Inhalt in die Ordnerstruktur übertragen wurde, in Zeile 4.
Das Script kannst du dann als Cronjob z.B. regelmäßig ausführen lassen.
Grüße Uwe
das könnte nach deinen Angaben so aussehen:
In Zeile 2 gibst du den Ordner an in dem die LOG-Files liegen; den Ordner in dem die Ordnerstruktur angelegt werden soll gibst du in Zeile 3 und den Ordner in den die "verarbeiteten" *.txt-Dateien verschoben werden sollen nachdem Ihr Inhalt in die Ordnerstruktur übertragen wurde, in Zeile 4.
Das Script kannst du dann als Cronjob z.B. regelmäßig ausführen lassen.
#!/bin/bash
folder_log="/data/log"
folder_ablage="/data/weather"
folder_backup="/data/log/backup"
# Dateien auflisten
files=$(ls $folder_log/weatherdatalog*.txt -1 2>/dev/null)
# Backupordner erstellen falls noch nicht existiert
if [[ ! -d "$folder_backup" ]];then mkdir -p "$folder_backup";fi
for file in $files ; do
# Dateiname zerlegen
file_date=$(echo "$file" | grep -Eo '[0-9]{4}-[0-9]{1,2}-[0-9]{1,2}')
year=$(echo $file_date | cut -d '-' -f 1)
month=$(echo $file_date | cut -d '-' -f 2)
target_folder="$folder_ablage/$year/$month"
# Ziel-Ordner erstellen wenn noch nicht vorhanden
if [[ ! -d "$target_folder" ]];then mkdir -p "$target_folder";fi
# Inhalt der Datei in Tagesdatei übertragen
cat $file>>"$target_folder/$file_date.txt"
# Ausgelesene Datei ins Backup befördern
mv "$file" "$folder_backup/"
done
Hi Gersen,
Grüße Uwe
Zitat von @Gersen:
1. Sollten in den Zeilen 23/27 nicht statt "$file" "${folder_log}/${file}" stehen?
nein, in $file steht schon der komplette Pfad 1. Sollten in den Zeilen 23/27 nicht statt "$file" "${folder_log}/${file}" stehen?
2. Für einen Ablauf als Cronjob - müsste da nicht eine PATH-Variable definiert werden bzw. absolute Pfade für die
Befehle verwendet werden?
kann man noch ergänzen ... die Pfade auf dem raspi kenne ich jetzt aber gerade nicht. Es werden aber eigentlich keine "seltenen" Befehle verwendet so dass diese aus einem cron auch so laufen sollten ... das tun sie hier zumindest auf einem Ubuntu.Befehle verwendet werden?
Grüße Uwe
Zitat von @Sven289:
Falls es nicht zu aufwendig ist, wäre es gut, wenn noch eine zusätzliche Funktion in das bestehende Script implementiert
werden könnte.
Die Daten in den txt-Dateien sind ja wie folgt aufgebaut:
Je Zeile folgender Datensatz: 2014.11.11;13:00:02;12.3;15.1;0.652 (Datum;Uhrzeit;Messwert1;Messwert2;Messwert3)(getrennt durch
Semikolon)
In jeder txt-Datei befinden sich 60 Werte.
aha, oben sahen die noch ganz anders aus Falls es nicht zu aufwendig ist, wäre es gut, wenn noch eine zusätzliche Funktion in das bestehende Script implementiert
werden könnte.
Die Daten in den txt-Dateien sind ja wie folgt aufgebaut:
Je Zeile folgender Datensatz: 2014.11.11;13:00:02;12.3;15.1;0.652 (Datum;Uhrzeit;Messwert1;Messwert2;Messwert3)(getrennt durch
Semikolon)
In jeder txt-Datei befinden sich 60 Werte.
Damit ich die Daten besser verarbeiten kann, wären Mittelwerte eine große Hilfe. Das heißt, das immer von 10
Datensätzen ein Mittelwert (von den drei Messerten) gebildet wird.
Die fertigen Daten könnten dann wie folgt aussehen:
2014.11.11;13:00:02;12.0;15.2;0.657
2014.11.11;13:10:02;12.1;15.4;0.656
2014.11.11;13:20:02;12.0;15.3;0.659
Es soll somit zusätzlich zu der bereits bestehenden eine weitere Ordnerstruktur aufgebaut werden, nur eben mit den
Mittelwerten. Diese Strukur ist gleich aufgebaut und eine Datei hat auch z. B. wieder den Namen 2014-10-28.txt.
Wenn man das hingekommen könnte, wäre es echt großartig!
Das ist machbar, habe noch eine weitere Ordner-Variable für die zweite Mittelwert-Struktur hinzugefügt:Datensätzen ein Mittelwert (von den drei Messerten) gebildet wird.
Die fertigen Daten könnten dann wie folgt aussehen:
2014.11.11;13:00:02;12.0;15.2;0.657
2014.11.11;13:10:02;12.1;15.4;0.656
2014.11.11;13:20:02;12.0;15.3;0.659
Es soll somit zusätzlich zu der bereits bestehenden eine weitere Ordnerstruktur aufgebaut werden, nur eben mit den
Mittelwerten. Diese Strukur ist gleich aufgebaut und eine Datei hat auch z. B. wieder den Namen 2014-10-28.txt.
Wenn man das hingekommen könnte, wäre es echt großartig!
(Hinweis: benötigt zusätzlich awk auf dem Raspi)
#!/bin/bash
folder_log="/data/log"
folder_ablage="/data/weather"
folder_ablage_mittelwerte="/data/weather_average"
folder_backup="/data/log/backup"
# Dateien auflisten
files=$(ls $folder_log/weatherdatalog*.txt -1 2>/dev/null)
# Backupordner erstellen falls noch nicht existiert
if [[ ! -d "$folder_backup" ]];then mkdir -p "$folder_backup";fi
for file in $files ; do
# Dateiname zerlegen
file_date=$(echo "$file" | grep -Eo '[0-9]{4}-[0-9]{1,2}-[0-9]{1,2}')
year=$(echo $file_date | cut -d '-' -f 1)
month=$(echo $file_date | cut -d '-' -f 2)
target_folder="$folder_ablage/$year/$month"
target_folder_mittelwerte="$folder_ablage_mittelwerte/$year/$month"
# Ordner erstellen wenn noch nicht vorhanden
if [[ ! -d "$target_folder" ]];then mkdir -p "$target_folder";fi
if [[ ! -d "$target_folder_mittelwerte" ]];then mkdir -p "$target_folder_mittelwerte";fi
# Inhalt der Datei in Tagesdatei übertragen
cat $file>>"$target_folder/$file_date.txt"
# Mittelwerte auslesen und in zweite Struktur schreiben
cat "$file" | awk -F ';' '{if(count < 10){sum1 +=$3;sum2 +=$4;sum3 +=$5;if(count == 0){tm=$1";"$2};count++}else{print tm";"sum1/10";"sum2/10";"sum3/10;sum1=$3;sum2=$4;sum3=$5;count=1;tm=$1";"$2}} END {print tm";"sum1/10";"sum2/10";"sum3/10}'>>"$target_folder_mittelwerte/$file_date.txt"
# Ausgelesene Datei ins Backup befördern
mv "$file" "$folder_backup/"
done
Grüße Uwe
Zitat von @Sven289:
Eigentlich sollte dort für diese Werte stehen:
10.11.14;16:00:00;125.7;0.1043;10.1
10.11.14;16:10:00;135.1;0.0995;10.06
(mit Taschenrechner nachgerechnet)
Dann hat dein Taschenrechner aber auch noch nicht seinen Kaffee bekommen 125.7 stimmt laut deinen Werten nicht hier bekomme ich 139.6 raus.Eigentlich sollte dort für diese Werte stehen:
10.11.14;16:00:00;125.7;0.1043;10.1
10.11.14;16:10:00;135.1;0.0995;10.06
(mit Taschenrechner nachgerechnet)
Die Uhrzeit ist stets eine Minute weiter, als sie sein sollte. Aus dem gleichen Grund stimmen die Durchschnittswerte wohl auch
nicht.
Der Fehler war Absicht, du solltest ja auch was von dem Script lernen und selber probieren und nicht nur Copy n' pasten.nicht.
Ist oben nun korrigiert.
Zitat von @Sven289:
stand in der ersten Version noch ein BEGIN ziemlich am Anfang. In deiner neuen Version fehlt dieses. Ist das so in Bash machbar? Denn ein END steht ja weiterhin am Ende.
Das ist nicht mehr nötig, die AWK-Abschnitte sind optional und kein muss, hatte den zu Beginn zur Initialisierung einer Variablen benutzt, das brauchts jetzt nicht mehr.stand in der ersten Version noch ein BEGIN ziemlich am Anfang. In deiner neuen Version fehlt dieses. Ist das so in Bash machbar? Denn ein END steht ja weiterhin am Ende.
http://www.gnu.org/software/gawk/manual/gawk.html#BEGIN_002fEND
Ah, merci - wieder was gelernt...