4
Rsync startet zig Prozesse
Hallo zusammen,
ich schlage mich damit schon eine Weile, aber jetzt frage ich, denn mir gehen die Ideen aus.
Wir haben einen internen Webserver, der jede Nacht /var/www/html/ gesichert haben muss. Dazu habe ich vor gefühlten 100 Jahren mal ein Skript geschrieben, was jede Nacht ausgeführt wird. Es macht eigentlich nichts anderes als per autofs die aktuelle USB-Platte zu mounten, rsync-Zeile auszuführen und die Ergebnisse in Logs zu hinterlassen. Die rsync-Zeile selbst ist recht unspektakulär
Das Skript arbeitet auf mehreren Fileservern an externen Standorten und verrichtet seinen Dienst dort seit Jahren. Nie Probleme!
Anders ist es bei unserem Webserver. Es kommt immer wieder vor, dass Backups, die nachts um 2 per Cron gestartet werden, morgens um 9 immer noch nicht fertig sind. Ein Blick in "top" zeigt dann schon mal 50 oder mehr rsync-Prozesse an. Die "waits" stehen irgendwo bei > 40 und die CPU-Belastung hängt bei 60 und schlimmer. Lasse ich das laufen, so ist das irgendwann am Tag (gern am späten Nachmittag oder nächster Morgen) der Backup fertig. Wegzusichern sind dabei lächerliche 11 Gb bzw. 85.000 Dateien.
Die USB-Platte ist mit USB2 angeschlossen und liefert mit einem Test mit dd 30 Mb/s.
Jemand eine Idee wo ich ansetzen kann?
ich schlage mich damit schon eine Weile, aber jetzt frage ich, denn mir gehen die Ideen aus.
Wir haben einen internen Webserver, der jede Nacht /var/www/html/ gesichert haben muss. Dazu habe ich vor gefühlten 100 Jahren mal ein Skript geschrieben, was jede Nacht ausgeführt wird. Es macht eigentlich nichts anderes als per autofs die aktuelle USB-Platte zu mounten, rsync-Zeile auszuführen und die Ergebnisse in Logs zu hinterlassen. Die rsync-Zeile selbst ist recht unspektakulär
rsync -azc --delete ...
Das Skript arbeitet auf mehreren Fileservern an externen Standorten und verrichtet seinen Dienst dort seit Jahren. Nie Probleme!
Anders ist es bei unserem Webserver. Es kommt immer wieder vor, dass Backups, die nachts um 2 per Cron gestartet werden, morgens um 9 immer noch nicht fertig sind. Ein Blick in "top" zeigt dann schon mal 50 oder mehr rsync-Prozesse an. Die "waits" stehen irgendwo bei > 40 und die CPU-Belastung hängt bei 60 und schlimmer. Lasse ich das laufen, so ist das irgendwann am Tag (gern am späten Nachmittag oder nächster Morgen) der Backup fertig. Wegzusichern sind dabei lächerliche 11 Gb bzw. 85.000 Dateien.
Die USB-Platte ist mit USB2 angeschlossen und liefert mit einem Test mit dd 30 Mb/s.
Jemand eine Idee wo ich ansetzen kann?
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 467948
Url: https://administrator.de/contentid/467948
Ausgedruckt am: 25.11.2024 um 06:11 Uhr
4 Kommentare
Neuester Kommentar
Hi,
was sagt denn das Log, oder die Ausgabe der rsync-Prozesse? Die wirste ja sicher mit 2>&1 > /var/log/irgendwas.log mitloggen?
Grüße
bloody
was sagt denn das Log, oder die Ausgabe der rsync-Prozesse? Die wirste ja sicher mit 2>&1 > /var/log/irgendwas.log mitloggen?
Grüße
bloody
Die wirste ja sicher mit 2>&1 > /var/log/irgendwas.log mitloggen?
Natürlich. 
Es gibt keine Fehler, wenn das Problem nicht auftritt. Wenn es aber auftritt, dann ist mein Backups_Error.log voll mit
rsync: rename "/sicherung/01.07.2019/var/www/html/.../.[datei].gif.ScjBjm" -> "var/www/html/.../[Datei].gif": No such file or directory (2)
Dann gibt es noch rsync-Rückgabewerte 23 und 24. Mehr gibt es nicht.Die Daten werden im Backupzeitfenster nicht verändert. In der Nacht arbeitet bei uns niemand.
Value Desc.
23 Partial transfer due to error
24 Partial transfer due to vanished source files
23 Partial transfer due to error
24 Partial transfer due to vanished source files
Mir ist nicht klar wieso Files "vanishen". Wie gesagt... Alles statisch. Wenn es Änderungen gibt, dann tagsüber, aber nicht in der Nacht. Es gibt auch kein Cronjob der sowas macht.
Hallo,
das Skript wäre hilfreich und der Aufruf im Crontab. Generell ist es aber normal das Rsync mehrere Prozesse startet: https://serverfault.com/questions/547165/why-does-rsync-spawn-multiple-p ...
Das mit "vanished"-Files sind meist temporäre Dateien - auch nachts arbeiten die Dienste auf dem Server weiter.
Aber genaueres kann ich dir nur mit genauem Protokollauszug sagen.
Gruß
bloody
das Skript wäre hilfreich und der Aufruf im Crontab. Generell ist es aber normal das Rsync mehrere Prozesse startet: https://serverfault.com/questions/547165/why-does-rsync-spawn-multiple-p ...
Das mit "vanished"-Files sind meist temporäre Dateien - auch nachts arbeiten die Dienste auf dem Server weiter.
Aber genaueres kann ich dir nur mit genauem Protokollauszug sagen.
Gruß
bloody
Es gibt Tage, die man ersatzlos aus dem Kalender streichen möchte. Ich Hirsch habe einen Fehler in der crontab gemacht, was dazu führt, dass das Script jede Minute von 1 bis 2 ausgeführt wird statt ein mal um 1 Uhr. Quasi * 1 * * * statt 0 1 * * *
Danke für die Hilfsbereitschaft.
Danke für die Hilfsbereitschaft.
