hannes.hutmacher
Goto Top

Rsync startet zig Prozesse

Hallo zusammen,

ich schlage mich damit schon eine Weile, aber jetzt frage ich, denn mir gehen die Ideen aus.

Wir haben einen internen Webserver, der jede Nacht /var/www/html/ gesichert haben muss. Dazu habe ich vor gefühlten 100 Jahren mal ein Skript geschrieben, was jede Nacht ausgeführt wird. Es macht eigentlich nichts anderes als per autofs die aktuelle USB-Platte zu mounten, rsync-Zeile auszuführen und die Ergebnisse in Logs zu hinterlassen. Die rsync-Zeile selbst ist recht unspektakulär

rsync -azc --delete ...

Das Skript arbeitet auf mehreren Fileservern an externen Standorten und verrichtet seinen Dienst dort seit Jahren. Nie Probleme!

Anders ist es bei unserem Webserver. Es kommt immer wieder vor, dass Backups, die nachts um 2 per Cron gestartet werden, morgens um 9 immer noch nicht fertig sind. Ein Blick in "top" zeigt dann schon mal 50 oder mehr rsync-Prozesse an. Die "waits" stehen irgendwo bei > 40 und die CPU-Belastung hängt bei 60 und schlimmer. Lasse ich das laufen, so ist das irgendwann am Tag (gern am späten Nachmittag oder nächster Morgen) der Backup fertig. Wegzusichern sind dabei lächerliche 11 Gb bzw. 85.000 Dateien.

Die USB-Platte ist mit USB2 angeschlossen und liefert mit einem Test mit dd 30 Mb/s.

Jemand eine Idee wo ich ansetzen kann?

Content-Key: 467948

Url: https://administrator.de/contentid/467948

Printed on: March 2, 2024 at 16:03 o'clock

Member: bloodstix
bloodstix Jul 01, 2019 at 09:12:52 (UTC)
Goto Top
Hi,

was sagt denn das Log, oder die Ausgabe der rsync-Prozesse? Die wirste ja sicher mit 2>&1 > /var/log/irgendwas.log mitloggen?

Grüße
bloody
Member: hannes.hutmacher
hannes.hutmacher Jul 01, 2019 updated at 09:39:23 (UTC)
Goto Top
Die wirste ja sicher mit 2>&1 > /var/log/irgendwas.log mitloggen?
Natürlich. face-smile

Es gibt keine Fehler, wenn das Problem nicht auftritt. Wenn es aber auftritt, dann ist mein Backups_Error.log voll mit

rsync: rename "/sicherung/01.07.2019/var/www/html/.../.[datei].gif.ScjBjm" -> "var/www/html/.../[Datei].gif": No such file or directory (2)
Dann gibt es noch rsync-Rückgabewerte 23 und 24. Mehr gibt es nicht.

Die Daten werden im Backupzeitfenster nicht verändert. In der Nacht arbeitet bei uns niemand.

Value Desc.
23 Partial transfer due to error
24 Partial transfer due to vanished source files

Mir ist nicht klar wieso Files "vanishen". Wie gesagt... Alles statisch. Wenn es Änderungen gibt, dann tagsüber, aber nicht in der Nacht. Es gibt auch kein Cronjob der sowas macht.
Member: bloodstix
bloodstix Jul 01, 2019 updated at 13:01:12 (UTC)
Goto Top
Hallo,

das Skript wäre hilfreich und der Aufruf im Crontab. Generell ist es aber normal das Rsync mehrere Prozesse startet: https://serverfault.com/questions/547165/why-does-rsync-spawn-multiple-p ...
Das mit "vanished"-Files sind meist temporäre Dateien - auch nachts arbeiten die Dienste auf dem Server weiter.
Aber genaueres kann ich dir nur mit genauem Protokollauszug sagen.

Gruß
bloody
Member: hannes.hutmacher
hannes.hutmacher Jul 15, 2019 at 05:50:41 (UTC)
Goto Top
Es gibt Tage, die man ersatzlos aus dem Kalender streichen möchte. Ich Hirsch habe einen Fehler in der crontab gemacht, was dazu führt, dass das Script jede Minute von 1 bis 2 ausgeführt wird statt ein mal um 1 Uhr. Quasi * 1 * * * statt 0 1 * * *

Danke für die Hilfsbereitschaft.