Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

gelöst Rsync startet zig Prozesse

Mitglied: hannes.hutmacher

hannes.hutmacher (Level 1) - Jetzt verbinden

01.07.2019, aktualisiert 10:20 Uhr, 547 Aufrufe, 4 Kommentare

Hallo zusammen,

ich schlage mich damit schon eine Weile, aber jetzt frage ich, denn mir gehen die Ideen aus.

Wir haben einen internen Webserver, der jede Nacht /var/www/html/ gesichert haben muss. Dazu habe ich vor gefühlten 100 Jahren mal ein Skript geschrieben, was jede Nacht ausgeführt wird. Es macht eigentlich nichts anderes als per autofs die aktuelle USB-Platte zu mounten, rsync-Zeile auszuführen und die Ergebnisse in Logs zu hinterlassen. Die rsync-Zeile selbst ist recht unspektakulär

rsync -azc --delete ...

Das Skript arbeitet auf mehreren Fileservern an externen Standorten und verrichtet seinen Dienst dort seit Jahren. Nie Probleme!

Anders ist es bei unserem Webserver. Es kommt immer wieder vor, dass Backups, die nachts um 2 per Cron gestartet werden, morgens um 9 immer noch nicht fertig sind. Ein Blick in "top" zeigt dann schon mal 50 oder mehr rsync-Prozesse an. Die "waits" stehen irgendwo bei > 40 und die CPU-Belastung hängt bei 60 und schlimmer. Lasse ich das laufen, so ist das irgendwann am Tag (gern am späten Nachmittag oder nächster Morgen) der Backup fertig. Wegzusichern sind dabei lächerliche 11 Gb bzw. 85.000 Dateien.

Die USB-Platte ist mit USB2 angeschlossen und liefert mit einem Test mit dd 30 Mb/s.

Jemand eine Idee wo ich ansetzen kann?
Mitglied: bloodstix
01.07.2019 um 11:12 Uhr
Hi,

was sagt denn das Log, oder die Ausgabe der rsync-Prozesse? Die wirste ja sicher mit 2>&1 > /var/log/irgendwas.log mitloggen?

Grüße
bloody
Bitte warten ..
Mitglied: hannes.hutmacher
01.07.2019, aktualisiert um 11:39 Uhr
Die wirste ja sicher mit 2>&1 > /var/log/irgendwas.log mitloggen?
Natürlich.

Es gibt keine Fehler, wenn das Problem nicht auftritt. Wenn es aber auftritt, dann ist mein Backups_Error.log voll mit

rsync: rename "/sicherung/01.07.2019/var/www/html/.../.[datei].gif.ScjBjm" -> "var/www/html/.../[Datei].gif": No such file or directory (2)
Dann gibt es noch rsync-Rückgabewerte 23 und 24. Mehr gibt es nicht.

Die Daten werden im Backupzeitfenster nicht verändert. In der Nacht arbeitet bei uns niemand.

Value Desc.
23 Partial transfer due to error
24 Partial transfer due to vanished source files

Mir ist nicht klar wieso Files "vanishen". Wie gesagt... Alles statisch. Wenn es Änderungen gibt, dann tagsüber, aber nicht in der Nacht. Es gibt auch kein Cronjob der sowas macht.
Bitte warten ..
Mitglied: bloodstix
01.07.2019, aktualisiert um 15:01 Uhr
Hallo,

das Skript wäre hilfreich und der Aufruf im Crontab. Generell ist es aber normal das Rsync mehrere Prozesse startet: https://serverfault.com/questions/547165/why-does-rsync-spawn-multiple-p ...
Das mit "vanished"-Files sind meist temporäre Dateien - auch nachts arbeiten die Dienste auf dem Server weiter.
Aber genaueres kann ich dir nur mit genauem Protokollauszug sagen.

Gruß
bloody
Bitte warten ..
Mitglied: hannes.hutmacher
15.07.2019 um 07:50 Uhr
Es gibt Tage, die man ersatzlos aus dem Kalender streichen möchte. Ich Hirsch habe einen Fehler in der crontab gemacht, was dazu führt, dass das Script jede Minute von 1 bis 2 ausgeführt wird statt ein mal um 1 Uhr. Quasi * 1 * * * statt 0 1 * * *

Danke für die Hilfsbereitschaft.
Bitte warten ..
Ähnliche Inhalte
Batch & Shell
VBScript startet exeDatei als Prozess
Frage von curbalBatch & Shell8 Kommentare

Hallo und einen wunderschönen Montagmorgen. Seit ein paar Tagen schlage ich mich mit folgendem Problem herum: Ich habe ein ...

Netzwerkmanagement
Rsync über VPN
Frage von bluepythonNetzwerkmanagement13 Kommentare

Hallo zusammen, ich habe zwei NAS von Synology. Beide stehen an zwei verschiedenen Standorten. Die beiden Standorte sind per ...

Backup
Rsync - rechte werden umgeschrieben
gelöst Frage von TomTheCatBackup5 Kommentare

Ich scheitere klaeglich an ein Backup meines Servers zu erstellen. Verwende rsync mit den Befehl Funktioniert alles soweit gut. ...

SAN, NAS, DAS
NAS4free - RSync-Auftrag erstellen
Frage von 130854SAN, NAS, DAS1 Kommentar

Hallo, ich würde gerne von meinem NAS4free (HP Gen 8 Microserver, 16 GB RAM, G1610T - 4x4TB im ZFS-Z1-Raid; ...

Neue Wissensbeiträge
iOS

iOS-Bug unterbindet vollständiges VPN-Tunneling

Information von transocean vor 1 TagiOS

Moin, seit dem letzten Update hat iOS für iPhone und iPad ein Problem mit der Verschlüsselung. Lest selbst. Grüße ...

Sicherheit
Corona Malware über manipulierte Router
Information von sabines vor 1 TagSicherheit

Heise berichtet über Malware, die in Zusammenhang zum Suchethema Corona steht und über DNS Einstellungen bei D-Link und Linksys ...

Windows 10
Windows 10 Update KB4535996 fehlerhaft
Information von Frank vor 1 TagWindows 101 Kommentar

Laut Microsoft ist das Update KB4535996 die Ursache für aktuelle Verbindungsprobleme bei Virtual Private Networks (VPNs). Microsoft arbeitet bereits ...

Administrator.de Feedback
Entwicklertagebuch: Der neue Ticker ist da
Information von admtech vor 1 TagAdministrator.de Feedback3 Kommentare

Hallo User, mit dem aktuellen Release haben wir den neuen "Ticker" zur Seite hinzugefügt. Oben im Hauptmenü findet ihr ...

Heiß diskutierte Inhalte
SAN, NAS, DAS
Hilfe bei der Einrichtung vom QNAP Nas Server
gelöst Frage von Chris.21SAN, NAS, DAS18 Kommentare

Hallo, ich benötige Hilfe bei der Einrichtung meines neuen NAS Servers von QNAP. ich möchte eine Verbindung vom Internet ...

Drucker und Scanner
OCR Erkennung auf Server
Frage von KodaCHDrucker und Scanner14 Kommentare

Guten Morgen Bisher habe ich einen HP LaserJet Pro MFP M426fdw. Da es nicht viele Dokumente zum Scannen gibt ...

Router & Routing
Vigor 165 vs. Fritzbox 7590
Frage von servilianusRouter & Routing13 Kommentare

Liebe Fachleute, bisher betreibe ich folgende Konstellation Büro: 50.000er-Leitung VDSL Telekom -> Fritzbox 7590 Exposed Host -> Vigor Draytek ...

Windows Server
MS Server 2019 Berechnung Lizenzen Check
gelöst Frage von anteNopeWindows Server10 Kommentare

Hallo zusammen, ich bräuchte nur kurz eine Bestätigung meiner Berechnung und mache es deshalb kurz: 1x Server, 1 Sockel, ...