Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

gelöst Rsync startet zig Prozesse

Mitglied: hannes.hutmacher

hannes.hutmacher (Level 1) - Jetzt verbinden

01.07.2019, aktualisiert 10:20 Uhr, 442 Aufrufe, 4 Kommentare

Hallo zusammen,

ich schlage mich damit schon eine Weile, aber jetzt frage ich, denn mir gehen die Ideen aus.

Wir haben einen internen Webserver, der jede Nacht /var/www/html/ gesichert haben muss. Dazu habe ich vor gefühlten 100 Jahren mal ein Skript geschrieben, was jede Nacht ausgeführt wird. Es macht eigentlich nichts anderes als per autofs die aktuelle USB-Platte zu mounten, rsync-Zeile auszuführen und die Ergebnisse in Logs zu hinterlassen. Die rsync-Zeile selbst ist recht unspektakulär

rsync -azc --delete ...

Das Skript arbeitet auf mehreren Fileservern an externen Standorten und verrichtet seinen Dienst dort seit Jahren. Nie Probleme!

Anders ist es bei unserem Webserver. Es kommt immer wieder vor, dass Backups, die nachts um 2 per Cron gestartet werden, morgens um 9 immer noch nicht fertig sind. Ein Blick in "top" zeigt dann schon mal 50 oder mehr rsync-Prozesse an. Die "waits" stehen irgendwo bei > 40 und die CPU-Belastung hängt bei 60 und schlimmer. Lasse ich das laufen, so ist das irgendwann am Tag (gern am späten Nachmittag oder nächster Morgen) der Backup fertig. Wegzusichern sind dabei lächerliche 11 Gb bzw. 85.000 Dateien.

Die USB-Platte ist mit USB2 angeschlossen und liefert mit einem Test mit dd 30 Mb/s.

Jemand eine Idee wo ich ansetzen kann?
Mitglied: bloodstix
01.07.2019 um 11:12 Uhr
Hi,

was sagt denn das Log, oder die Ausgabe der rsync-Prozesse? Die wirste ja sicher mit 2>&1 > /var/log/irgendwas.log mitloggen?

Grüße
bloody
Bitte warten ..
Mitglied: hannes.hutmacher
01.07.2019, aktualisiert um 11:39 Uhr
Die wirste ja sicher mit 2>&1 > /var/log/irgendwas.log mitloggen?
Natürlich.

Es gibt keine Fehler, wenn das Problem nicht auftritt. Wenn es aber auftritt, dann ist mein Backups_Error.log voll mit

rsync: rename "/sicherung/01.07.2019/var/www/html/.../.[datei].gif.ScjBjm" -> "var/www/html/.../[Datei].gif": No such file or directory (2)
Dann gibt es noch rsync-Rückgabewerte 23 und 24. Mehr gibt es nicht.

Die Daten werden im Backupzeitfenster nicht verändert. In der Nacht arbeitet bei uns niemand.

Value Desc.
23 Partial transfer due to error
24 Partial transfer due to vanished source files

Mir ist nicht klar wieso Files "vanishen". Wie gesagt... Alles statisch. Wenn es Änderungen gibt, dann tagsüber, aber nicht in der Nacht. Es gibt auch kein Cronjob der sowas macht.
Bitte warten ..
Mitglied: bloodstix
01.07.2019, aktualisiert um 15:01 Uhr
Hallo,

das Skript wäre hilfreich und der Aufruf im Crontab. Generell ist es aber normal das Rsync mehrere Prozesse startet: https://serverfault.com/questions/547165/why-does-rsync-spawn-multiple-p ...
Das mit "vanished"-Files sind meist temporäre Dateien - auch nachts arbeiten die Dienste auf dem Server weiter.
Aber genaueres kann ich dir nur mit genauem Protokollauszug sagen.

Gruß
bloody
Bitte warten ..
Mitglied: hannes.hutmacher
15.07.2019 um 07:50 Uhr
Es gibt Tage, die man ersatzlos aus dem Kalender streichen möchte. Ich Hirsch habe einen Fehler in der crontab gemacht, was dazu führt, dass das Script jede Minute von 1 bis 2 ausgeführt wird statt ein mal um 1 Uhr. Quasi * 1 * * * statt 0 1 * * *

Danke für die Hilfsbereitschaft.
Bitte warten ..
Ähnliche Inhalte
Batch & Shell
VBScript startet exeDatei als Prozess
Frage von curbalBatch & Shell8 Kommentare

Hallo und einen wunderschönen Montagmorgen. Seit ein paar Tagen schlage ich mich mit folgendem Problem herum: Ich habe ein ...

Netzwerkmanagement
Rsync über VPN
Frage von bluepythonNetzwerkmanagement13 Kommentare

Hallo zusammen, ich habe zwei NAS von Synology. Beide stehen an zwei verschiedenen Standorten. Die beiden Standorte sind per ...

Backup
Rsync - rechte werden umgeschrieben
gelöst Frage von TomTheCatBackup5 Kommentare

Ich scheitere klaeglich an ein Backup meines Servers zu erstellen. Verwende rsync mit den Befehl Funktioniert alles soweit gut. ...

SAN, NAS, DAS
NAS4free - RSync-Auftrag erstellen
Frage von 130854SAN, NAS, DAS1 Kommentar

Hallo, ich würde gerne von meinem NAS4free (HP Gen 8 Microserver, 16 GB RAM, G1610T - 4x4TB im ZFS-Z1-Raid; ...

Neue Wissensbeiträge
Humor (lol)
Das IoT wird schlimmer
Erfahrungsbericht von Henere vor 1 TagHumor (lol)7 Kommentare

Nun auch schon über den WSUS:

Sicherheit

Win10 1809 und höher erlauben nun das Sperren und Whitelisten von bestimmten Geräten

Tipp von DerWoWusste vor 1 TagSicherheit1 Kommentar

Vor 1809 konnten nur Geräteklassen gesperrt werden, nun können endlich einzelne Device instance IDs gewhitelistet werden (oder andersherum: gesperrt ...

Windows 10

Hands-On: What is new in the Windows 10 November 2019 Update?

Information von DerWoWusste vor 2 TagenWindows 10

Die wenigen (aber zum Teil interessanten) Neuheiten werden in diesem Video sehr schnell erklärt und vorgeführt.

Grafik

Gute Spiele aus der Ubuntu Repository: SuperTuxKart

Information von NetzwerkDude vor 2 TagenGrafik2 Kommentare

Fall jemand die Firmenpolicy hat das man Linux Software nur aus dem default Repository installieren kann: Ich habe festgestellt ...

Heiß diskutierte Inhalte
LAN, WAN, Wireless
10G Netzwerk konfigurieren für maximalen Datendurchsatz
gelöst Frage von hukimanLAN, WAN, Wireless34 Kommentare

Guten Morgen, in unserem Betrieb wurde das Netzwerk auf 10G (Kupfer) umgerüstet. Grund dafür sind große Laserscandaten die sehr ...

Netzwerke
Subnetzmaske mit Hilfe der IP-Adresse berechnen
Frage von Jennifer21Netzwerke18 Kommentare

Hi zusammen, kann mir bitte jemand helfen bei dieser Aufgabe. Ich muss die die Subnetzsmaske berechnen von den IP-Adressen: ...

Netzwerkmanagement
2 Fritzboxen, 2 Subnetzwerke, WLAN, DHCP etc
gelöst Frage von ManuelSNetzwerkmanagement13 Kommentare

Guten Tag, Habe die Suchfunktion benutzt, aber viele der Beiträge sind ziemlich alt, deswegen nochmal: 1. Fritzbox 7490 (192.168.178.1) ...

Batch & Shell
Batch "dir B" nebeneinander statt untereinander mit , getrennt
gelöst Frage von plentmBatch & Shell13 Kommentare

Hallo zusammen, Mein erst Post und dann doch wahrscheinlich was einfaches. Leider reichen meine Kenntnisse dafür nicht aus, daher ...