11
Backup über WAN
Hallo,
ich muss aus einem entfernten WAN (synchrone 1Gbit) Daten sichern. Dabei handelt es sich sowohl um wenige große (ca. 500MB bis 1GB) aber auch viele kleine (Bilder, .dlls, .pdfs).
Am Zielort habe ich eine Fiber1000 der Telekom (gemessene 580 MBit/s down, up ca. 300). Problem ist eine sehr schwankende Datenrate. Bei 100.000 zu übertragenden Kleinbildern dauert die Übertragung ewig (20 Stunden), bei großen Dateien um 500 MB erreiche ich magere 4,0 - 5,8 MB/s. Für beidseitig nahezu Gigabit zu wenig, oder? Die Umgebung ist Windows 2012 R2 ohne gemeinsame Domäne.
Es liegt ein Hardware-VPN-Tunnel über LANCOM Geräte an. Ich vermute dort den Flaschenhals. Was wäre eine sinnvolle Alternative?
- super tolle Backupsoftware mit Server und Client, die vielleicht sogar Kompression kann?
- SFTP?
- Software VPN?
- Andere Idee?
Danke vorab und beste Grüße,
Peter
ich muss aus einem entfernten WAN (synchrone 1Gbit) Daten sichern. Dabei handelt es sich sowohl um wenige große (ca. 500MB bis 1GB) aber auch viele kleine (Bilder, .dlls, .pdfs).
Am Zielort habe ich eine Fiber1000 der Telekom (gemessene 580 MBit/s down, up ca. 300). Problem ist eine sehr schwankende Datenrate. Bei 100.000 zu übertragenden Kleinbildern dauert die Übertragung ewig (20 Stunden), bei großen Dateien um 500 MB erreiche ich magere 4,0 - 5,8 MB/s. Für beidseitig nahezu Gigabit zu wenig, oder? Die Umgebung ist Windows 2012 R2 ohne gemeinsame Domäne.
Es liegt ein Hardware-VPN-Tunnel über LANCOM Geräte an. Ich vermute dort den Flaschenhals. Was wäre eine sinnvolle Alternative?
- super tolle Backupsoftware mit Server und Client, die vielleicht sogar Kompression kann?
- SFTP?
- Software VPN?
- Andere Idee?
Danke vorab und beste Grüße,
Peter
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 365801
Url: https://administrator.de/contentid/365801
Ausgedruckt am: 22.11.2024 um 20:11 Uhr
11 Kommentare
Neuester Kommentar
Hallo,
Wer hat einen Synchronen Anschluß? Du oder der entfernte Standort?
Gruß,
Peter
Wer hat einen Synchronen Anschluß? Du oder der entfernte Standort?
Am Zielort habe ich eine Fiber1000 der Telekom (gemessene 580 MBit/s down, up ca. 300).
Und die ist Synchron oder hat die nur 1000 MBit/s Down und nur 500 MBit/s Up? Also nichts mit Synchron. Und was hat der entfernte Standort?Problem ist eine sehr schwankende Datenrate.
Wie schwankend? Was sagt ein NetIO denn genau?Bei 100.000 zu übertragenden Kleinbildern dauert die Übertragung ewig (20 Stunden), bei großen Dateien um 500 MB erreiche ich magere 4,0 - 5,8 MB/s. Für beidseitig nahezu Gigabit zu wenig, oder?
Wenn du sagen kannst wo die Leitung überall herläuft und wer dort drauf sitzt kannst du es evtl schneller bekommen...Es liegt ein Hardware-VPN-Tunnel über LANCOM Geräte an. Ich vermute dort den Flaschenhals.
Wenn du noch die Bezeichnung und Version der Geräte uns mitteilen kannst, neben deiner gewählten VPN und was diese Geräte sonst noch zu tun haben (Gleichzeitig mit deinen Transfers).- Andere Idee?
Ja, nicht nur rummotzen sondern auch die Hardware auf beiden Seiten des Tunnels darstellen und zum Tunnel selbst. Dann könnte jemand dir evtl. helfen (aber nicht beim heulen) Gruß,
Peter
Der entfernte Anschluss ist synchron mit 1 Gbit
Mein Standort hat theoretisch auch 1Gbit Down, 500 Mbit Up, gemessen aber nur knapp 580 Mbit down, 300 Mbit up.
Die Messung liefere ich morgen nach.
Der VPN-Tunnel ist direkt ohne lokale Zwischenpunkte zwischen beiden Standorten geschalten, die Leitung nutzt sonst kein Dritter.
Entfernter Standort: LANCOM 1781EF+, mein Standort LANCOM 1781VA-4G. Switche auf beiden Seiten Gigabit von HP und LANCOM. Netzwerkkarten mindestens Gbit, mein Standort sogar 10Gbit. Server beidseitig aktuelle Geräte (1/2 Jahr alt) mit Server-SSDs.
Mein Standort hat theoretisch auch 1Gbit Down, 500 Mbit Up, gemessen aber nur knapp 580 Mbit down, 300 Mbit up.
Die Messung liefere ich morgen nach.
Der VPN-Tunnel ist direkt ohne lokale Zwischenpunkte zwischen beiden Standorten geschalten, die Leitung nutzt sonst kein Dritter.
Entfernter Standort: LANCOM 1781EF+, mein Standort LANCOM 1781VA-4G. Switche auf beiden Seiten Gigabit von HP und LANCOM. Netzwerkkarten mindestens Gbit, mein Standort sogar 10Gbit. Server beidseitig aktuelle Geräte (1/2 Jahr alt) mit Server-SSDs.
Hi,
der LANCOM 1781EF+ und der LANCOM 1781VA-4G können VPN laut Datenblatt 330MBit/s, mehr geht da nicht.
Was allerdings auch schon nicht soo schlecht.
Du brauchst also schnellere Hardware.
Alternative wäre noch MACsec was gute Switche können, damit solltest du die 1G packen.
Guck dir das mal an, bzw. ob deine Switche das können.
Bei einem Hersteller ist das eine Lizenz.
Was benutzt du denn für das Backup?
Robocopy?
Werden nur die Daten gesichert, oder soll auch der gesamte Server mittels Image gesichert werden?
Primär fallen mir hier dann BackupExec und Veeam B&R ein.
Virtuelle Server?
VG,
Deepsys
der LANCOM 1781EF+ und der LANCOM 1781VA-4G können VPN laut Datenblatt 330MBit/s, mehr geht da nicht.
Was allerdings auch schon nicht soo schlecht.
Du brauchst also schnellere Hardware.
Alternative wäre noch MACsec was gute Switche können, damit solltest du die 1G packen.
Guck dir das mal an, bzw. ob deine Switche das können.
Bei einem Hersteller ist das eine Lizenz.
Was benutzt du denn für das Backup?
Robocopy?
Werden nur die Daten gesichert, oder soll auch der gesamte Server mittels Image gesichert werden?
Primär fallen mir hier dann BackupExec und Veeam B&R ein.
Virtuelle Server?
VG,
Deepsys
Hallo,
da Du ja Linux auf beiden Seiten verwendest könntest Du rsync über SSH nutzen.
Stefan
da Du ja Linux auf beiden Seiten verwendest könntest Du rsync über SSH nutzen.
Stefan
Moin,
die sinnvolle Alternative wäre sich das ganze detailiert anzugucken. Z.B. welche Netzwerk-Parameter hast du eingestellt, wieviele Re-Transmissions sind nötig,...
Einfaches Beispiel: Du hast eine Distanz von 2000 KM (ich will einfach rechnen). Du hast dazwischen Kupferkabel - d.h. Signalgeschwindigkeit ist ca. 200.000 km/s. Jedes Paket benötigt also (ohne Verzögerungen durch Router etc.). 0.01 Sek oder 10 ms. Wenn wir davon ausgehen du hast deine Pakete voll ausgeschöpft (1500 Byte/Paket) schaffst du also damit 150.000 Byte/Sek. Du merkst - es ist in der ganzen Rechnung noch nicht einmal überhaupt deine Leitungsbandbreite drin. Ob du jetzt nen GBit hast oder 100 ist egal. Natürlich ist dein Provider nicht ganz blöd - der kann das auch rechnen. Also legt der dir eben für nen GBit mehrere Leitungen zusammen - so kommst du auf höhere Geschwindigkeiten. Nur: Was passiert wenn du jetzt durch schlechte Einstellungen das ganze verhinderst. Nehmen wir an ich setze dir die Window-Size auf 1 - d.h. jedes Paket muss bestätigt werden. Du sendest mir 1 Paket (10 ms), ich sende dir 1 ACK (10 ms). Somit haben wir grad die Datenrate auch noch auf 75 MB/s reduziert. UND: Auch mit 10, 100 oder 100.000 parallelen Leitungen holst du jetzt nix mehr - weil du immer auf die Antwort wartest.
Von daher - ich würde einfach mal z.B. mittels Wireshark die Einstellungen auf der Leitung angucken...
die sinnvolle Alternative wäre sich das ganze detailiert anzugucken. Z.B. welche Netzwerk-Parameter hast du eingestellt, wieviele Re-Transmissions sind nötig,...
Einfaches Beispiel: Du hast eine Distanz von 2000 KM (ich will einfach rechnen). Du hast dazwischen Kupferkabel - d.h. Signalgeschwindigkeit ist ca. 200.000 km/s. Jedes Paket benötigt also (ohne Verzögerungen durch Router etc.). 0.01 Sek oder 10 ms. Wenn wir davon ausgehen du hast deine Pakete voll ausgeschöpft (1500 Byte/Paket) schaffst du also damit 150.000 Byte/Sek. Du merkst - es ist in der ganzen Rechnung noch nicht einmal überhaupt deine Leitungsbandbreite drin. Ob du jetzt nen GBit hast oder 100 ist egal. Natürlich ist dein Provider nicht ganz blöd - der kann das auch rechnen. Also legt der dir eben für nen GBit mehrere Leitungen zusammen - so kommst du auf höhere Geschwindigkeiten. Nur: Was passiert wenn du jetzt durch schlechte Einstellungen das ganze verhinderst. Nehmen wir an ich setze dir die Window-Size auf 1 - d.h. jedes Paket muss bestätigt werden. Du sendest mir 1 Paket (10 ms), ich sende dir 1 ACK (10 ms). Somit haben wir grad die Datenrate auch noch auf 75 MB/s reduziert. UND: Auch mit 10, 100 oder 100.000 parallelen Leitungen holst du jetzt nix mehr - weil du immer auf die Antwort wartest.
Von daher - ich würde einfach mal z.B. mittels Wireshark die Einstellungen auf der Leitung angucken...
Hi,
E.
Zitat von @StefanKittel:
da Du ja Linux auf beiden Seiten verwendest könntest Du rsync über SSH nutzen.
rsync, DFS-R & Co. oder Robocopy o.ä. mit Differenzkopie sind m.E. die einzig sinnvollen Alternativen. Je, nachdem, wie sehr die Leitung tagsüber gebraucht wird, und je nach dem, welche Dateien da wie oft am Tag geändert werden, kann man das u.U. auch im Nonstop-Betrieb ansetzen. Wenn z.B. (fast) sicher ist, dass eine Datei, wenn überhaupt, nur einmal pro Tag geändert wird (oder dazu kommt), dann kann man sie ggf. auch "sofort" übertragen. Wenn man aber sicher davon ausgehen kann/muss, dass dieselben Dateien mehrfach pro Tag geändert werden, dann ist es u.U. sinnvoller, nur einmal pro Tag/Nacht eine Differenzkopie zu starten.da Du ja Linux auf beiden Seiten verwendest könntest Du rsync über SSH nutzen.
E.
Der VPN-Tunnel ist direkt ohne lokale Zwischenpunkte zwischen beiden Standorten geschalten, die Leitung nutzt sonst kein Dritter.
Wie geht das denn ? Dann hättest du ja quasi eine Dark Fiber also einen dedizierten Draht zwischen beiden Standorten. Das dürfte Blödsinn sein und laienhaftes Wunschdenken. Allein schon die Tatsache das ein Standort asysmetrische Datenraten hat am Anschluss ist ja schon ein sicheres Indiz das da aktive Providertechnik dazwischen ist.Die Leitung wird mit Sicherheit mit zig anderen geshared wie es bei Internet Provider Anschlüssen ja generell üblich ist. Die niedrige Durchsatzrate im Vergleich zur vertraglichen spricht ja auch Bände.
Das also Dritte die Leitung nicht nutzen dürfte Utopie sein. Aber egal....
Wenn dem wirklich so wäre fragt man sich zusätzlich warum der TO dann ein VPN nutzt ?? Müsste er ja nicht.
Mal ganz davon abgesehen das mit billigem Consumer VPN Equipment zu lösen und Gig Durchsatz zu erwarten.
Ist so wie Formel 1 fahren mit einem Dacia Logan....
Symmetrisch!!!!!!!!!! Aaaaaargh. Synchron sollten Anschlüsse immer sein......
Ansonsten: VPN Router nicht potent genug für 1gbit über WAN.
Ansonsten: VPN Router nicht potent genug für 1gbit über WAN.
Sorry, shady, ethernetbasiertes Glas sollte eigentlich ein asynchroner Anschluss sein. Das mit dem symmetrisch ist aber richtig.
Ja, die LANCOMs im CPE-Gehäuse schaffen keine Gigabit im VPN. Aber um den Transfer zu optimieren, wäre es besser, wenn man die Dateien vorher in ein Archiv packt, überträgt und dann wieder entpackt, da viele kleine Dateien einfach ein Performancekiller sind.
Ja, die LANCOMs im CPE-Gehäuse schaffen keine Gigabit im VPN. Aber um den Transfer zu optimieren, wäre es besser, wenn man die Dateien vorher in ein Archiv packt, überträgt und dann wieder entpackt, da viele kleine Dateien einfach ein Performancekiller sind.
Was spricht dagegen diese kleine Dateien zu einem Archiv zu machen und Archiv dann per WAN sichern?
Als Beispiel: Daten mit Veam Endpoint (kostenlos) zu sichern und komprimieren und dann Sicherungsdatei übertragen?
Ich sichere so jede Woche ca. 250GB (VMs) über 40 Up-Leitung
Als Beispiel: Daten mit Veam Endpoint (kostenlos) zu sichern und komprimieren und dann Sicherungsdatei übertragen?
Ich sichere so jede Woche ca. 250GB (VMs) über 40 Up-Leitung
Moin,
wenns unter Linux sein soll, dann geht das notfalls mit einem Einzeiler auf dem Zielsystem:
Unter Windows ggfs. mit Veeam und dem Windows Agent
lg,
Slainte
wenns unter Linux sein soll, dann geht das notfalls mit einem Einzeiler auf dem Zielsystem:
ssh user@quell-box "tar czpf - /wichtige/daten" | tar xzpf - -C /backup/daten-von-quell-box Unter Windows ggfs. mit Veeam und dem Windows Agent
lg,
Slainte
