media0815
Goto Top

VEEAM SOBR Upload langsam?

Hi,
ich teste gerade ein VEEAM Setup mit Remote Backup. Dabei muss ich feststellen, dass der Upload quälend langsam geht und das Backup schon seit über 24h nicht fertig gestellt wird. Meine Frage ist, ob man die Upload-Geschwindigkeit noch irgendwie optimieren kann, oder ob das normal ist so.

Hier das Setup:
- Internetleitung mit tatsächlichen 50MBit/s im Upload (per Speedtest nachgemessen)
- Throttling: Während der Office-Zeiten habe ich den Upload per "Global Network Traffic Rules" auf 20Mbps begrenzt, nachts auf 35Mbps (da manchmal auch Nachts Leute arbeiten)
- In den "Global Network Traffic Rules" ist "Encrypt network traffic" aktiv (default)
- Ein Backup Job sichert eine VM immer Nachts zu einem Scale Out Backup Repository (SOBR)
- Das SOBR nutzt als Performance Tier ein lokales Repository auf einer internen Festplatte im Host-Server (NICHT verschlüsselt)
- Als Capacity Tier nutzt das SOBR einen Ionos S3 Bucket in Frankfurt.
- In den Capacity Tier Einstellungen des SOBR ist "Copy backups to object storage as soon as they are created" aktiviert.
- In den Capacity Tier Einstellungen des SOBR ist auch die Verschlüsselung aktiviert: "Encrypt data uploaded to object storage".
- Backup-Größe full backup (wöchentlich) ca. 440GB, Inkremente ca. 5GB pro Tag.
- Es gibt keine WAN Accelerator oder ähnliches.

Ergebnis:
-> Während der Businesshours läuft der SOBR Offload zum Ionos S3 Bucket mit nur ca. 3MB/s Processing rate.
-> Nachts läuft der SOBR Offload zum Ionos S3 Bucket mit nur ca. 5MB/s Processing rate.
-> Der Offload läuft nun schon seit 24h und ist erst bei 43%, siehe Screenshot. Natürlich gibt es mitlerweile schon den ersten Inkremente-Punkt zum hochladen, aber der wurde noch garnicht angefangen.
-> Bottleneck ist Target.

Fragen:
- Ist diese Processing-Rate normal? Woher kommen die enormen Verluste im Vergleich zum Upload-Speed der Internetleitung? (Protokolle? Verschlüsselung?)
- Kann ich da noch was optimieren?

Danke für eure Einschätzung hierzu!

Content-Key: 1743639677

Url: https://administrator.de/contentid/1743639677

Printed on: April 26, 2024 at 07:04 o'clock

Member: media0815
media0815 Jan 20, 2022 at 14:02:56 (UTC)
Goto Top
Hier noch der entsprechende Screenshot zu meinem Post:
veeamsobrspeed
Member: itisnapanto
itisnapanto Jan 20, 2022 at 14:38:54 (UTC)
Goto Top
Rechne doch mal Mbit in MB/s um . Das kommt schon fast hin mit deinen Werten.
50Mbit/s ist bei der Datenmenge auch bissl mager.

Mal angenommen du hast die volle Upload Bandbreite für den Job , dann brauchst du für 440GB gut 19,5 Stunden reine Übertragung.

Gruss
Member: Ex0r2k16
Ex0r2k16 Jan 21, 2022 updated at 06:51:14 (UTC)
Goto Top
Zitat von @itisnapanto:

Rechne doch mal Mbit in MB/s um . Das kommt schon fast hin mit deinen Werten.
50Mbit/s ist bei der Datenmenge auch bissl mager.

Mal angenommen du hast die volle Upload Bandbreite für den Job , dann brauchst du für 440GB gut 19,5 Stunden reine Übertragung.

Gruss

Genau das. Dazu kommt noch das Rumgerechne von Veeam selber. Z.B. bei der Erstellung von syntetischen Voll-Backups. Das lädt bei mir auch gerne mal weeeeit über 24H.
Wann erstellst du deine Active full und und syntetic full Backups?
Member: media0815
media0815 Jan 24, 2022 updated at 15:01:59 (UTC)
Goto Top
@itisnapanto & @Ex0r2k16
Danke! Wie dumm von mir, dass ich nicht selbst an die Umrechnung gedacht habe. Ein Klassiker... *facepalm*

Das active full backup und die bisherigen Inkremente scheinen nun mittlerweile zum S3 Bucket übertragen worden sein. Ich habe jetzt im Bucket folgende Ordnerstruktur:
- Bucket/Encryption/KeySetParts
- Bucket/c4101ab8-3456-5897-2d1c-168b6515abea/c1a4d3fa-2ga7-3211-4d33-5e833b2c2158/blocks/
- Bucket/c4101ab8-3456-5897-2d1c-168b6515abea/c1a4d3fa-2ga7-3211-4d33-5e833b2c2158/checkpoints/
- Bucket/c4101ab8-3456-5897-2d1c-168b6515abea/c1a4d3fa-2ga7-3211-4d33-5e833b2c2158/objs/
- Bucket/c4101ab8-3456-5897-2d1c-168b6515abea/c1a4d3fa-2ga7-3211-4d33-5e833b2c2158/storages/

Folgefragen:
1. In welchem Ordner befinden sich die eigentlichen Daten der VM? Ich vermute in "blocks", richtig?
2. Kann ich irgendwie checken ob die Daten verschlüsselt wurden und ob mein Encryption-Key funktioniert?
3. Kann man die komplette VM irgendwie OHNE VEEAM wieder herstellen? Oder müsste man dafür im Ernstfall immer zunächst VEEAM wieder installieren und sich dann aus VEEAM heraus wieder mit dem S3 Storage verbinden?
4. Gibt es irgend eine Möglichkeit, dass ich ohne VEEAM, also z.B. über den S3 Browser oder so ein Tool checken kann, welche Inkremente tatsächlich vollständig im S3-Bucket liegen?

Danke!
Member: media0815
media0815 Jan 26, 2022 at 19:02:06 (UTC)
Goto Top
Kann mir zu meinen Folge-Fragen noch jemand weiter helfen, oder macht es Sinn dafür einen eigenen Thread zu eröffnen?
Member: itisnapanto
itisnapanto Jan 27, 2022 at 07:32:15 (UTC)
Goto Top
Zitat von @media0815:

@itisnapanto & @Ex0r2k16
Danke! Wie dumm von mir, dass ich nicht selbst an die Umrechnung gedacht habe. Ein Klassiker... *facepalm*

Das active full backup und die bisherigen Inkremente scheinen nun mittlerweile zum S3 Bucket übertragen worden sein. Ich habe jetzt im Bucket folgende Ordnerstruktur:
- Bucket/Encryption/KeySetParts
- Bucket/c4101ab8-3456-5897-2d1c-168b6515abea/c1a4d3fa-2ga7-3211-4d33-5e833b2c2158/blocks/
- Bucket/c4101ab8-3456-5897-2d1c-168b6515abea/c1a4d3fa-2ga7-3211-4d33-5e833b2c2158/checkpoints/
- Bucket/c4101ab8-3456-5897-2d1c-168b6515abea/c1a4d3fa-2ga7-3211-4d33-5e833b2c2158/objs/
- Bucket/c4101ab8-3456-5897-2d1c-168b6515abea/c1a4d3fa-2ga7-3211-4d33-5e833b2c2158/storages/

Folgefragen:
1. In welchem Ordner befinden sich die eigentlichen Daten der VM? Ich vermute in "blocks", richtig?
2. Kann ich irgendwie checken ob die Daten verschlüsselt wurden und ob mein Encryption-Key funktioniert?
3. Kann man die komplette VM irgendwie OHNE VEEAM wieder herstellen? Oder müsste man dafür im Ernstfall immer zunächst VEEAM wieder installieren und sich dann aus VEEAM heraus wieder mit dem S3 Storage verbinden?
4. Gibt es irgend eine Möglichkeit, dass ich ohne VEEAM, also z.B. über den S3 Browser oder so ein Tool checken kann, welche Inkremente tatsächlich vollständig im S3-Bucket liegen?

Danke!

Kenne mich mit S3 Buckets nicht aus. Was ich dir sagen kann . Für eine Rücksicherung brauchst du Veeam.
Das ist aber sehr schnell gemacht wenn man eine Sicherung der Config hat ;) Also auch das automatisiert einrichten.

Weiss nicht wie das bei S3 Buckets geht aber bei meinen Backupstasks kann ich regelmäßige Health Checks einstellen. Dort wird dann die Konsistenz der Backups geprüft.

Gruss
Member: Ex0r2k16
Ex0r2k16 Feb 02, 2022 at 06:12:09 (UTC)
Goto Top
Zitat von @media0815:

@itisnapanto & @Ex0r2k16
Danke! Wie dumm von mir, dass ich nicht selbst an die Umrechnung gedacht habe. Ein Klassiker... *facepalm*

Das active full backup und die bisherigen Inkremente scheinen nun mittlerweile zum S3 Bucket übertragen worden sein. Ich habe jetzt im Bucket folgende Ordnerstruktur:
- Bucket/Encryption/KeySetParts
- Bucket/c4101ab8-3456-5897-2d1c-168b6515abea/c1a4d3fa-2ga7-3211-4d33-5e833b2c2158/blocks/
- Bucket/c4101ab8-3456-5897-2d1c-168b6515abea/c1a4d3fa-2ga7-3211-4d33-5e833b2c2158/checkpoints/
- Bucket/c4101ab8-3456-5897-2d1c-168b6515abea/c1a4d3fa-2ga7-3211-4d33-5e833b2c2158/objs/
- Bucket/c4101ab8-3456-5897-2d1c-168b6515abea/c1a4d3fa-2ga7-3211-4d33-5e833b2c2158/storages/

Folgefragen:
1. In welchem Ordner befinden sich die eigentlichen Daten der VM? Ich vermute in "blocks", richtig?
2. Kann ich irgendwie checken ob die Daten verschlüsselt wurden und ob mein Encryption-Key funktioniert?
3. Kann man die komplette VM irgendwie OHNE VEEAM wieder herstellen? Oder müsste man dafür im Ernstfall immer zunächst VEEAM wieder installieren und sich dann aus VEEAM heraus wieder mit dem S3 Storage verbinden?
4. Gibt es irgend eine Möglichkeit, dass ich ohne VEEAM, also z.B. über den S3 Browser oder so ein Tool checken kann, welche Inkremente tatsächlich vollständig im S3-Bucket liegen?

Danke!

Habe von S3 auch keinen Plan allerdings erkennst du eine Verschlüsselung bei Veeam zB da drann, dass du im Bucket keine VM Namen sehen dürftest. Ohne Veeam auf inkremente prüfen ist mir unbekannt. Wie bereits aber schon von itisnapanto erwähnt gibt es dafür ja health checks.