11
Performanceprobleme Veeam Restore (NBD)
Hallo zusammen,
vielleicht hat jemand einen Tipp für mich, wonach ich noch suchen könnte.
Wir betreuen ein HP G10 ESX Cluster 7. mit 3 Nodes und FC mit einer MSA 2050.
Als Backups dient Veeam Backup and Replication 11, soweit funktioniert das auch ganz gut.
Backup über Direct SAN mit knapp 400MB/sek und Restore mit ca. 160MB/sek über Direkt SAN.
NBD alles um die 70 - 90 MB/sec über LAN.
Möchte man jetzt eine Replizierung anstoßen, dann komme ich auf max. 5MB/sek auf den gleichen Hosts.
Darüber hinaus habe ich noch einen Supermicro Server, welcher gerade eingerichtet wird mit SSDs bestückt. Dieser Server soll später in einem anderen Brandabschnitt stehen und dort Repliakte halten, welche mit Veeam erzeugt wurden.
Hier bekomme ich grundsätzlich mit Veeam bei Backup, Restore und Replica um die 4MB/sek.
Testweise installierte ich eine VM, um das Storage zu testen, hier komme ich auf ca. 4 -5 K /sec und random auf 1200MB/sek.
Selbst wenn ich mit der Windows VM im Netzwerk Daten transferiere komme ich konstant auf um die 105MB/sek.
Auch wenn ich bspw. ein ISO File auf den Datastore hochlade, gibt es keine Probleme.
Ich danke für jeden Hinweis!
vielleicht hat jemand einen Tipp für mich, wonach ich noch suchen könnte.
Wir betreuen ein HP G10 ESX Cluster 7. mit 3 Nodes und FC mit einer MSA 2050.
Als Backups dient Veeam Backup and Replication 11, soweit funktioniert das auch ganz gut.
Backup über Direct SAN mit knapp 400MB/sek und Restore mit ca. 160MB/sek über Direkt SAN.
NBD alles um die 70 - 90 MB/sec über LAN.
Möchte man jetzt eine Replizierung anstoßen, dann komme ich auf max. 5MB/sek auf den gleichen Hosts.
Darüber hinaus habe ich noch einen Supermicro Server, welcher gerade eingerichtet wird mit SSDs bestückt. Dieser Server soll später in einem anderen Brandabschnitt stehen und dort Repliakte halten, welche mit Veeam erzeugt wurden.
Hier bekomme ich grundsätzlich mit Veeam bei Backup, Restore und Replica um die 4MB/sek.
Testweise installierte ich eine VM, um das Storage zu testen, hier komme ich auf ca. 4 -5 K /sec und random auf 1200MB/sek.
Selbst wenn ich mit der Windows VM im Netzwerk Daten transferiere komme ich konstant auf um die 105MB/sek.
Auch wenn ich bspw. ein ISO File auf den Datastore hochlade, gibt es keine Probleme.
Ich danke für jeden Hinweis!
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 2183056784
Url: https://administrator.de/contentid/2183056784
Printed on: April 26, 2024 at 14:04 o'clock
11 Comments
Latest comment
Hi,
haben das exakt gleiche Problem vor ca nem halben Jahr festegestellt. Sehr sehr lange Fehlersuche. Dürfte damals mit der Kombi ESXi 7 U2 und Veeam 11 losgegangen sein. Lösung ist nur HotAdd nutzen...
Gruß
haben das exakt gleiche Problem vor ca nem halben Jahr festegestellt. Sehr sehr lange Fehlersuche. Dürfte damals mit der Kombi ESXi 7 U2 und Veeam 11 losgegangen sein. Lösung ist nur HotAdd nutzen...
Gruß
Hallo Elmer, vielen Dank.
Ich habe jetzt mittlerweile noch folgendes mitbekommen.
Testweise habe ich die 6.7 installiert und siehe da, auf einmal keine Performanceprobleme mehr.
Wie genau meinst du das mit HotAdd?
Ich habe folgende Konstellation hier:
ESX Cluster auf 3 Nodes + FC Storage MSA
Veeam Server ist auf dediziertem Blech mit integriertem Backup Storage.
des Weiteren habe ich noch einen per LAN angeschlossenen Server, welcher später ins RZ soll, um dort Replikate zu halten.
Wenn ich dich richtig verstehe, dann soll zusätzlich über eine VM mit einem Veeam Proxy installiert werden?
Vielen Dank!
Ich habe jetzt mittlerweile noch folgendes mitbekommen.
Testweise habe ich die 6.7 installiert und siehe da, auf einmal keine Performanceprobleme mehr.
Wie genau meinst du das mit HotAdd?
Ich habe folgende Konstellation hier:
ESX Cluster auf 3 Nodes + FC Storage MSA
Veeam Server ist auf dediziertem Blech mit integriertem Backup Storage.
des Weiteren habe ich noch einen per LAN angeschlossenen Server, welcher später ins RZ soll, um dort Replikate zu halten.
Wenn ich dich richtig verstehe, dann soll zusätzlich über eine VM mit einem Veeam Proxy installiert werden?
Vielen Dank!
Hallo,
Was ist denn jetzt nun deine eigentliche Frage? Das die Replizierung langsam ist?
Wohin replizierst du? Was ist als Datastore hinterlegt?
Was ist als Repository für die Replication Metadata Files hinterlegt (bitte genaue Details).
Wer ist Source und wer ist Target Proxy?
Was sagt der Veeam Support?
Gruß
Was ist denn jetzt nun deine eigentliche Frage? Das die Replizierung langsam ist?
Wohin replizierst du? Was ist als Datastore hinterlegt?
Was ist als Repository für die Replication Metadata Files hinterlegt (bitte genaue Details).
Wer ist Source und wer ist Target Proxy?
Was sagt der Veeam Support?
Gruß
Zitat von @tech-flare:
Hallo,
Was ist denn jetzt nun deine eigentliche Frage? Das die Replizierung langsam ist?
Wohin replizierst du? Was ist als Datastore hinterlegt?
Was ist als Repository für die Replication Metadata Files hinterlegt (bitte genaue Details).
Wer ist Source und wer ist Target Proxy?
Was sagt der Veeam Support?
Gruß
Hallo,
Was ist denn jetzt nun deine eigentliche Frage? Das die Replizierung langsam ist?
Wohin replizierst du? Was ist als Datastore hinterlegt?
Was ist als Repository für die Replication Metadata Files hinterlegt (bitte genaue Details).
Wer ist Source und wer ist Target Proxy?
Was sagt der Veeam Support?
Gruß
Meine eigentlich Frage ist die, ob jemand einen Tipp hat, wieso ich beim Restore oder Replication über Netzwerk im Einsatz von Veeam 7... nur 4MB/sek bekomme.
Was ich gerade herausbekommen habe, dass es dieses Problem bei Veeam 6.7 nicht gibt, dort restore ich mit ca. 80MB/sek.
Wohin replizierst du? Was ist als Datastore hinterlegt?
Von einem dediziertem Veeam Server mit lokalen Platten. Datastore ist in dem Fall ein lokaler Datastore mit 8 SSDs im RAID. Komplette Hardware ist durchgängig auf der Supportliste von VMWare.
Was ist als Repository für die Replication Metadata Files hinterlegt (bitte genaue Details).
Die Replikation Metafiles liegen lokal auf dem dedizierten Veeam Blech.Wer ist Source und wer ist Target Proxy?
Source ist ein Backup auf dem dedizioerten Veeam Backup Server mit lokalen Platten
Target ist ein ESX Server Stand Alone mit 8 SSds im RAID6
Der Support selbst ist seit ein paar Tagen in der Prüfung.
Erste Ergebnisse zielten wohl auf VMWare
Vielen Dank!
Hi,
haben eine Ähnliche Konstellation.
Veeam Server auf Blech (wegen FC Support der TapeLibrary). 8x ESX7 mit FullFlash SAN. 20 Gbit iSCSI.
Backup läuft mit ca 2GB/s (Backup from SAN)
Restore per NBD war glaube ich 70 - 80MB per NBD.
Mit ner VM als Proxy sind's dann beim Restore um die 400MB/s gewesen.
Langsame Replikation hatten wir an den externen Standorten (5 - 10 MB/s).
Dort hat es geholfen die Transport mode Settings des Proxy erneut auf Auto zu stellen. Das Update von Veeam 10 auf 11 hat dort was an den Settings gefuscht und wieder Network Mode konfiguriert
Aber auch dazu brauchst du ne VM als Proxy
Gruß
haben eine Ähnliche Konstellation.
Veeam Server auf Blech (wegen FC Support der TapeLibrary). 8x ESX7 mit FullFlash SAN. 20 Gbit iSCSI.
Backup läuft mit ca 2GB/s (Backup from SAN)
Restore per NBD war glaube ich 70 - 80MB per NBD.
Mit ner VM als Proxy sind's dann beim Restore um die 400MB/s gewesen.
Langsame Replikation hatten wir an den externen Standorten (5 - 10 MB/s).
Dort hat es geholfen die Transport mode Settings des Proxy erneut auf Auto zu stellen. Das Update von Veeam 10 auf 11 hat dort was an den Settings gefuscht und wieder Network Mode konfiguriert
Aber auch dazu brauchst du ne VM als Proxy
Gruß
Also zusätzlich zum Veeam Server Blech noch einmal auf den RZ ESX und in das Cluster im Hauptsandort eine Windows VM mit Veeam installieren und dieses am Hauptserver als Proxy eintragen?
Weißt Du auch wieso das damit schneller laufen soll?
Wie sieht das mit Lizenzen und Direct SAN aus?
Bei DirecTSAN ist vermutlich nur wichtig, dass das Backupstaorgae via FC verbunden ist?
Vielen Dank!
Weißt Du auch wieso das damit schneller laufen soll?
Wie sieht das mit Lizenzen und Direct SAN aus?
Bei DirecTSAN ist vermutlich nur wichtig, dass das Backupstaorgae via FC verbunden ist?
Vielen Dank!
Hi,
das kann theoretisch eine vorhanden VM sein. Du installierst da kein Veeam! Auf dem Veeam Server erstellst du einen neuen Proxy und der Assistent deployed dann diese Komponente auf deine auserwählte VM. (Bei uns läuft das auf nem Admin-Tools-Server nebenher)
Backup from SAN hat damit nix zu tun, da du ja direkten SAN Access per FC benötigst. Ein Lizenzthema wäre mir auch nicht bekannt.
Hier mal die Erklärung zu den Unterschieden:
https://www.veeam.com/blog/vmware-backup-proxy-transport-modes-configura ...
Gruß
das kann theoretisch eine vorhanden VM sein. Du installierst da kein Veeam! Auf dem Veeam Server erstellst du einen neuen Proxy und der Assistent deployed dann diese Komponente auf deine auserwählte VM. (Bei uns läuft das auf nem Admin-Tools-Server nebenher)
Backup from SAN hat damit nix zu tun, da du ja direkten SAN Access per FC benötigst. Ein Lizenzthema wäre mir auch nicht bekannt.
Hier mal die Erklärung zu den Unterschieden:
https://www.veeam.com/blog/vmware-backup-proxy-transport-modes-configura ...
Gruß
Hi Leo
Das Problem trat mit ESXi 7.x auf und besteht meines Wissens noch immer, und die Ursache liegt gemäss allen bisherigen Infos bei VMware. Beschrieben wird das Problem z.B. hier:
https://forums.veeam.com/vmware-vsphere-f24/veeam-11-extremely-slow-repl ...
Und der VMware Artikel dazu:
https://kb.vmware.com/s/article/86269
Der Symptom-Text wurde anscheinend zwischenzeitlich angepasst, da mittlerweile etwas von SDK da steht... Keine Ahnung was das soll. Ich hatte einen Case bei VMware offen und habe nun nochmals einen eröffnet, da der letzte ohne Kommentar geschlossen wurde. Diese Supportcenter musst du bombardieren, sonst kommen die nicht vom Fleck und machen nichts.
Zum eigentlichen Problem: Ich hatte HotAdd schon im Einsatz und bin davon wenig begeistert. Besonders bei grösseren VMs (Exchange, Filserver mit 1TB+) gab es öfters das Problem dass die VMDKs vom Proxy nicht mehr freigegeben wurden. Das führte zum Replikationsstau bis hin zur Korruption einer kompletten VMDK vom Exchange Server. Man muss dann die HotAdd Disks manuell von der Proxy-VM entfernen. Bei 70+ VMs ist das nicht wirklich witzig und wenig sinnvoll...
Darum möchte ich bei SAN und NBD bleiben. Bis ESXi 7.x hat das auch wunderbar funktioniert. Das Problem ist nur, dass ESXi 6.7 ende 2022 nicht mehr supportet wird, weshalb ich nun Druck mache beim Support und Antworten möchte, und vor allem eine Lösung... VMware hatte zwischenzeitlich ESXi Versionen wieder zurückgezogen weil sie so viele Probleme hatten.
Hoffe es gibt bald eine Lösung dafür.
Das Problem trat mit ESXi 7.x auf und besteht meines Wissens noch immer, und die Ursache liegt gemäss allen bisherigen Infos bei VMware. Beschrieben wird das Problem z.B. hier:
https://forums.veeam.com/vmware-vsphere-f24/veeam-11-extremely-slow-repl ...
Und der VMware Artikel dazu:
https://kb.vmware.com/s/article/86269
Der Symptom-Text wurde anscheinend zwischenzeitlich angepasst, da mittlerweile etwas von SDK da steht... Keine Ahnung was das soll. Ich hatte einen Case bei VMware offen und habe nun nochmals einen eröffnet, da der letzte ohne Kommentar geschlossen wurde. Diese Supportcenter musst du bombardieren, sonst kommen die nicht vom Fleck und machen nichts.
Zum eigentlichen Problem: Ich hatte HotAdd schon im Einsatz und bin davon wenig begeistert. Besonders bei grösseren VMs (Exchange, Filserver mit 1TB+) gab es öfters das Problem dass die VMDKs vom Proxy nicht mehr freigegeben wurden. Das führte zum Replikationsstau bis hin zur Korruption einer kompletten VMDK vom Exchange Server. Man muss dann die HotAdd Disks manuell von der Proxy-VM entfernen. Bei 70+ VMs ist das nicht wirklich witzig und wenig sinnvoll...
Darum möchte ich bei SAN und NBD bleiben. Bis ESXi 7.x hat das auch wunderbar funktioniert. Das Problem ist nur, dass ESXi 6.7 ende 2022 nicht mehr supportet wird, weshalb ich nun Druck mache beim Support und Antworten möchte, und vor allem eine Lösung... VMware hatte zwischenzeitlich ESXi Versionen wieder zurückgezogen weil sie so viele Probleme hatten.
Hoffe es gibt bald eine Lösung dafür.
Ich stoße ein halbes Jahr später auch auf das Problem. Kann es sein, dass das immer noch nicht behoben ist?
Ich restore hier mit 3-5mb/s. Auf 6.7 war es über 100mb/s.
Hot Add habe ich eingerichtet, aber die Storages liegen in anderen VLANs. Ich wollte eigentlich nicht die VLANs wo die Backup Sotorages liegen am ESXi bekannt machen. Aber die Proxy VM muss mit den Storages kommunizieren können, sonst geht es nicht.
Ich finde die Situation echt unglücklich.
Ich restore hier mit 3-5mb/s. Auf 6.7 war es über 100mb/s.
Hot Add habe ich eingerichtet, aber die Storages liegen in anderen VLANs. Ich wollte eigentlich nicht die VLANs wo die Backup Sotorages liegen am ESXi bekannt machen. Aber die Proxy VM muss mit den Storages kommunizieren können, sonst geht es nicht.
Ich finde die Situation echt unglücklich.
Servus,
ich denke da wird auch nix mehr gefixt werden.
Backup from SAN ist m.M. die beste Variante. Ein eigener Backup Hardware Server macht das ganze dann rund.
Für die VMs die dann nicht auf dem SAN liegen greift dann wieder Hot-Add.
Backup Netz vom produktiven trennen ist auch ein guter Punkt. Aber ohne den Veeam Server in beide Netze zu packen wirds schwerlich gehen.
Gruß und noch viel Erfolg
ich denke da wird auch nix mehr gefixt werden.
Backup from SAN ist m.M. die beste Variante. Ein eigener Backup Hardware Server macht das ganze dann rund.
Für die VMs die dann nicht auf dem SAN liegen greift dann wieder Hot-Add.
Backup Netz vom produktiven trennen ist auch ein guter Punkt. Aber ohne den Veeam Server in beide Netze zu packen wirds schwerlich gehen.
Gruß und noch viel Erfolg
Hallo,
Backup Restore von SAN funktioniert aber nur mit Thick Volume.
Backup von SAN funktioniert mit alle Volumes.
@ leon123 du schreibst überhaupt nichts zu deiner Infrastruktur.
HotAdd kann man auch bei entsprechender Infrastruktur locker 500MB/S erreichen.
Backup Restore von SAN funktioniert aber nur mit Thick Volume.
Backup von SAN funktioniert mit alle Volumes.
@ leon123 du schreibst überhaupt nichts zu deiner Infrastruktur.
HotAdd kann man auch bei entsprechender Infrastruktur locker 500MB/S erreichen.