16
Klonvorgang sehr langsam - Proxmox
Moin liebe Admins!
Mein Proxmox Server greift auf einen Shared-Storage zu mit 4 NVME im RAIDz1.
Proxmxo und Storage Server sind Dell PowerEdge R730 mit jeweils 128GB RAM und 2x 14 Core CPUs.
Per FIO erhalte ich auf dem Storage folgende Werte:
Run status group 0 (all jobs):
WRITE: bw=14.7GiB/s (15.8GB/s), 208MiB/s-270MiB/s (218MB/s-283MB/s), io=443GiB (476GB), run=30001-30193msec
Run status group 0 (all jobs):
READ: bw=33.9GiB/s (36.4GB/s), 313MiB/s-839MiB/s (328MB/s-880MB/s), io=1019GiB (1094GB), run=30001-30069msec
Die Server sind mit 25Gbit verbunden.
Wenn ich nun eine 32GB VM klone, dauert es zwischen 1,30min - 1,58min und das erscheint mir etwas langsam, da ich bei einem Full-HDD-RAIDz1 (mit ZLOG) ähnliche Geschwindigkeiten erhalte...
Was denkt ihr darüber?
Habt ihr ggf. eine Idee wie ich den Klonvorgnag beschleunigen kann?
Nachtrag:
iperf3 als Screenshot
Nachtrag 2:
Anbei findet ihr Screenshots von einer Windows VM einmal auf dem HDD-Array (RaidZ1) und einmal auf dem NVME-Array(Auch RaidZ1).
Beide Werte stammen von dem selben Servern, nur andere VM Storages. HDD ist deutlich schneller im Lesen und NVME ist zwar langsamer im Lesen aber dafür sind Read/Write recht ausgeglichen im Vergleich zum HDD Array.
Das kann doch nicht das beste in Sachen NVME Performance sein...
Beste Grüße und schöne Pfingsten
Mein Proxmox Server greift auf einen Shared-Storage zu mit 4 NVME im RAIDz1.
Proxmxo und Storage Server sind Dell PowerEdge R730 mit jeweils 128GB RAM und 2x 14 Core CPUs.
Per FIO erhalte ich auf dem Storage folgende Werte:
Run status group 0 (all jobs):
WRITE: bw=14.7GiB/s (15.8GB/s), 208MiB/s-270MiB/s (218MB/s-283MB/s), io=443GiB (476GB), run=30001-30193msec
Run status group 0 (all jobs):
READ: bw=33.9GiB/s (36.4GB/s), 313MiB/s-839MiB/s (328MB/s-880MB/s), io=1019GiB (1094GB), run=30001-30069msec
Die Server sind mit 25Gbit verbunden.
Wenn ich nun eine 32GB VM klone, dauert es zwischen 1,30min - 1,58min und das erscheint mir etwas langsam, da ich bei einem Full-HDD-RAIDz1 (mit ZLOG) ähnliche Geschwindigkeiten erhalte...
Was denkt ihr darüber?
Habt ihr ggf. eine Idee wie ich den Klonvorgnag beschleunigen kann?
Nachtrag:
iperf3 als Screenshot
Nachtrag 2:
Anbei findet ihr Screenshots von einer Windows VM einmal auf dem HDD-Array (RaidZ1) und einmal auf dem NVME-Array(Auch RaidZ1).
Beide Werte stammen von dem selben Servern, nur andere VM Storages. HDD ist deutlich schneller im Lesen und NVME ist zwar langsamer im Lesen aber dafür sind Read/Write recht ausgeglichen im Vergleich zum HDD Array.
Das kann doch nicht das beste in Sachen NVME Performance sein...
Beste Grüße und schöne Pfingsten
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 41518739573
Url: https://administrator.de/contentid/41518739573
Printed on: June 21, 2024 at 20:06 o'clock
16 Comments
Latest comment
Mahlzeit.
Die Server sind mit 25Gbit verbunden.
Wie angebunden? NFS, SMB, iSCSi?
Wenn ich nun eine 32GB VM klone, dauert es zwischen 1,30min - 1,58min und das erscheint mir etwas langsam, da ich bei einem Full-HDD-RAIDz1 (mit ZLOG) ähnliche Geschwindigkeiten erhalte...
Das klingt erst einmal doch nicht so schlecht. Es müssen ja Operationen seitens Proxmox durchgeführt werden. Für das Erstellen der VM und deren virtuellen Festplatte etc. wird ja auch etwas Zeit benötigt.
Habt ihr ggf. eine Idee wie ich den Klonvorgnag beschleunigen kann?
Wie sieht es aus bei einer größeren VM?
Mal ein anderes Protokoll zur Verbindung gewählt?
Das kann doch nicht das beste in Sachen NVME Performance sein...
NVMe ist hier auch mit Sicherheit nicht der Flaschenhals.
Bin leider kein Proxmox Experte und kann somit keine Einstellungen vorschlagen, welche hier beschleunigen könnten.
Gruß
Marc
1
Moin...
Mein Proxmox Server greift auf einen Shared-Storage zu mit 4 NVME im RAIDz1.
oha...
Was denkt ihr darüber?
Habt ihr ggf. eine Idee wie ich den Klonvorgnag beschleunigen kann?
nun, der Clonvorgang braucht ja auch auch CPU zeit und Verwaltung im Proxmox!
da gibbet welche mit 1 GiB/s bis 7 GiB/s... also was hast du da verbaut, mit welchem Adapter?
wie sind die angebunden?
Frank
Mein Proxmox Server greift auf einen Shared-Storage zu mit 4 NVME im RAIDz1.
Proxmxo und Storage Server sind Dell PowerEdge R730 mit jeweils 128GB RAM und 2x 14 Core CPUs.
Per FIO erhalte ich auf dem Storage folgende Werte:
Run status group 0 (all jobs):
WRITE: bw=14.7GiB/s (15.8GB/s), 208MiB/s-270MiB/s (218MB/s-283MB/s), io=443GiB (476GB), run=30001-30193msec
Run status group 0 (all jobs):
READ: bw=33.9GiB/s (36.4GB/s), 313MiB/s-839MiB/s (328MB/s-880MB/s), io=1019GiB (1094GB), run=30001-30069msec
Die Server sind mit 25Gbit verbunden.
du mein LAN?Per FIO erhalte ich auf dem Storage folgende Werte:
Run status group 0 (all jobs):
WRITE: bw=14.7GiB/s (15.8GB/s), 208MiB/s-270MiB/s (218MB/s-283MB/s), io=443GiB (476GB), run=30001-30193msec
Run status group 0 (all jobs):
READ: bw=33.9GiB/s (36.4GB/s), 313MiB/s-839MiB/s (328MB/s-880MB/s), io=1019GiB (1094GB), run=30001-30069msec
Die Server sind mit 25Gbit verbunden.
Wenn ich nun eine 32GB VM klone, dauert es zwischen 1,30min - 1,58min und das erscheint mir etwas langsam, da ich bei einem Full-HDD-RAIDz1 (mit ZLOG) ähnliche Geschwindigkeiten erhalte...
was eigentlich ok ist!Was denkt ihr darüber?
Habt ihr ggf. eine Idee wie ich den Klonvorgnag beschleunigen kann?
Das kann doch nicht das beste in Sachen NVME Performance sein...
was sind das für NVMEs genau?da gibbet welche mit 1 GiB/s bis 7 GiB/s... also was hast du da verbaut, mit welchem Adapter?
wie sind die angebunden?
Hallo an alle
Per NFS aber eigentlich meinte ich an einen 25G Ubiquiti Aggregation Pro Switch...
Das Ziel soll es sein, die Zeit pro Klonvorgang deutlich zu reduzieren. Egal ob ich RAIDz1 oder sogar die NVMes als Stripes setze, die Zeiten verbessern sich nicht. Selbst wenn man eine zusätzliche Proxmox VM auf dem Storage Server (TrueNAS ist Baremetal) installiert und die NIC als Bridge einrichtet, verbessert sich da nichts.
Oha?
Read 3500 MB/s - Write 3000 MB/s
Als Adapter habe ich sowohl die ASUS Hyper M.2 (x16 3.0) als auch dual x8 PCIe Adapter ausprobiert, in verschiedenen Servern und zu verschiedensten Config-Varianten...
1m32sec. bestes Ergebnis...
Liebe Grüße
Die Server sind mit 25Gbit verbunden.
Wie angebunden? NFS, SMB, iSCSi?
Wie angebunden? NFS, SMB, iSCSi?
Per NFS aber eigentlich meinte ich an einen 25G Ubiquiti Aggregation Pro Switch...
Das klingt erst einmal doch nicht so schlecht. Es müssen ja Operationen seitens Proxmox durchgeführt werden. Für das Erstellen der VM und deren virtuellen Festplatte etc. wird ja auch etwas Zeit benötigt.
Das Ziel soll es sein, die Zeit pro Klonvorgang deutlich zu reduzieren. Egal ob ich RAIDz1 oder sogar die NVMes als Stripes setze, die Zeiten verbessern sich nicht. Selbst wenn man eine zusätzliche Proxmox VM auf dem Storage Server (TrueNAS ist Baremetal) installiert und die NIC als Bridge einrichtet, verbessert sich da nichts.
Wie sieht es aus bei einer größeren VM?
Unverändert, er kommt laut TrueNAS auf max 600 MiB/s...Mal ein anderes Protokoll zur Verbindung gewählt?
Nein, noch nicht... Da NFS auf deutlich schlechteren Systemen bessere Ergebnisse liefert. Siehe HDD ArrayMein Proxmox Server greift auf einen Shared-Storage zu mit 4 NVME im RAIDz1.
oha...
oha...
Oha?
du mein LAN?
Korrektnun, der Clonvorgang braucht ja auch auch CPU zeit und Verwaltung im Proxmox!
Das stimmt, jedoch wundert es mich das mein NVMe Array und mein HDD Array pro Klonvorgang ziemlich gleiche Zeiten hat. Und ich kann mir nicht vorstellen hier Proxmox an seine Grenzen gebracht zu haben.was sind das für NVMEs genau?
da gibbet welche mit 1 GiB/s bis 7 GiB/s... also was hast du da verbaut, mit welchem Adapter?
wie sind die angebunden?
da gibbet welche mit 1 GiB/s bis 7 GiB/s... also was hast du da verbaut, mit welchem Adapter?
wie sind die angebunden?
Read 3500 MB/s - Write 3000 MB/s
Als Adapter habe ich sowohl die ASUS Hyper M.2 (x16 3.0) als auch dual x8 PCIe Adapter ausprobiert, in verschiedenen Servern und zu verschiedensten Config-Varianten...
1m32sec. bestes Ergebnis...
Liebe Grüße
Moin...
wie kommst du auf 25G?
Read 3500 MB/s - Write 3000 MB/s
ja... fein, aber was genau für NVMes?`also Hersteller und Typ?
das ASUS teil ist jedenfalls nix für einen Server, und rennt auch nicht überall!
was für einen Server hast du, und was für Nics sind dort verbaut?
Liebe Grüße
Frank
Zitat von @WildDog:
Hallo an alle
wie genau... das scheint mir eher 10 Gbit zu sein, bei deinen werten!Hallo an alle
Die Server sind mit 25Gbit verbunden.
Per NFS aber eigentlich meinte ich an einen 25G Ubiquiti Aggregation Pro Switch...wie kommst du auf 25G?
Das Ziel soll es sein, die Zeit pro Klonvorgang deutlich zu reduzieren. Egal ob ich RAIDz1 oder sogar die NVMes als Stripes setze, die Zeiten verbessern sich nicht. Selbst wenn man eine zusätzliche Proxmox VM auf dem Storage Server (TrueNAS ist Baremetal) installiert und die NIC als Bridge einrichtet, verbessert sich da nichts.
das wären werte für 10 GBit!Wie sieht es aus bei einer größeren VM?
Unverändert, er kommt laut TrueNAS auf max 600 MiB/s...was sind das für NVMEs genau?
da gibbet welche mit 1 GiB/s bis 7 GiB/s... also was hast du da verbaut, mit welchem Adapter?
wie sind die angebunden?
da gibbet welche mit 1 GiB/s bis 7 GiB/s... also was hast du da verbaut, mit welchem Adapter?
wie sind die angebunden?
Read 3500 MB/s - Write 3000 MB/s
Als Adapter habe ich sowohl die ASUS Hyper M.2 (x16 3.0) als auch dual x8 PCIe Adapter ausprobiert, in verschiedenen Servern und zu verschiedensten Config-Varianten...
1m32sec. bestes Ergebnis...
ok M2... ich bin jetzt mal U2 oder U3 ausgegangen.... also scheinst du Consumer Hardware zu nutzen!1m32sec. bestes Ergebnis...
das ASUS teil ist jedenfalls nix für einen Server, und rennt auch nicht überall!
was für einen Server hast du, und was für Nics sind dort verbaut?
Liebe Grüße
Frank
Hi,
wie genau... das scheint mir eher 10 Gbit zu sein, bei deinen werten!
wie kommst du auf 25G?
Schau bitte kurz auf die Bilder in meinem allerersten Post, dort ist ein iperf3 Test zwischen den beiden Servern, also eine 25G Verbindung herrscht. Switch usw. ist mit @aqui in einem anderen Post vor na Weile korrekt eingerichtet.
Das würde allerdings die anderen beiden Adapter mit gleicher Geschwindigkeit nicht erklären
Zwei PowerEdge R730, CPUs: Dual Intel Xeon CPU E5-2680 v4
NICS: Supermicro AOC-S25G-M2S
Beides (Storage & VM Host) identische Hardware
Beste Grüße
Die Server sind mit 25Gbit verbunden.
Per NFS aber eigentlich meinte ich an einen 25G Ubiquiti Aggregation Pro Switch...wie kommst du auf 25G?
Schau bitte kurz auf die Bilder in meinem allerersten Post, dort ist ein iperf3 Test zwischen den beiden Servern, also eine 25G Verbindung herrscht. Switch usw. ist mit @aqui in einem anderen Post vor na Weile korrekt eingerichtet.
das wären werte für 10 GBit!
Genau das ist ja das Problem - Obwohl das Netzwerk passt, Frage ich mich wo ist der Flaschenhals...ok M2... ich bin jetzt mal U2 oder U3 ausgegangen.... also scheinst du Consumer Hardware zu nutzen!
das ASUS teil ist jedenfalls nix für einen Server, und rennt auch nicht überall!
das ASUS teil ist jedenfalls nix für einen Server, und rennt auch nicht überall!
Das würde allerdings die anderen beiden Adapter mit gleicher Geschwindigkeit nicht erklären
was für einen Server hast du, und was für Nics sind dort verbaut?
Zwei PowerEdge R730, CPUs: Dual Intel Xeon CPU E5-2680 v4
NICS: Supermicro AOC-S25G-M2S
Beides (Storage & VM Host) identische Hardware
Beste Grüße
Moin,
ist dort die gleiche Hardware verbaut also Server, Adapter und M2?
wenn du von freigabe zur freigabe (Server zu Server) kopierst, sind die werte dann besser?
wie sind auf dem anderen System die Clon zeiten?
Frank
Das würde allerdings die anderen beiden Adapter mit gleicher Geschwindigkeit nicht erklären
ist dort die gleiche Hardware verbaut also Server, Adapter und M2?
wenn du von freigabe zur freigabe (Server zu Server) kopierst, sind die werte dann besser?
wie sind auf dem anderen System die Clon zeiten?
Frank
Servus
Selbe Hardware, bis auf die M.2 Adapter.
Die Adapter sind nur im Storage Server verbaut und zwar 1x die ASUS Hyper M.2 und 2x die Supermicro AOC-SLG3-2M2..
Beste Grüße
ist dort die gleiche Hardware verbaut also Server, Adapter und M2?
Selbe Hardware, bis auf die M.2 Adapter.
Die Adapter sind nur im Storage Server verbaut und zwar 1x die ASUS Hyper M.2 und 2x die Supermicro AOC-SLG3-2M2..
wenn du von freigabe zur freigabe (Server zu Server) kopierst, sind die werte dann besser?
Die Frag verstehe ich nicht.. Proxmox greift per NFS auf den Storage (TrueNAS) zu und der Klonvorgang findet durch Proxmox statt...wie sind auf dem anderen System die Clon zeiten?
Welches andere System? Es gibt nur die beiden ServerBeste Grüße
Moin,
Gruß,
Dani
Die Frag verstehe ich nicht.. Proxmox greift per NFS auf den Storage (TrueNAS) zu und der Klonvorgang findet durch Proxmox statt...
Es findet sowohl der Lese- als auch Schreibvorgang auf dem Storage statt. Ich würde exemplarisch einmal die zu klonende VM lokal auf einem Storage des Proxmox ablegen und anschließend nochmals den Klonvorgang starten. Hast du dann bessere Werte?Gruß,
Dani
Hey ^^
Es findet sowohl der Lese- als auch Schreibvorgang auf dem Storage statt. Ich würde exemplarisch einmal die zu klonende VM lokal auf einem Storage des Proxmox ablegen und anschließend nochmals den Klonvorgang starten. Hast du dann bessere Werte?
Korrekt, die zeitgleichen Reads / Writes hab ich auch erst verdächtigt allerdings sollte bei den FIO Werten ja trotzdem mehr als 500-600 MB/s rumkommen... Ich hab auf die schnelle nur eine SSD zur Hand gehabt um es auf dem Proxmox zu testen und da habe ich bei 3 Klonvorgängen 1min49sek, 2min11sek und 1min53sek also auch nicht sehr viel anders als die Werte (1min30sek - 1min58sek) die ich mit dem NVMe Array über die 25 Gbit Leitung hab...
Gruß,
Dani
Dani
Beste Grüße und eine gute Nacht
Wie Frank und ich schonmal bemerkten, Proxmox braucht ja auch ein paar Gedenksekunden für den Klonvorgang.
Ich habe daheim XCP-NG auf einem Minisforum HM90 mit AMD 4900HS CPU und zwei Crucial MX500 1 TB SATA SSD im RAID 1 laufen. Da hat gestern ein Klonvorgang einer 50 GB Linux VM 55 Sekunden gebraucht.
Nichtsdestotrotz lesen sich deine angegebenen Zeiten als durchaus passabel.
Wie lange dauert der Vorgang denn bei einer größeren VM (> 200 GB)? Wenn du dann die Gigabyte/Sekunden vergleichst, müssten ja ähnliche Werte herauskommen.
Gruß
Marc
Ich habe daheim XCP-NG auf einem Minisforum HM90 mit AMD 4900HS CPU und zwei Crucial MX500 1 TB SATA SSD im RAID 1 laufen. Da hat gestern ein Klonvorgang einer 50 GB Linux VM 55 Sekunden gebraucht.
Nichtsdestotrotz lesen sich deine angegebenen Zeiten als durchaus passabel.
Wie lange dauert der Vorgang denn bei einer größeren VM (> 200 GB)? Wenn du dann die Gigabyte/Sekunden vergleichst, müssten ja ähnliche Werte herauskommen.
Gruß
Marc
Moin,
Ich würde stupide und simpel anfangen. Lokale SSD im Proxmox. Am Besten in einem M2 Slot, welcher mit der CPU verbunden ist und das Gleiche im Storage. So dass du kein ZFS, kein Sharing, etc. hast. Werden die Werte so besser?
Gruß,
Dani
Korrekt, die zeitgleichen Reads / Writes hab ich auch erst verdächtigt allerdings sollte bei den FIO Werten ja trotzdem mehr als 500-600 MB/s rumkommen... Ich hab auf die schnelle nur eine SSD zur Hand gehabt um es auf dem Proxmox zu testen und da habe ich bei 3 Klonvorgängen 1min49sek, 2min11sek und 1min53sek also auch nicht sehr viel anders als die Werte (1min30sek - 1min58sek) die ich mit dem NVMe Array über die 25 Gbit Leitung hab...
wie sieht es denn mit der Anbindung der SSDs aus. Du oben von Adaptern gesprochen hast. Bedeutet das, dass 2,3,4 SSDs an einem PCI Express Port hängen? Mit ZFS hast du in der Konstellation noch eine weitere Bremse.Ich würde stupide und simpel anfangen. Lokale SSD im Proxmox. Am Besten in einem M2 Slot, welcher mit der CPU verbunden ist und das Gleiche im Storage. So dass du kein ZFS, kein Sharing, etc. hast. Werden die Werte so besser?
Gruß,
Dani
1
Hallo liebe Admins, sorry für die späte Antwort ^^...
Ich bin mit den Kopiergeschwindigkeiten überhaupt nicht zufrieden. Selbst wenn wir hier von 10Gbit-Speeds sprechen, empfinde ich 500-600 MB/s für ein NVMe-Array als zu langsam.
Aus diesem Grund habe ich, wie von @Dani vorgeschlagen, eine NVMe direkt in den Proxmox-Host installiert und siehe da, die Geschwindigkeiten sind immer noch ähnlich.
Ich schätze also, wie auch @Vision2015 meinte, dass hier Proxmox selbst der Flaschenhals ist. Aus diesem Grund werde ich nun "Linked Clones" ausprobieren und schauen, ob hier spürbare Nachteile auftreten. Da es "linked" VMs sind, findet kein wirklicher Kopiervorgang statt und ein Klon ist innerhalb von 3-4 Sekunden einsatzbereit.
Ich danke allen für die Tipps und die geteilten Gedanken.
Ich wünsche euch ein schönes Wochenende.
Ich bin mit den Kopiergeschwindigkeiten überhaupt nicht zufrieden. Selbst wenn wir hier von 10Gbit-Speeds sprechen, empfinde ich 500-600 MB/s für ein NVMe-Array als zu langsam.
Aus diesem Grund habe ich, wie von @Dani vorgeschlagen, eine NVMe direkt in den Proxmox-Host installiert und siehe da, die Geschwindigkeiten sind immer noch ähnlich.
Ich schätze also, wie auch @Vision2015 meinte, dass hier Proxmox selbst der Flaschenhals ist. Aus diesem Grund werde ich nun "Linked Clones" ausprobieren und schauen, ob hier spürbare Nachteile auftreten. Da es "linked" VMs sind, findet kein wirklicher Kopiervorgang statt und ein Klon ist innerhalb von 3-4 Sekunden einsatzbereit.
Ich danke allen für die Tipps und die geteilten Gedanken.
Ich wünsche euch ein schönes Wochenende.
Moin,
Gruß,
Dani
Ich schätze also, wie auch @Vision2015 meinte, dass hier Proxmox selbst der Flaschenhals ist.
hast mal während des Vorgangs auf die Summery Page in der UI des Proxmox geschaut. Hast du evtl. IO Delay auf der CPU?Gruß,
Dani
Hi Dani,
ja immer so um die 0.1 bis 0.5 aber unabhängig ob ich Klone…
Scheint mit okay oder?
ja immer so um die 0.1 bis 0.5 aber unabhängig ob ich Klone…
Scheint mit okay oder?
Moin,
Gruß,
Dani
ja immer so um die 0.1 bis 0.5 aber unabhängig ob ich Klone…
Scheint mit okay oder?
das ist nichts. Wie sieht es zu dem Zeitpunkt auf der Gegenstelle aus?Scheint mit okay oder?
Gruß,
Dani
Hey,
Das ist ein TrueNas Server… Da bin ich mir nicht sicher ob man es vergleichen kann aber da sind 56 Threads (2x14 Kern CPU) und so um die 8-12 Threads die aufleuchten aber die Auslastung ist immer recht gering…
Beantwortet das deine Frage?
Lg
Das ist ein TrueNas Server… Da bin ich mir nicht sicher ob man es vergleichen kann aber da sind 56 Threads (2x14 Kern CPU) und so um die 8-12 Threads die aufleuchten aber die Auslastung ist immer recht gering…
Beantwortet das deine Frage?
Lg