wilddog
Goto Top

Klonvorgang sehr langsam - Proxmox

Moin liebe Admins!

Mein Proxmox Server greift auf einen Shared-Storage zu mit 4 NVME im RAIDz1.
Proxmxo und Storage Server sind Dell PowerEdge R730 mit jeweils 128GB RAM und 2x 14 Core CPUs.
Per FIO erhalte ich auf dem Storage folgende Werte:

Run status group 0 (all jobs):
WRITE: bw=14.7GiB/s (15.8GB/s), 208MiB/s-270MiB/s (218MB/s-283MB/s), io=443GiB (476GB), run=30001-30193msec

Run status group 0 (all jobs):
READ: bw=33.9GiB/s (36.4GB/s), 313MiB/s-839MiB/s (328MB/s-880MB/s), io=1019GiB (1094GB), run=30001-30069msec

Die Server sind mit 25Gbit verbunden.
Wenn ich nun eine 32GB VM klone, dauert es zwischen 1,30min - 1,58min und das erscheint mir etwas langsam, da ich bei einem Full-HDD-RAIDz1 (mit ZLOG) ähnliche Geschwindigkeiten erhalte...

Was denkt ihr darüber?
Habt ihr ggf. eine Idee wie ich den Klonvorgnag beschleunigen kann?

Nachtrag:
iperf3 als Screenshot

Nachtrag 2:
Anbei findet ihr Screenshots von einer Windows VM einmal auf dem HDD-Array (RaidZ1) und einmal auf dem NVME-Array(Auch RaidZ1).
Beide Werte stammen von dem selben Servern, nur andere VM Storages. HDD ist deutlich schneller im Lesen und NVME ist zwar langsamer im Lesen aber dafür sind Read/Write recht ausgeglichen im Vergleich zum HDD Array.

Das kann doch nicht das beste in Sachen NVME Performance sein...


Beste Grüße und schöne Pfingsten
bildschirmfoto 2024-05-20 um 02.04.06
nvme-raidz1
hdd-raidz1

Content-Key: 41518739573

Url: https://administrator.de/contentid/41518739573

Printed on: June 12, 2024 at 18:06 o'clock

Member: radiogugu
radiogugu May 20, 2024 at 12:26:33 (UTC)
Goto Top
Zitat von @WildDog:

Moin liebe Admins!

Mahlzeit.

Die Server sind mit 25Gbit verbunden.

Wie angebunden? NFS, SMB, iSCSi?

Wenn ich nun eine 32GB VM klone, dauert es zwischen 1,30min - 1,58min und das erscheint mir etwas langsam, da ich bei einem Full-HDD-RAIDz1 (mit ZLOG) ähnliche Geschwindigkeiten erhalte...

Das klingt erst einmal doch nicht so schlecht. Es müssen ja Operationen seitens Proxmox durchgeführt werden. Für das Erstellen der VM und deren virtuellen Festplatte etc. wird ja auch etwas Zeit benötigt.

Habt ihr ggf. eine Idee wie ich den Klonvorgnag beschleunigen kann?

Wie sieht es aus bei einer größeren VM?

Mal ein anderes Protokoll zur Verbindung gewählt?

Das kann doch nicht das beste in Sachen NVME Performance sein...

NVMe ist hier auch mit Sicherheit nicht der Flaschenhals.

Bin leider kein Proxmox Experte und kann somit keine Einstellungen vorschlagen, welche hier beschleunigen könnten.

Gruß
Marc
Member: Vision2015
Vision2015 May 20, 2024 at 13:53:29 (UTC)
Goto Top
Zitat von @WildDog:

Moin liebe Admins!
Moin...

Mein Proxmox Server greift auf einen Shared-Storage zu mit 4 NVME im RAIDz1.
oha...
Proxmxo und Storage Server sind Dell PowerEdge R730 mit jeweils 128GB RAM und 2x 14 Core CPUs.
Per FIO erhalte ich auf dem Storage folgende Werte:

Run status group 0 (all jobs):
WRITE: bw=14.7GiB/s (15.8GB/s), 208MiB/s-270MiB/s (218MB/s-283MB/s), io=443GiB (476GB), run=30001-30193msec

Run status group 0 (all jobs):
READ: bw=33.9GiB/s (36.4GB/s), 313MiB/s-839MiB/s (328MB/s-880MB/s), io=1019GiB (1094GB), run=30001-30069msec

Die Server sind mit 25Gbit verbunden.
du mein LAN?
Wenn ich nun eine 32GB VM klone, dauert es zwischen 1,30min - 1,58min und das erscheint mir etwas langsam, da ich bei einem Full-HDD-RAIDz1 (mit ZLOG) ähnliche Geschwindigkeiten erhalte...
was eigentlich ok ist!

Was denkt ihr darüber?
Habt ihr ggf. eine Idee wie ich den Klonvorgnag beschleunigen kann?
nun, der Clonvorgang braucht ja auch auch CPU zeit und Verwaltung im Proxmox!
Das kann doch nicht das beste in Sachen NVME Performance sein...
was sind das für NVMEs genau?
da gibbet welche mit 1 GiB/s bis 7 GiB/s... also was hast du da verbaut, mit welchem Adapter?
wie sind die angebunden?


Frank
Member: WildDog
WildDog May 20, 2024 at 16:09:40 (UTC)
Goto Top
Hallo an alle

Die Server sind mit 25Gbit verbunden.

Wie angebunden? NFS, SMB, iSCSi?

Per NFS aber eigentlich meinte ich an einen 25G Ubiquiti Aggregation Pro Switch...


Das klingt erst einmal doch nicht so schlecht. Es müssen ja Operationen seitens Proxmox durchgeführt werden. Für das Erstellen der VM und deren virtuellen Festplatte etc. wird ja auch etwas Zeit benötigt.

Das Ziel soll es sein, die Zeit pro Klonvorgang deutlich zu reduzieren. Egal ob ich RAIDz1 oder sogar die NVMes als Stripes setze, die Zeiten verbessern sich nicht. Selbst wenn man eine zusätzliche Proxmox VM auf dem Storage Server (TrueNAS ist Baremetal) installiert und die NIC als Bridge einrichtet, verbessert sich da nichts.


Wie sieht es aus bei einer größeren VM?
Unverändert, er kommt laut TrueNAS auf max 600 MiB/s...

Mal ein anderes Protokoll zur Verbindung gewählt?
Nein, noch nicht... Da NFS auf deutlich schlechteren Systemen bessere Ergebnisse liefert. Siehe HDD Array


Mein Proxmox Server greift auf einen Shared-Storage zu mit 4 NVME im RAIDz1.
oha...

Oha?

du mein LAN?
Korrekt

nun, der Clonvorgang braucht ja auch auch CPU zeit und Verwaltung im Proxmox!
Das stimmt, jedoch wundert es mich das mein NVMe Array und mein HDD Array pro Klonvorgang ziemlich gleiche Zeiten hat. Und ich kann mir nicht vorstellen hier Proxmox an seine Grenzen gebracht zu haben.


was sind das für NVMEs genau?
da gibbet welche mit 1 GiB/s bis 7 GiB/s... also was hast du da verbaut, mit welchem Adapter?
wie sind die angebunden?

Read 3500 MB/s - Write 3000 MB/s
Als Adapter habe ich sowohl die ASUS Hyper M.2 (x16 3.0) als auch dual x8 PCIe Adapter ausprobiert, in verschiedenen Servern und zu verschiedensten Config-Varianten...
1m32sec. bestes Ergebnis...

Liebe Grüße
Member: Vision2015
Vision2015 May 21, 2024 at 07:14:28 (UTC)
Goto Top
Moin...

Zitat von @WildDog:

Hallo an alle

Die Server sind mit 25Gbit verbunden.
Per NFS aber eigentlich meinte ich an einen 25G Ubiquiti Aggregation Pro Switch...
wie genau... das scheint mir eher 10 Gbit zu sein, bei deinen werten!
wie kommst du auf 25G?

Das Ziel soll es sein, die Zeit pro Klonvorgang deutlich zu reduzieren. Egal ob ich RAIDz1 oder sogar die NVMes als Stripes setze, die Zeiten verbessern sich nicht. Selbst wenn man eine zusätzliche Proxmox VM auf dem Storage Server (TrueNAS ist Baremetal) installiert und die NIC als Bridge einrichtet, verbessert sich da nichts.


Wie sieht es aus bei einer größeren VM?
Unverändert, er kommt laut TrueNAS auf max 600 MiB/s...
das wären werte für 10 GBit!
was sind das für NVMEs genau?
da gibbet welche mit 1 GiB/s bis 7 GiB/s... also was hast du da verbaut, mit welchem Adapter?
wie sind die angebunden?

Read 3500 MB/s - Write 3000 MB/s
ja... fein, aber was genau für NVMes?`also Hersteller und Typ?
Als Adapter habe ich sowohl die ASUS Hyper M.2 (x16 3.0) als auch dual x8 PCIe Adapter ausprobiert, in verschiedenen Servern und zu verschiedensten Config-Varianten...
1m32sec. bestes Ergebnis...
ok M2... ich bin jetzt mal U2 oder U3 ausgegangen.... also scheinst du Consumer Hardware zu nutzen!
das ASUS teil ist jedenfalls nix für einen Server, und rennt auch nicht überall!
was für einen Server hast du, und was für Nics sind dort verbaut?

Liebe Grüße

Frank
Member: WildDog
WildDog May 21, 2024 updated at 08:37:52 (UTC)
Goto Top
Hi,
Die Server sind mit 25Gbit verbunden.
Per NFS aber eigentlich meinte ich an einen 25G Ubiquiti Aggregation Pro Switch...
wie genau... das scheint mir eher 10 Gbit zu sein, bei deinen werten!
wie kommst du auf 25G?

Schau bitte kurz auf die Bilder in meinem allerersten Post, dort ist ein iperf3 Test zwischen den beiden Servern, also eine 25G Verbindung herrscht. Switch usw. ist mit @aqui in einem anderen Post vor na Weile korrekt eingerichtet.


das wären werte für 10 GBit!
Genau das ist ja das Problem - Obwohl das Netzwerk passt, Frage ich mich wo ist der Flaschenhals...


ok M2... ich bin jetzt mal U2 oder U3 ausgegangen.... also scheinst du Consumer Hardware zu nutzen!
das ASUS teil ist jedenfalls nix für einen Server, und rennt auch nicht überall!

Das würde allerdings die anderen beiden Adapter mit gleicher Geschwindigkeit nicht erklären

was für einen Server hast du, und was für Nics sind dort verbaut?

Zwei PowerEdge R730, CPUs: Dual Intel Xeon CPU E5-2680 v4
NICS: Supermicro AOC-S25G-M2S

Beides (Storage & VM Host) identische Hardware

Beste Grüße
Member: Vision2015
Vision2015 May 21, 2024 at 09:24:34 (UTC)
Goto Top
Moin,

Das würde allerdings die anderen beiden Adapter mit gleicher Geschwindigkeit nicht erklären

ist dort die gleiche Hardware verbaut also Server, Adapter und M2?
wenn du von freigabe zur freigabe (Server zu Server) kopierst, sind die werte dann besser?
wie sind auf dem anderen System die Clon zeiten?

Frank
Member: WildDog
WildDog May 21, 2024 at 09:37:15 (UTC)
Goto Top
Servus

ist dort die gleiche Hardware verbaut also Server, Adapter und M2?

Selbe Hardware, bis auf die M.2 Adapter.
Die Adapter sind nur im Storage Server verbaut und zwar 1x die ASUS Hyper M.2 und 2x die Supermicro AOC-SLG3-2M2..

wenn du von freigabe zur freigabe (Server zu Server) kopierst, sind die werte dann besser?
Die Frag verstehe ich nicht.. Proxmox greift per NFS auf den Storage (TrueNAS) zu und der Klonvorgang findet durch Proxmox statt...

wie sind auf dem anderen System die Clon zeiten?
Welches andere System? Es gibt nur die beiden Server


Beste Grüße
Member: Dani
Dani May 21, 2024 at 19:39:30 (UTC)
Goto Top
Moin,
Die Frag verstehe ich nicht.. Proxmox greift per NFS auf den Storage (TrueNAS) zu und der Klonvorgang findet durch Proxmox statt...
Es findet sowohl der Lese- als auch Schreibvorgang auf dem Storage statt. Ich würde exemplarisch einmal die zu klonende VM lokal auf einem Storage des Proxmox ablegen und anschließend nochmals den Klonvorgang starten. Hast du dann bessere Werte?


Gruß,
Dani
Member: WildDog
WildDog May 21, 2024 at 22:20:43 (UTC)
Goto Top
Zitat von @Dani:

Moin,

Hey ^^


Es findet sowohl der Lese- als auch Schreibvorgang auf dem Storage statt. Ich würde exemplarisch einmal die zu klonende VM lokal auf einem Storage des Proxmox ablegen und anschließend nochmals den Klonvorgang starten. Hast du dann bessere Werte?

Korrekt, die zeitgleichen Reads / Writes hab ich auch erst verdächtigt allerdings sollte bei den FIO Werten ja trotzdem mehr als 500-600 MB/s rumkommen... Ich hab auf die schnelle nur eine SSD zur Hand gehabt um es auf dem Proxmox zu testen und da habe ich bei 3 Klonvorgängen 1min49sek, 2min11sek und 1min53sek also auch nicht sehr viel anders als die Werte (1min30sek - 1min58sek) die ich mit dem NVMe Array über die 25 Gbit Leitung hab...


Gruß,
Dani

Beste Grüße und eine gute Nacht face-smile
Member: radiogugu
radiogugu May 22, 2024 at 07:57:09 (UTC)
Goto Top
Wie Frank und ich schonmal bemerkten, Proxmox braucht ja auch ein paar Gedenksekunden für den Klonvorgang.

Ich habe daheim XCP-NG auf einem Minisforum HM90 mit AMD 4900HS CPU und zwei Crucial MX500 1 TB SATA SSD im RAID 1 laufen. Da hat gestern ein Klonvorgang einer 50 GB Linux VM 55 Sekunden gebraucht.

Nichtsdestotrotz lesen sich deine angegebenen Zeiten als durchaus passabel.

Wie lange dauert der Vorgang denn bei einer größeren VM (> 200 GB)? Wenn du dann die Gigabyte/Sekunden vergleichst, müssten ja ähnliche Werte herauskommen.

Gruß
Marc
Member: Dani
Dani May 23, 2024 at 17:23:38 (UTC)
Goto Top
Moin,
Korrekt, die zeitgleichen Reads / Writes hab ich auch erst verdächtigt allerdings sollte bei den FIO Werten ja trotzdem mehr als 500-600 MB/s rumkommen... Ich hab auf die schnelle nur eine SSD zur Hand gehabt um es auf dem Proxmox zu testen und da habe ich bei 3 Klonvorgängen 1min49sek, 2min11sek und 1min53sek also auch nicht sehr viel anders als die Werte (1min30sek - 1min58sek) die ich mit dem NVMe Array über die 25 Gbit Leitung hab...
wie sieht es denn mit der Anbindung der SSDs aus. Du oben von Adaptern gesprochen hast. Bedeutet das, dass 2,3,4 SSDs an einem PCI Express Port hängen? Mit ZFS hast du in der Konstellation noch eine weitere Bremse.

Ich würde stupide und simpel anfangen. Lokale SSD im Proxmox. Am Besten in einem M2 Slot, welcher mit der CPU verbunden ist und das Gleiche im Storage. So dass du kein ZFS, kein Sharing, etc. hast. Werden die Werte so besser?


Gruß,
Dani
Member: WildDog
WildDog May 31, 2024 at 09:13:49 (UTC)
Goto Top
Hallo liebe Admins, sorry für die späte Antwort ^^...

Ich bin mit den Kopiergeschwindigkeiten überhaupt nicht zufrieden. Selbst wenn wir hier von 10Gbit-Speeds sprechen, empfinde ich 500-600 MB/s für ein NVMe-Array als zu langsam.

Aus diesem Grund habe ich, wie von @Dani vorgeschlagen, eine NVMe direkt in den Proxmox-Host installiert und siehe da, die Geschwindigkeiten sind immer noch ähnlich.

Ich schätze also, wie auch @Vision2015 meinte, dass hier Proxmox selbst der Flaschenhals ist. Aus diesem Grund werde ich nun "Linked Clones" ausprobieren und schauen, ob hier spürbare Nachteile auftreten. Da es "linked" VMs sind, findet kein wirklicher Kopiervorgang statt und ein Klon ist innerhalb von 3-4 Sekunden einsatzbereit.

Ich danke allen für die Tipps und die geteilten Gedanken.

Ich wünsche euch ein schönes Wochenende.
Member: Dani
Dani May 31, 2024 at 11:57:33 (UTC)
Goto Top
Moin,
Ich schätze also, wie auch @Vision2015 meinte, dass hier Proxmox selbst der Flaschenhals ist.
hast mal während des Vorgangs auf die Summery Page in der UI des Proxmox geschaut. Hast du evtl. IO Delay auf der CPU?


Gruß,
Dani
Member: WildDog
WildDog May 31, 2024 at 12:01:49 (UTC)
Goto Top
Hi Dani,
ja immer so um die 0.1 bis 0.5 aber unabhängig ob ich Klone…

Scheint mit okay oder?
Member: Dani
Dani May 31, 2024 at 20:20:58 (UTC)
Goto Top
Moin,
ja immer so um die 0.1 bis 0.5 aber unabhängig ob ich Klone…
Scheint mit okay oder?
das ist nichts. Wie sieht es zu dem Zeitpunkt auf der Gegenstelle aus?


Gruß,
Dani
Member: WildDog
WildDog May 31, 2024 at 20:27:31 (UTC)
Goto Top
Hey,
Das ist ein TrueNas Server… Da bin ich mir nicht sicher ob man es vergleichen kann aber da sind 56 Threads (2x14 Kern CPU) und so um die 8-12 Threads die aufleuchten aber die Auslastung ist immer recht gering…

Beantwortet das deine Frage?

Lg