Proxmox Daten kopieren - Geschwindigkeit

Ich habe in meinem Proxmox ein ZFS Mirror mit zwei 2.5 SSD Platten, und ein RAIDZ1 mit vier normalen Festplatten.

Das Kopieren über SSH von einer VM auf meinen lokalen PC dauert ewig, Wenn ich auf der VM Dateien kopiere dauert es seltsamerweise auch nach meiner Meinung nach überdurchschnittlich Lange. Ich sehe jedoch das problem / den fehler nicht, da die SSD und die normale HDD wohl sehr ähnlich zu sein scheint.

Beides sind Mountpoints in einem LXC Container, und die Statistik sieht nicht aus als Ram oder Cpu ausgelastet wären.

Daten der HDD:

# time cp -r Test Test2
real	1m2.592s
user	0m0.094s
sys	0m14.816s

# time cp -r Test Test3
real	1m5.062s
user	0m0.076s
sys	0m14.932s

# du -sh Test
17G	Test

Daten der SSD:

# time cp -r Test Test2
real	0m56.687s
user	0m0.077s
sys	0m12.605s

# time cp -r Test Test3
real	0m57.974s
user	0m0.076s
sys	0m12.625s

# du -sh Test
17G	Test

Ich finde es schon speziell das die SSD nicht wirklich schneller ist, und generell weshalb es so langsam ist. Wenn ich auf meinem MacBook ein Ordner mit 300 GB Kopiere (Die selben Daten aber der komplette Satz(, dauert dies wenige Sekunden.
Müsste da im Container nicht auch trotzdem etwas mehr Geschwindigkeit möglich sein'

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 13348370483

Url: https://administrator.de/forum/proxmox-daten-kopieren-geschwindigkeit-13348370483.html

Ausgedruckt am: 25.12.2024 um 13:12 Uhr

5 Kommentare

Neuester Kommentar

Hi
nun deine "Daten" sind nicht Aussagekräftig...
Keinerlei Angabe wie des System Ausgelastet ist (Zugriffe ect)...
Hilfreicher wäre da schon die Kopiergeschwindigkeit gewesen...
Kannst ja deine Copy Versuche nochmal machen und dabei zb Glances Beobachten was so heraussticht für dein Mangel ? ....

Hallo,

Zitat von @KodaCH:
Ich finde es schon speziell das die SSD nicht wirklich schneller ist,

Vielleicht ist die ja schneller, aber wird von deiner Hardware/USB/Seriell ausgebremst. Und was soll daran speziell sein?

und generell weshalb es so langsam ist.

Langsam ist relativ. Mit Autos schneller als 40 km/h zu fahren galt mal als undurchführbar.

(Die selben Daten aber der komplette Satz(,

Was soll uns der Satz sagen?!?

Müsste da im Container nicht auch trotzdem etwas mehr Geschwindigkeit möglich sein'

Wenn du uns ja noch mitteilen würdest mit welcher Hard/Schnittstellen usw. dein System bestückt bzw. ausgestattet ist könntest du andere Antworten als "Dein Steinmetz der deine Daten in Stein meisselt ist halt langsamer als wenn du eine Schiefertafel nutzen würdest" oder "Nachts ist es kälter als draussen" erwarten.

Gruss,
Peter

Danke euch für eure Antworte.
Sorry ich ging eher davon aus es gibt eventuell gewisse Parameter die ich im ZFS prüfen könnte, wobei ich eben mal noch aus Interesse den Parameter sync=disabled getestet habe das wohl bei einige massive Geschwindigkeitsverbesserungen gab (Mal abgesehen von deN Risiken). Aber das war nicht nennenswert bei den HDDs.

Was soll uns der Satz sagen?!?

Da ging es mir mehr darum, dass es auf einem Lokalen Gerät mit 300 GB keine 10 Sekunden geht, und es die identischen Daten sind wie bei meinem Testlauf einfach eben alle und nicht nur 17 GB.

Es handelt sich um ein Gigabyte MC12-LE0. Sowohl die zwei SSDs im Mirror (Enterprise SSD 860 DCT) als auch die vier HDDs im ZRAID1 (Seagate IronWolf 12TB). Ich dachte zuerst das es eventuell das ZRAID ist und es etwas unglücklich konfiguriert sein könnte. Daher habe ich es dann aber zuerst auf den SSDs getestet.
Das System hat 64 GB RAM und 16 Kerne.
Die CPU Auslastung liegt gesamt meist bei unter 1%, die RAM Auslastung mit den zuweisungen bei knapp 35%

Edit: rpool hat eine Auslastung von ca.. 33% (Wobei ohne meine Tests nur 10%), und der Datenpool unter 5%. Die HDDs sind sicher nicht mehr die besten und müssen ausgetauscht werden. Aber da die SSDs auch solche Werte ausgeben suche ich erst einmal was da los sein könnte bevor neue Platten kommen.

Die Angabe mit time ist sowohl im LXC Container als auch in der Shell von Proxmox identisch.
Ich glaube langsam ich habe auch ein Überlegungsfehler.

Rsync gibt mir eigentlich einen ganz guten Wert raus.
sent 18.02G bytes received 2.11K bytes 288.39M bytes/sec
total size is 18.02G speedup is 1.00

Ich glaube ich vergleich da was falsches nur weil die SSD nicht wirklich schneller ist. Sorry
Selbst ein Rsync von einer VM auf meinen lokalen PC mit WLAN ist der Schnitt bei 40M bytes/sec was ohne Vergleichswerte zu haben eigentlich auch ganz ok sein dürfte
sent 2,08K bytes received 18,02G bytes 41,67M bytes/sec
total size is 18,02G speedup is 1,00

Hallo,

Zitat von @KodaCH:
Da ging es mir mehr darum, dass es auf einem Lokalen Gerät mit 300 GB keine 10 Sekunden geht, und es die identischen Daten sind wie bei meinem Testlauf einfach eben alle und nicht nur 17 GB.

Ich meinte dein "Die selben Daten aber der komplette Satz" und da dein "aber der komplette Satz", verstehe ich nicht.

Es handelt sich um ein Gigabyte MC12-LE0.

Hat doch nur SATA und keine NvME. Warum soll dann deine SSD spürbar schneller sein? Vodoo, Zauiber, Weil Paul es sagt? Eine sehr schnelle SSD am USB bleibt trotzdem langsam - und jetzt schau dir dein System an und deine Frage stellt sich gar nicht.
Und deine SATA Ports können max. 6Gb/s, da langweilen sich die SSDs.

im ZRAID1

Hast du denn ZRAID1 oder doch nur ein RAIDZ1?
Und auch das schmeissen mit Markennamen macht es nicht schneller oder besser. Dein MB ist einfach nicht dafür gedacht deine Erwartung zu erfüllen.

Ich glaube ich vergleich da was falsches

Nur weil du 1 million EuroCent hast bist du noch nicht reich