tobitobsn
Goto Top

Hyper-V VM Copy Performance innerhalb der VM

Folgendes Situation:
Hyper-V Host mit 2xSSD (RAID1) mit OS und 2xHDD (RAID1) für Daten. Der Host hat aktuell (noch) 16GB RAM. Es läuft nur eine VM darauf mit einem AD (Win2019 Essentials). Da die OS Partition vom Host ausreichend groß ist, wird dort auch die VM OS Partition untergebracht, um die Geschwindigkeitsvorteile der SSD zu nutzen. Die Daten Partition der VM liegt dann auf der HDD Partition.

Folgendes Problem:
Wenn größere Daten in der VM kopiert werden, gibt es nach kurzer Zeit immense Geschwindigkeitseinbrüche. Besonders kopieren von der Datenpartition auf dieselbe Datenpartition bringt den Vorgang runter auf teilweise durchschnittlich 3-8MB/s und das ab dann dauerhaft für den rstlichen Kopiervorgang!

Tests mit bspw. Atto zeigen mögl. Schreib und Leseraten vom 260-280MB/s.

Also rein technisch ist der Durchsatz gut. Wo liegt hier der Hase?

gruß tobsn

Content-ID: 606568

Url: https://administrator.de/contentid/606568

Ausgedruckt am: 25.11.2024 um 01:11 Uhr

certifiedit.net
certifiedit.net 22.09.2020 um 00:34:18 Uhr
Goto Top
Hallo,

vmtl ist der Hase tot. Aber um da genaueres zu sagen fehlen essentielle Infos, wenn du also wissen willst, wo der Hase hoppelt, hol dir einen Jäger oder es fehlen: Infos. Andererseits, du erkennst die Diskrepanz zwischen VM und OS wohl selbst? SSD/HDD?
LordGurke
LordGurke 22.09.2020 um 07:16:25 Uhr
Goto Top
Sind das zufällig SSDs von Samsung?
itisnapanto
itisnapanto 22.09.2020 um 08:20:26 Uhr
Goto Top
Moin ,

ohne die Hardware im Detail zu kennen, bringt ein Raidcontroller / Softwareraid gerne solche Effekte.

Gruss
Looser27
Looser27 22.09.2020 um 08:41:12 Uhr
Goto Top
Moin,

leider sagst Du nichts über die Dateigrößen, die Du kopierst. Bei sehr vielen, sehr kleinen Dateien geht die Performance ebenfalls in den Keller.

Gruß

Looser
Vision2015
Vision2015 22.09.2020 um 10:43:53 Uhr
Goto Top
moin..

Zitat von @tobitobsn:

Folgendes Situation:
Hyper-V Host mit 2xSSD (RAID1) mit OS und 2xHDD (RAID1) für Daten. Der Host hat aktuell (noch) 16GB RAM. Es läuft nur eine VM darauf mit einem AD (Win2019 Essentials). Da die OS Partition vom Host ausreichend groß ist, wird dort auch die VM OS Partition untergebracht, um die Geschwindigkeitsvorteile der SSD zu nutzen. Die Daten Partition der VM liegt dann auf der HDD Partition.

Folgendes Problem:
Wenn größere Daten in der VM kopiert werden, gibt es nach kurzer Zeit immense Geschwindigkeitseinbrüche. Besonders kopieren von der Datenpartition auf dieselbe Datenpartition bringt den Vorgang runter auf teilweise durchschnittlich 3-8MB/s und das ab dann dauerhaft für den rstlichen Kopiervorgang!
ist klar... ich vermute das sind Desktop SSD´s... und der die Daten sind aus dem Cache raus... das verhalten wäre normal!

Tests mit bspw. Atto zeigen mögl. Schreib und Leseraten vom 260-280MB/s.
ist klar... aus dem Cache eben... obwohl 260-280MB/s. schon etwas schwach wirken....

Also rein technisch ist der Durchsatz gut. Wo liegt hier der Hase?
nä.. da ist nix gut!
was ist das für Hardware genau?

gruß tobsn
Frank
NordicMike
NordicMike 22.09.2020 aktualisiert um 10:51:17 Uhr
Goto Top
auf dieselbe Datenpartition bringt den Vorgang runter auf teilweise durchschnittlich 3-8MB/s und das ab dann dauerhaft für den rstlichen Kopiervorgang!
ist klar... ich vermute das sind Desktop SSD´s... und der die Daten sind aus dem Cache raus... das verhalten wäre normal!
Er macht einen Performancetest mit der Datenpartition, also mit den HDDs. Aber selbst für HDD's sind 3-8MB/s ohne Cache nicht wirklich schnell.
Vision2015
Vision2015 22.09.2020 um 12:28:06 Uhr
Goto Top
Moin
Zitat von @NordicMike:

auf dieselbe Datenpartition bringt den Vorgang runter auf teilweise durchschnittlich 3-8MB/s und das ab dann dauerhaft für den rstlichen Kopiervorgang!
ist klar... ich vermute das sind Desktop SSD´s... und der die Daten sind aus dem Cache raus... das verhalten wäre normal!
Er macht einen Performancetest mit der Datenpartition, also mit den HDDs. Aber selbst für HDD's sind 3-8MB/s ohne Cache nicht wirklich schnell.
na ja.. mit MFM oder RLL wären das Top Werte face-smile

wir wissen ja nicht, was er genau verbastelt hat!

Frank
tobitobsn
tobitobsn 22.09.2020 aktualisiert um 13:40:03 Uhr
Goto Top
Moin Leute,

bitte genau lesen... SSD nur OS, HDD nur Daten. Es geht hier nur um Kopieren von der Datenpartition auf dieselbe Datenpartition (HDD) innerhalb der VM.

Es ist ein neuer Dell Server mit Server SATA SSDs (BOSS Controller) und (leider nur) Server SATA HDD (7,2er). Die Server HDDs hängen an einem H330 RAID Controller.

Filegrößen vom Test war 28GB. Probleme treten aber schon beim Kopieren von Dateien größer als 3GB auf. Darunter ist alles schick (120-140MB/s).

Die Atto Tests sind mit den größen Einstellungen gemacht worden. Heisst 32GB Größe. Trotzdem gab es keinerlei Einbrüche, alles superschnell.

Was noch wunderlicher ist aus meiner Sicht: Diese Einbrüche treten nur auf, wenn ich aktuell importierte (richtige) Daten vom Alt Server kopiere. Wenn ich mit fsutil test dateien erzeuge (egal ob eine Datei mit 20GB oder 12000 Dateien mit 100K) und diese kopiere, gibt es ebenfalls keinerlei Einbrüche. Alles stabil und schnell bei 120-140MB/s...
Ex0r2k16
Ex0r2k16 22.09.2020 um 14:06:52 Uhr
Goto Top
Kannst du bei dem Controller den Write Through Cache konfigurieren? Kenne das Dingen nicht. Klingt aber nach nem Cache Problem.
Mad-Eye
Mad-Eye 22.09.2020 um 16:19:58 Uhr
Goto Top
Hi,

hast du genauere Infos zu den SATA-HDDs? Größe, Model etc.

Ich würde wetten die haben SMR, was dir die Performance per se verhagelt.

Gruß,
Mad-Eye
tobitobsn
tobitobsn 22.09.2020 aktualisiert um 17:58:07 Uhr
Goto Top
@Ex0r2k16: Caches im Controller sind alle deaktiviert. Aber für mich sieht das irgendwie so aus... Ich habe gerade bei weiteren Tests auch Probleme auf dem Host erkannt. Hier gibt es nach 3-5GB Datentransfer zwar so um die 40MB/s, aber diese Werte bekomme ich auch auf einem Test System mit einem Windows Storage Pool aus 4x 12 Jahre alten 5400er SATA HDDs ohne extra Controller. Irgendwas läuft nicht sauber.

@Mad-Eye: Die Platten sind TOSHIBA MG04ACA2 2TB. Offiziell nutzt Toshiba i.W.n. SMR nur bei Consumer Platten... Dies ist eine Enterprise Server HDD.
goscho
Lösung goscho 22.09.2020 um 17:30:52 Uhr
Goto Top
Hallo Tobi,

Zitat von @tobitobsn:
Es ist ein neuer Dell Server mit Server SATA SSDs (BOSS Controller) und (leider nur) Server SATA HDD (7,2er). Die Server HDDs hängen an einem H330 RAID Controller.
Ist ein Schreibcache eingestellt?

PERC – Performance-Bedenken für RAID-Controller ohne Cache

Beim Lesen und Schreiben auf die selbe RAID1-Partition kann es schon sein, dass das sehr langsam ist, zumal Windows den Schreibcache bei einem DC auf allen Volumes standardmäßig deaktiviert.
tobitobsn
tobitobsn 22.09.2020 um 18:22:34 Uhr
Goto Top
Moin Goscho,

tja, ich dachte, der HDD Cache wäre aktiviert, als er auf automatisch stand und hatte ihn deaktiviert - ohne Verbesserung. Vielleicht hätte ich ihn mal aktivieren sollen... Jetzt haben wir zwar keine gigantischen Werte, aber anfangen tun wir mit 180-200MB/s und es pendelt sich dann bei 50-70MB/s ein. Das ist ok, schließlich ist das High Performance Server.

Problem gelöst.
Danke an alle.
goscho
goscho 22.09.2020 um 18:40:57 Uhr
Goto Top
Zitat von @tobitobsn:
Das ist ok, schließlich ist das High Performance Server.
War das ironisch gemeint?
tobitobsn
tobitobsn 22.09.2020 um 19:44:30 Uhr
Goto Top
Nein, durchaus ernst gemeint. Ich denke, mit dem Controller und den Platten ist in einer VM nicht viel mehr hinzubekommen. Da hier eh in der Regel nur kleine Datenmenge hin und her geschoben werden, bleibt es meist bei 180MB/s. Das ist mehr als ausreichend.

Oder siehst du das anders?
certifiedit.net
certifiedit.net 22.09.2020 um 19:47:38 Uhr
Goto Top
Zitat von @goscho:

Zitat von @tobitobsn:
Das ist ok, schließlich ist das High Performance Server.
War das ironisch gemeint?

Wir sind auf Administrator.de - der Name ist lt. Franks Plan ironisch, alles andere Todernst.
Vision2015
Vision2015 22.09.2020 um 19:51:42 Uhr
Goto Top
moin...
Zitat von @goscho:

Zitat von @tobitobsn:
Das ist ok, schließlich ist das High Performance Server.
War das ironisch gemeint?
nein, stand so auf dem Server Karton...

Frank
tobitobsn
tobitobsn 22.09.2020 aktualisiert um 20:26:04 Uhr
Goto Top
Ach shit! Sorry, natürlich meinte ich KEIN ;) Aber auf dem Karton stand es schon glaub ich face-smile))
Ex0r2k16
Ex0r2k16 23.09.2020 um 08:32:07 Uhr
Goto Top
Zitat von @tobitobsn:

@Ex0r2k16: Caches im Controller sind alle deaktiviert. Aber für mich sieht das irgendwie so aus... Ich habe gerade bei weiteren Tests auch Probleme auf dem Host erkannt. Hier gibt es nach 3-5GB Datentransfer zwar so um die 40MB/s, aber diese Werte bekomme ich auch auf einem Test System mit einem Windows Storage Pool aus 4x 12 Jahre alten 5400er SATA HDDs ohne extra Controller. Irgendwas läuft nicht sauber.

Kannst du da einen Schreib Cache anschalten? Selbst 180MB/s sind nicht gerade flott. Das machen meine uralt 3TB Red an nem p420 mit 2GB FWB Cache locker. Schalte ich den Cache ab, habe ich ca. 30 Sek vollgas und danach ebenfalls 40MB/s

face-smile
tobitobsn
tobitobsn 23.09.2020, aktualisiert am 24.09.2020 um 08:20:57 Uhr
Goto Top
Nein, der H330 hat keinen Speicher und keine Batterie. Daher nur Durchschreiben möglich. Ist halt nie als Performance Gerät gedacht gewesen...