gelöst Hyper-V VM Copy Performance innerhalb der VM

Mitglied: tobitobsn

tobitobsn (Level 1) - Jetzt verbinden

22.09.2020 um 00:32 Uhr, 818 Aufrufe, 20 Kommentare

Folgendes Situation:
Hyper-V Host mit 2xSSD (RAID1) mit OS und 2xHDD (RAID1) für Daten. Der Host hat aktuell (noch) 16GB RAM. Es läuft nur eine VM darauf mit einem AD (Win2019 Essentials). Da die OS Partition vom Host ausreichend groß ist, wird dort auch die VM OS Partition untergebracht, um die Geschwindigkeitsvorteile der SSD zu nutzen. Die Daten Partition der VM liegt dann auf der HDD Partition.

Folgendes Problem:
Wenn größere Daten in der VM kopiert werden, gibt es nach kurzer Zeit immense Geschwindigkeitseinbrüche. Besonders kopieren von der Datenpartition auf dieselbe Datenpartition bringt den Vorgang runter auf teilweise durchschnittlich 3-8MB/s und das ab dann dauerhaft für den rstlichen Kopiervorgang!

Tests mit bspw. Atto zeigen mögl. Schreib und Leseraten vom 260-280MB/s.

Also rein technisch ist der Durchsatz gut. Wo liegt hier der Hase?

gruß tobsn
Mitglied: certifiedit.net
22.09.2020 um 00:34 Uhr
Hallo,

vmtl ist der Hase tot. Aber um da genaueres zu sagen fehlen essentielle Infos, wenn du also wissen willst, wo der Hase hoppelt, hol dir einen Jäger oder es fehlen: Infos. Andererseits, du erkennst die Diskrepanz zwischen VM und OS wohl selbst? SSD/HDD?
Bitte warten ..
Mitglied: LordGurke
22.09.2020 um 07:16 Uhr
Sind das zufällig SSDs von Samsung?
Bitte warten ..
Mitglied: itisnapanto
22.09.2020 um 08:20 Uhr
Moin ,

ohne die Hardware im Detail zu kennen, bringt ein Raidcontroller / Softwareraid gerne solche Effekte.

Gruss
Bitte warten ..
Mitglied: Looser27
22.09.2020 um 08:41 Uhr
Moin,

leider sagst Du nichts über die Dateigrößen, die Du kopierst. Bei sehr vielen, sehr kleinen Dateien geht die Performance ebenfalls in den Keller.

Gruß

Looser
Bitte warten ..
Mitglied: Vision2015
22.09.2020 um 10:43 Uhr
moin..

Zitat von tobitobsn:

Folgendes Situation:
Hyper-V Host mit 2xSSD (RAID1) mit OS und 2xHDD (RAID1) für Daten. Der Host hat aktuell (noch) 16GB RAM. Es läuft nur eine VM darauf mit einem AD (Win2019 Essentials). Da die OS Partition vom Host ausreichend groß ist, wird dort auch die VM OS Partition untergebracht, um die Geschwindigkeitsvorteile der SSD zu nutzen. Die Daten Partition der VM liegt dann auf der HDD Partition.

Folgendes Problem:
Wenn größere Daten in der VM kopiert werden, gibt es nach kurzer Zeit immense Geschwindigkeitseinbrüche. Besonders kopieren von der Datenpartition auf dieselbe Datenpartition bringt den Vorgang runter auf teilweise durchschnittlich 3-8MB/s und das ab dann dauerhaft für den rstlichen Kopiervorgang!
ist klar... ich vermute das sind Desktop SSD´s... und der die Daten sind aus dem Cache raus... das verhalten wäre normal!

Tests mit bspw. Atto zeigen mögl. Schreib und Leseraten vom 260-280MB/s.
ist klar... aus dem Cache eben... obwohl 260-280MB/s. schon etwas schwach wirken....

Also rein technisch ist der Durchsatz gut. Wo liegt hier der Hase?
nä.. da ist nix gut!
was ist das für Hardware genau?

gruß tobsn
Frank
Bitte warten ..
Mitglied: NordicMike
22.09.2020, aktualisiert um 10:51 Uhr
auf dieselbe Datenpartition bringt den Vorgang runter auf teilweise durchschnittlich 3-8MB/s und das ab dann dauerhaft für den rstlichen Kopiervorgang!
ist klar... ich vermute das sind Desktop SSD´s... und der die Daten sind aus dem Cache raus... das verhalten wäre normal!
Er macht einen Performancetest mit der Datenpartition, also mit den HDDs. Aber selbst für HDD's sind 3-8MB/s ohne Cache nicht wirklich schnell.
Bitte warten ..
Mitglied: Vision2015
22.09.2020 um 12:28 Uhr
Moin
Zitat von NordicMike:

auf dieselbe Datenpartition bringt den Vorgang runter auf teilweise durchschnittlich 3-8MB/s und das ab dann dauerhaft für den rstlichen Kopiervorgang!
ist klar... ich vermute das sind Desktop SSD´s... und der die Daten sind aus dem Cache raus... das verhalten wäre normal!
Er macht einen Performancetest mit der Datenpartition, also mit den HDDs. Aber selbst für HDD's sind 3-8MB/s ohne Cache nicht wirklich schnell.
na ja.. mit MFM oder RLL wären das Top Werte

wir wissen ja nicht, was er genau verbastelt hat!

Frank
Bitte warten ..
Mitglied: tobitobsn
22.09.2020, aktualisiert um 13:40 Uhr
Moin Leute,

bitte genau lesen... SSD nur OS, HDD nur Daten. Es geht hier nur um Kopieren von der Datenpartition auf dieselbe Datenpartition (HDD) innerhalb der VM.

Es ist ein neuer Dell Server mit Server SATA SSDs (BOSS Controller) und (leider nur) Server SATA HDD (7,2er). Die Server HDDs hängen an einem H330 RAID Controller.

Filegrößen vom Test war 28GB. Probleme treten aber schon beim Kopieren von Dateien größer als 3GB auf. Darunter ist alles schick (120-140MB/s).

Die Atto Tests sind mit den größen Einstellungen gemacht worden. Heisst 32GB Größe. Trotzdem gab es keinerlei Einbrüche, alles superschnell.

Was noch wunderlicher ist aus meiner Sicht: Diese Einbrüche treten nur auf, wenn ich aktuell importierte (richtige) Daten vom Alt Server kopiere. Wenn ich mit fsutil test dateien erzeuge (egal ob eine Datei mit 20GB oder 12000 Dateien mit 100K) und diese kopiere, gibt es ebenfalls keinerlei Einbrüche. Alles stabil und schnell bei 120-140MB/s...
Bitte warten ..
Mitglied: Ex0r2k16
22.09.2020 um 14:06 Uhr
Kannst du bei dem Controller den Write Through Cache konfigurieren? Kenne das Dingen nicht. Klingt aber nach nem Cache Problem.
Bitte warten ..
Mitglied: Mad-Eye
22.09.2020 um 16:19 Uhr
Hi,

hast du genauere Infos zu den SATA-HDDs? Größe, Model etc.

Ich würde wetten die haben SMR, was dir die Performance per se verhagelt.

Gruß,
Mad-Eye
Bitte warten ..
Mitglied: tobitobsn
22.09.2020, aktualisiert um 17:58 Uhr
@Ex0r2k16: Caches im Controller sind alle deaktiviert. Aber für mich sieht das irgendwie so aus... Ich habe gerade bei weiteren Tests auch Probleme auf dem Host erkannt. Hier gibt es nach 3-5GB Datentransfer zwar so um die 40MB/s, aber diese Werte bekomme ich auch auf einem Test System mit einem Windows Storage Pool aus 4x 12 Jahre alten 5400er SATA HDDs ohne extra Controller. Irgendwas läuft nicht sauber.

@Mad-Eye: Die Platten sind TOSHIBA MG04ACA2 2TB. Offiziell nutzt Toshiba i.W.n. SMR nur bei Consumer Platten... Dies ist eine Enterprise Server HDD.
Bitte warten ..
Mitglied: goscho
LÖSUNG 22.09.2020 um 17:30 Uhr
Hallo Tobi,

Zitat von tobitobsn:
Es ist ein neuer Dell Server mit Server SATA SSDs (BOSS Controller) und (leider nur) Server SATA HDD (7,2er). Die Server HDDs hängen an einem H330 RAID Controller.
Ist ein Schreibcache eingestellt?

PERC – Performance-Bedenken für RAID-Controller ohne Cache

Beim Lesen und Schreiben auf die selbe RAID1-Partition kann es schon sein, dass das sehr langsam ist, zumal Windows den Schreibcache bei einem DC auf allen Volumes standardmäßig deaktiviert.
Bitte warten ..
Mitglied: tobitobsn
22.09.2020 um 18:22 Uhr
Moin Goscho,

tja, ich dachte, der HDD Cache wäre aktiviert, als er auf automatisch stand und hatte ihn deaktiviert - ohne Verbesserung. Vielleicht hätte ich ihn mal aktivieren sollen... Jetzt haben wir zwar keine gigantischen Werte, aber anfangen tun wir mit 180-200MB/s und es pendelt sich dann bei 50-70MB/s ein. Das ist ok, schließlich ist das High Performance Server.

Problem gelöst.
Danke an alle.
Bitte warten ..
Mitglied: goscho
22.09.2020 um 18:40 Uhr
Zitat von tobitobsn:
Das ist ok, schließlich ist das High Performance Server.
War das ironisch gemeint?
Bitte warten ..
Mitglied: tobitobsn
22.09.2020 um 19:44 Uhr
Nein, durchaus ernst gemeint. Ich denke, mit dem Controller und den Platten ist in einer VM nicht viel mehr hinzubekommen. Da hier eh in der Regel nur kleine Datenmenge hin und her geschoben werden, bleibt es meist bei 180MB/s. Das ist mehr als ausreichend.

Oder siehst du das anders?
Bitte warten ..
Mitglied: certifiedit.net
22.09.2020 um 19:47 Uhr
Zitat von goscho:

Zitat von tobitobsn:
Das ist ok, schließlich ist das High Performance Server.
War das ironisch gemeint?

Wir sind auf Administrator.de - der Name ist lt. Franks Plan ironisch, alles andere Todernst.
Bitte warten ..
Mitglied: Vision2015
22.09.2020 um 19:51 Uhr
moin...
Zitat von goscho:

Zitat von tobitobsn:
Das ist ok, schließlich ist das High Performance Server.
War das ironisch gemeint?
nein, stand so auf dem Server Karton...

Frank
Bitte warten ..
Mitglied: tobitobsn
22.09.2020, aktualisiert um 20:26 Uhr
Ach shit! Sorry, natürlich meinte ich KEIN ;) Aber auf dem Karton stand es schon glaub ich ))
Bitte warten ..
Mitglied: Ex0r2k16
23.09.2020 um 08:32 Uhr
Zitat von tobitobsn:

@Ex0r2k16: Caches im Controller sind alle deaktiviert. Aber für mich sieht das irgendwie so aus... Ich habe gerade bei weiteren Tests auch Probleme auf dem Host erkannt. Hier gibt es nach 3-5GB Datentransfer zwar so um die 40MB/s, aber diese Werte bekomme ich auch auf einem Test System mit einem Windows Storage Pool aus 4x 12 Jahre alten 5400er SATA HDDs ohne extra Controller. Irgendwas läuft nicht sauber.

Kannst du da einen Schreib Cache anschalten? Selbst 180MB/s sind nicht gerade flott. Das machen meine uralt 3TB Red an nem p420 mit 2GB FWB Cache locker. Schalte ich den Cache ab, habe ich ca. 30 Sek vollgas und danach ebenfalls 40MB/s

Bitte warten ..
Mitglied: tobitobsn
23.09.2020, aktualisiert 24.09.2020
Nein, der H330 hat keinen Speicher und keine Batterie. Daher nur Durchschreiben möglich. Ist halt nie als Performance Gerät gedacht gewesen...
Bitte warten ..
Heiß diskutierte Inhalte
Router & Routing
Wireguard VPN (oder andere alternative) - Kompletter Traffic routen
gelöst KodaCHFrageRouter & Routing15 Kommentare

Guten Morgen Ich habe bisher mit OpenVPN und mit Wireguard VPN einige Tests gemacht. OpenVPN (Kostenlose Version): Hier habe ...

Server-Hardware
Konfiguration und Stromverbrauch ML350 Gen10
kosta88FrageServer-Hardware13 Kommentare

Hallo, ich versuche mal zu berechnen was ein ML350 verbrauchen würde. Ich weiß dass es von der Konfiguration und ...

Server
Kein Zugriff auf NAS bei DS Lite
martingerdesFrageServer11 Kommentare

Hallo liebe Gemeinde, dieses Thema kennen wahrscheinlich viele und ich selbst habe schon viele Forenbeiträge zu diesem Thema gelesen. ...

Windows Server
Hyper-V Server vs Datacenter?
holliknolliFrageWindows Server10 Kommentare

Hallo, hat jemand Erfahrung mit dem - kostenlosen - Hyper-V-Server? Ich meine, warum teure Lizenzen für Datacenter zahlen, wenn ...

Grafikkarten & Monitore
Grafikkarte kaputt? Hier muss noch etwas hin, weil der andere Titel schon vergeben ist :)
Sir.classicFrageGrafikkarten & Monitore9 Kommentare

Hallo an alle, ich habe einen selbst gebauten PC und mein Problem ist, dass meine Monitore regelmäßig (alle 3h) ...

LAN, WAN, Wireless
Spanning Tree Probleme
predator66FrageLAN, WAN, Wireless9 Kommentare

Hallo, wir haben hier eigenartige Spanningtree Probleme, die wir zur Zeit nicht gelöst bekommen: New Root Port MAC ist ...

Ähnliche Inhalte
Hyper-V
Hyper-V VM Umzug
BytedreherFrageHyper-V3 Kommentare

Hallo zusammen, ich möchte meinen virtuellen DC (Server2012) von aktuell Hyper-V Host (Server2012) auf meinen neuen Hyper-V Host (Server2012R2) ...

Hyper-V
Hyper V VM verkleinern
gelöst bytetixFrageHyper-V2 Kommentare

Hallo zusammen, einer unserer Hyper V Hostserver hat nur noch 150 GB freien Space, daher wollte ich von einer ...

Hyper-V
Netzwerkaussetzer in Hyper-V VM
gelöst SnuffchenFrageHyper-V8 Kommentare

Hallo zusammen, ich habe hier eine Testmaschine mit Intel Xeon E5 2620 v2 auf einem Supermicro X9SRRH-7F/7TF Mainboard. Netzwerkkarte ...

Hyper-V
Hyper-V Einstellungen Arbeitsspeicher VM
gelöst MartyMcFlurry90FrageHyper-V4 Kommentare

Hallo alle zusammen! Ich sitze gerade vor dem Hyper-V und stelle mir eine Frage bei der ich in TechNet ...

Windows Server
Hyper-V VM vorm Admin absichern
MarabuntaFrageWindows Server19 Kommentare

Hallo, wie bekomme ich eine VM in WS 2012 Hyper-V soweit abgetrennt, dass ein Admin ohne Passwort keinen (leichten) ...

Debian
Debian VM in Hyper-V clonen
gelöst lcer00FrageDebian9 Kommentare

Hallo zusammen, Verzeiht die dumme Frage, habe mehr mit Windows als mit Linux zu tun ich habe mir auf ...

Berechtigungs- und IdentitätsmanagementBerechtigungs- und IdentitätsmanagementWebdienste und -serverWebdienste und -serverDatenbankenDatenbankenMonitoring & SupportMonitoring & SupportHybrid CloudHybrid CloudSmall Business ITSmall Business IT