17
Benchmark nicht valide oder VM Layer Bottleneck vorhanden
Hallo zusammen,
im Zuge der Anschaffung einer neuen Datenbank Software setzt der Hersteller zum Benchmarken den ATTO Disk Benchmark ein (mit default Settings starten).
Hier werden Werte von 20.000 IOPs im 8k Bereich erwartet.
Unsere aktuelle Infrastruktur:
Die zugehörigen VMs laufen auf zwei dedizierten ESX 7 Servern (DELL PowerEdge R750)
Angebunden mit 2x 10GBE iSCSi an ein Pure X50 FullFlash Array (laut Specs 300.000 IOPs bei 32k)
Der ATTO Benchmark liefert nun ca 6.000 IOPs bei 8k. Damit erfordern wir also nicht die Anforderungen.
Teil des Projektes ist auch eine Datenbank Konvertierung die aufgrund der Größe ca 1 Woche laufen würde.
Um dies zu beschleunigen haben wir in einen der beiden Server eine 3.2 TB Samsung PM1735 NVMe verbaut (8GB/s lesen, 1.5 Mio IOPs), VMFS 6 Volume erstellt und die VM als ganzes per Storage Migration darauf verschoben
Auch hier liefert der ATTO Benchmark nur 14.000 IOPs bei 8k.
Auf einem Baremetal Windows Server komme ich bei einem RAID5 SSD Volume auf Werte von 46.000 IOPs bei 8k
Nun zu meinen ganzen Fragen:
Ist ein solcher Benchmark (mit den Default Settings) in einer VM überhaupt valide?
Gibt es ESXi Settings die einen solchen Gap beheben würden?
Welche Ergebnisse erzielt ihr?
Da auch die IOPs auf der lokalen NVME nicht anzukommen scheinen, habe ich meine Fehlersuche nicht am iSCSI angesetzt.
Die VM hat bereits einen virtuellen NVME Controller. Unterschiede sind nur marginal.
Anzahl CPU, Sockel und RAM hatten auch keinen Einfluss auf das Ergebnis.
Ressourcen Profile, die etwas beschneiden könnten, sind auch nicht aktiv konfiguriert worden.
Und jetzt bräuchte ich etwas Erleuchtung…
im Zuge der Anschaffung einer neuen Datenbank Software setzt der Hersteller zum Benchmarken den ATTO Disk Benchmark ein (mit default Settings starten).
Hier werden Werte von 20.000 IOPs im 8k Bereich erwartet.
Unsere aktuelle Infrastruktur:
Die zugehörigen VMs laufen auf zwei dedizierten ESX 7 Servern (DELL PowerEdge R750)
Angebunden mit 2x 10GBE iSCSi an ein Pure X50 FullFlash Array (laut Specs 300.000 IOPs bei 32k)
Der ATTO Benchmark liefert nun ca 6.000 IOPs bei 8k. Damit erfordern wir also nicht die Anforderungen.
Teil des Projektes ist auch eine Datenbank Konvertierung die aufgrund der Größe ca 1 Woche laufen würde.
Um dies zu beschleunigen haben wir in einen der beiden Server eine 3.2 TB Samsung PM1735 NVMe verbaut (8GB/s lesen, 1.5 Mio IOPs), VMFS 6 Volume erstellt und die VM als ganzes per Storage Migration darauf verschoben
Auch hier liefert der ATTO Benchmark nur 14.000 IOPs bei 8k.
Auf einem Baremetal Windows Server komme ich bei einem RAID5 SSD Volume auf Werte von 46.000 IOPs bei 8k
Nun zu meinen ganzen Fragen:
Ist ein solcher Benchmark (mit den Default Settings) in einer VM überhaupt valide?
Gibt es ESXi Settings die einen solchen Gap beheben würden?
Welche Ergebnisse erzielt ihr?
Da auch die IOPs auf der lokalen NVME nicht anzukommen scheinen, habe ich meine Fehlersuche nicht am iSCSI angesetzt.
Die VM hat bereits einen virtuellen NVME Controller. Unterschiede sind nur marginal.
Anzahl CPU, Sockel und RAM hatten auch keinen Einfluss auf das Ergebnis.
Ressourcen Profile, die etwas beschneiden könnten, sind auch nicht aktiv konfiguriert worden.
Und jetzt bräuchte ich etwas Erleuchtung…
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 4743956910
Url: https://administrator.de/contentid/4743956910
Ausgedruckt am: 18.11.2024 um 21:11 Uhr
17 Kommentare
Neuester Kommentar
Nein. Big Bullshit.
Wie ist das iSCSI genau konfiguriert und verbunden?
Wie ist das iSCSI genau konfiguriert und verbunden?
Hallo
Heisst das, das wir wirklich ein Performance Problem haben? Merken tun wir davon nix.
Ich verstehe nicht warum der Benchmark auf dem Barematel Server so ganz anders aussieht.
Gruß
Zitat von @2423392070:
Nein. Big Bullshit.
auf was beziehst du das?Nein. Big Bullshit.
Zitat von @2423392070:
Wie ist das iSCSI genau konfiguriert und verbunden?
Kurzantwort: laut Best Practices. dediszierte vSwitch mit 2 dediszierten NICS im dedizierten VLAN. 2 Kernel Ports. + Portbinding > auf der VMWare Seite.Wie ist das iSCSI genau konfiguriert und verbunden?
Heisst das, das wir wirklich ein Performance Problem haben? Merken tun wir davon nix.
Ich verstehe nicht warum der Benchmark auf dem Barematel Server so ganz anders aussieht.
Gruß
Das Benchmark Tool ist schon witzig.
Welche Switches sind wie konfiguriert? Selbiges Frage ich für die Hosts.
Welche Switches sind wie konfiguriert? Selbiges Frage ich für die Hosts.
Hallo
Ausser dass das Tool diese Werte liefert, haben wir keine Probleme. Alles läuft erwartungsgemäß flott.
Da auch die NMVe Ergebnisse schlecheter sind, als der Hersteller erwartet, würde ich iSCSI erst gar nicht in meine Fehlersuche einschließen.
Gruß und Danke
Zitat von @2423392070:
Das Benchmark Tool ist schon witzig.
Warum?Das Benchmark Tool ist schon witzig.
Zitat von @2423392070:
Welche Switches sind wie konfiguriert? Selbiges Frage ich für die Hosts.
Cisco Nexus. JumboFrames. AccessPort im iSCSi VLAN.Welche Switches sind wie konfiguriert? Selbiges Frage ich für die Hosts.
Ausser dass das Tool diese Werte liefert, haben wir keine Probleme. Alles läuft erwartungsgemäß flott.
Da auch die NMVe Ergebnisse schlecheter sind, als der Hersteller erwartet, würde ich iSCSI erst gar nicht in meine Fehlersuche einschließen.
Gruß und Danke
Die Realität im SAN Access wird durch das Tool nicht erfasst.
Wie sind die Hosts genau konfiguriert?
Wie sind die Hosts genau konfiguriert?
Hallo,
Aber das hätte doch mit der NVMe nichts zu tun.
Wie sind die Hosts genau konfiguriert?
Im Bezug auf die NMVe Karte? oder welches Setting meinst du genau?
Nicht dass wir aneinander vorbei reden. Die Werte für die NVMe Karte sind in der VM schon schlechter als die Anforderung. Ohne dass überhaupt ein SAN genutzt würde.
Die Werte auf dem Baremetal Windows sehen deutlich besser aus. Die Frage: warum?
Ist das nur bei uns so? Hast du ähnliche Werte.
Leider habe ich zu diesem Tool keine Referenzwerte finden können
Welches nutz ihr?
Gruß und Danke
Zitat von @2423392070:
Die Realität im SAN Access wird durch das Tool nicht erfasst.
Wie meinst du das? Welches Tools nutzt du dazu?Die Realität im SAN Access wird durch das Tool nicht erfasst.
Aber das hätte doch mit der NVMe nichts zu tun.
Wie sind die Hosts genau konfiguriert?
Nicht dass wir aneinander vorbei reden. Die Werte für die NVMe Karte sind in der VM schon schlechter als die Anforderung. Ohne dass überhaupt ein SAN genutzt würde.
Die Werte auf dem Baremetal Windows sehen deutlich besser aus. Die Frage: warum?
Ist das nur bei uns so? Hast du ähnliche Werte.
Leider habe ich zu diesem Tool keine Referenzwerte finden können
Welches nutz ihr?
Gruß und Danke
Wir nutzen IOMeter. Teilweise mit hunderten Workern.
Wir wissen aber auch über unsere SAN bescheid.
Stichwort Anzahl Warteschlange, Paketgrößen und deren Verteilung und Latenzen.
Deine Hosts haben keine zufällige Konfig der HBA/CNAs.
Da kann man ganz viel nicht konfigurieren und offensichtlich auch nicht wissen.
Wir wissen aber auch über unsere SAN bescheid.
Stichwort Anzahl Warteschlange, Paketgrößen und deren Verteilung und Latenzen.
Deine Hosts haben keine zufällige Konfig der HBA/CNAs.
Da kann man ganz viel nicht konfigurieren und offensichtlich auch nicht wissen.
Hallo,
für die ESX Host Config zum SAN gibt es entsprechend Settings, Scripts und Plugins. welche wir auch immer durchgehen und umsetzen. Kurzfassung bislang: Unser SAN langweilt sich. Wir haben 16 ESX Hosts mit ca 300 VMs und 14 XEN Server mit ca 200 VDIs drauf laufen. Es gibt für uns keinen merklichen Performance engpass.
Kein echter Test, aber Filecopies laufen mit 1GByte/s. Backups ziehen wir mit 2 GByte/s vom SAN
Nur dieser Benchmark hier sagt was anderes.
Und nochmals: auch auf der lokalen NVMe Karte! Und damit hat es nix mit SAN, iSCSI, HBAs oder NICs zu tun.
Unter ESXi hab ich nix zum konfigurieren der NVMe finden können.
Könntest du mir mal ein IOMeter Setting zukommen lassen?
Dann hätte ich mal nen Vergleichswert.
Danke
für die ESX Host Config zum SAN gibt es entsprechend Settings, Scripts und Plugins. welche wir auch immer durchgehen und umsetzen. Kurzfassung bislang: Unser SAN langweilt sich. Wir haben 16 ESX Hosts mit ca 300 VMs und 14 XEN Server mit ca 200 VDIs drauf laufen. Es gibt für uns keinen merklichen Performance engpass.
Kein echter Test, aber Filecopies laufen mit 1GByte/s. Backups ziehen wir mit 2 GByte/s vom SAN
Nur dieser Benchmark hier sagt was anderes.
Und nochmals: auch auf der lokalen NVMe Karte! Und damit hat es nix mit SAN, iSCSI, HBAs oder NICs zu tun.
Unter ESXi hab ich nix zum konfigurieren der NVMe finden können.
Könntest du mir mal ein IOMeter Setting zukommen lassen?
Dann hätte ich mal nen Vergleichswert.
Danke
Ich glaube unsere Templates sagen weniger für euch aus?
Wir testen damit 12x25GBit über Low latancy FCoE Switches auf das SAN.
Die Frage ist eigentlich, wie die Paketgrößen sind.
Dann legst du worker an und skalierst bis etwas auffällt.
Weißt du überhaupt wie viele Warteschlangen in Warteschlangen möglich sind im Moment?
Wie die Pfade sich dabei belegen?
https://virtunetsystems.com/how-does-queue-depth-affect-latency-and-iops ...
Wir testen damit 12x25GBit über Low latancy FCoE Switches auf das SAN.
Die Frage ist eigentlich, wie die Paketgrößen sind.
Dann legst du worker an und skalierst bis etwas auffällt.
Weißt du überhaupt wie viele Warteschlangen in Warteschlangen möglich sind im Moment?
Wie die Pfade sich dabei belegen?
https://virtunetsystems.com/how-does-queue-depth-affect-latency-and-iops ...
Hallo,
über diesen Artikel bin ich lustigerweise gestern auch schonmal gestolpert.
Allerdings geht's ja rein ums SAN und dessen Opitmierung. Bei einer lokalen NVMe spielt das doch kein Rolle
ODER?
Wenn ich die Queue Depth im ATTO auf 128 erhöhe, verbessern sich die 8k Werte auf 90.000 IOPs auf die NVMe
Aber das alles hilft mir nichts, wenn der Hersteller andere Vorgaben macht bzw sagt, bei anderen Kunden sind die Werte viel besser (Beweis steht noch aus).
Und jetzt fehlt mir der Vergleich.
Das Verhältnis von SSD, SAS HDD, SATA HDD und NVME innerhalb einer VM spiegelt sich wieder.
Wäre jetzt der Baremetal Windows Server nicht so viel anders...
Gruß
über diesen Artikel bin ich lustigerweise gestern auch schonmal gestolpert.
Allerdings geht's ja rein ums SAN und dessen Opitmierung. Bei einer lokalen NVMe spielt das doch kein Rolle
ODER?
Wenn ich die Queue Depth im ATTO auf 128 erhöhe, verbessern sich die 8k Werte auf 90.000 IOPs auf die NVMe
Aber das alles hilft mir nichts, wenn der Hersteller andere Vorgaben macht bzw sagt, bei anderen Kunden sind die Werte viel besser (Beweis steht noch aus).
Und jetzt fehlt mir der Vergleich.
Das Verhältnis von SSD, SAS HDD, SATA HDD und NVME innerhalb einer VM spiegelt sich wieder.
Wäre jetzt der Baremetal Windows Server nicht so viel anders...
Gruß
Die nvme ist doch kein Vergleich.
Du suchst deine IOPS die dein SAN wohl kann.
Du suchst deine IOPS die dein SAN wohl kann.
Doch und nicht ganz, 
ich möchte wissen warum die Ergebnisse des ATTO Benchmarks so sind wie sie sind.
Hersteller sagt 20.000 IOPs bei Queue Depth 4 im 8K Bereich erforderlich
Die VM auf der NVMe liefert weniger.
Der Windows Hardware Server mit SSDs liefert mehr als doppelt so viel.
Funktioniert der Benchmark in einer VM anders, ist nicht valide oder haben wir dort ein Config Problem?
Erst wenn dieses Ergebnis auf der NVMe passt, würde ich schauen wie es mit iSCSI zum SAN aussieht.
ich möchte wissen warum die Ergebnisse des ATTO Benchmarks so sind wie sie sind.
Hersteller sagt 20.000 IOPs bei Queue Depth 4 im 8K Bereich erforderlich
Die VM auf der NVMe liefert weniger.
Der Windows Hardware Server mit SSDs liefert mehr als doppelt so viel.
Funktioniert der Benchmark in einer VM anders, ist nicht valide oder haben wir dort ein Config Problem?
Erst wenn dieses Ergebnis auf der NVMe passt, würde ich schauen wie es mit iSCSI zum SAN aussieht.
Er funktioniert dort mehr oder weniger auch so, aber im Rahmen des Hyypervisors, bzw dessen Setups, bzw dessen Limits.
Gucke dir Mal die Bedeutung von IOPS und deren Bezug zu Zeit. Dann die Betrachtung zur Größe der Blöcke und dann die Kombination.
Gucke dir Mal die Bedeutung von IOPS und deren Bezug zu Zeit. Dann die Betrachtung zur Größe der Blöcke und dann die Kombination.
Moin..
mit der PM1735 sollte viel mehr leistung da sein!
was für eine ESXI Version? mit dem ESXI 6.7 hatte ich da auch schon meine Probleme- sind dann aber auf Hyper-V
umgestiegen, das gab es keine probleme mehr!
hast du mal eine frische VM installiert und getestet?
Frank
mit der PM1735 sollte viel mehr leistung da sein!
was für eine ESXI Version? mit dem ESXI 6.7 hatte ich da auch schon meine Probleme- sind dann aber auf Hyper-V
umgestiegen, das gab es keine probleme mehr!
hast du mal eine frische VM installiert und getestet?
Frank
Moin,
alle unsere Hosts laufen auf ESXi 7.0.3. Eine ältere Version steht mir leider nicht zur Verfügung. Habe auch keine Testhardware um das mal auf 6.7 (out of Support) zu testen.
Mir ist noch aufgefallen, dass wenn man in dem ATTO Benchmark die Anzeige unten auf Byte/s stellt, dass der Durchsatz bei den 64MB Blöcken auf der NVMe auf fast 8GByte/s kommt.
Durchsatz ist da, IOPs fehlen!
Gruß
alle unsere Hosts laufen auf ESXi 7.0.3. Eine ältere Version steht mir leider nicht zur Verfügung. Habe auch keine Testhardware um das mal auf 6.7 (out of Support) zu testen.
Mir ist noch aufgefallen, dass wenn man in dem ATTO Benchmark die Anzeige unten auf Byte/s stellt, dass der Durchsatz bei den 64MB Blöcken auf der NVMe auf fast 8GByte/s kommt.
Durchsatz ist da, IOPs fehlen!
Gruß
Vier weitere Stunden testen und recherchieren später:
Ein Test war letzte Woche falsch. Es sieht so aus, dass der gleiche Test, mit der gleichen VM, auf drehenden Platten schneller läuft als auf der NVMe.
Greift hier der Cache vom RAID-controller? Selbst SATA Platten RAIDs scheinen schneller zu sein!
Auf meinem privaten Windows PC komme ich mit einer NVME auf ca 130.000 IOPs.
Irgendwie sieht es so aus, dass alles unter VMWare was mit Flash zu tun hat, laut dem Test langsam ist.
IOMeter liefert (ich hoffe ich habe es analog richtig konfiguriert) identische Werte zu ATTO.
Das Verhalten, unabhängig vom Benchmark, sieht genau anders herum aus. Die NVMe VM rebootet mit nur 1 Ping Verlust. Alles ist extrem schnell. Gleiches auf dem zentrals Flash SAN. Alles was mit drehenden Platten zu tun hat, fühlt sich deutlich langsamer.
Bin nun mit meinem Latein am Ende.
Könnte von euch mal jemand diesen ATTO Bench ausführen und ein Ergebnis posten? 8k bei QD=4 ist relevant.
DANKE
Ein Test war letzte Woche falsch. Es sieht so aus, dass der gleiche Test, mit der gleichen VM, auf drehenden Platten schneller läuft als auf der NVMe.
Greift hier der Cache vom RAID-controller? Selbst SATA Platten RAIDs scheinen schneller zu sein!
Auf meinem privaten Windows PC komme ich mit einer NVME auf ca 130.000 IOPs.
Irgendwie sieht es so aus, dass alles unter VMWare was mit Flash zu tun hat, laut dem Test langsam ist.
IOMeter liefert (ich hoffe ich habe es analog richtig konfiguriert) identische Werte zu ATTO.
Das Verhalten, unabhängig vom Benchmark, sieht genau anders herum aus. Die NVMe VM rebootet mit nur 1 Ping Verlust. Alles ist extrem schnell. Gleiches auf dem zentrals Flash SAN. Alles was mit drehenden Platten zu tun hat, fühlt sich deutlich langsamer.
Bin nun mit meinem Latein am Ende.
Könnte von euch mal jemand diesen ATTO Bench ausführen und ein Ergebnis posten? 8k bei QD=4 ist relevant.
DANKE
Durchsatz passt, IOPS nicht?
Und ja, eine verzerrende Größe ist der Cache, deshalb auch IOMeter mit einem Setup und dauer des Tests, dass der Cache mit eingerechnet ist.
Und ist immer noch unklar, wie deine Hosts per iSCSI auf dem SAN stehen.
Und ja, eine verzerrende Größe ist der Cache, deshalb auch IOMeter mit einem Setup und dauer des Tests, dass der Cache mit eingerechnet ist.
Und ist immer noch unklar, wie deine Hosts per iSCSI auf dem SAN stehen.
