elmeracmeee
Goto Top

Benchmark nicht valide oder VM Layer Bottleneck vorhanden

Hallo zusammen,
im Zuge der Anschaffung einer neuen Datenbank Software setzt der Hersteller zum Benchmarken den ATTO Disk Benchmark ein (mit default Settings starten).
Hier werden Werte von 20.000 IOPs im 8k Bereich erwartet.
Unsere aktuelle Infrastruktur:
Die zugehörigen VMs laufen auf zwei dedizierten ESX 7 Servern (DELL PowerEdge R750)
Angebunden mit 2x 10GBE iSCSi an ein Pure X50 FullFlash Array (laut Specs 300.000 IOPs bei 32k)
Der ATTO Benchmark liefert nun ca 6.000 IOPs bei 8k. Damit erfordern wir also nicht die Anforderungen.

Teil des Projektes ist auch eine Datenbank Konvertierung die aufgrund der Größe ca 1 Woche laufen würde.
Um dies zu beschleunigen haben wir in einen der beiden Server eine 3.2 TB Samsung PM1735 NVMe verbaut (8GB/s lesen, 1.5 Mio IOPs), VMFS 6 Volume erstellt und die VM als ganzes per Storage Migration darauf verschoben
Auch hier liefert der ATTO Benchmark nur 14.000 IOPs bei 8k.
atto


Auf einem Baremetal Windows Server komme ich bei einem RAID5 SSD Volume auf Werte von 46.000 IOPs bei 8k
attossd

Nun zu meinen ganzen Fragen:
Ist ein solcher Benchmark (mit den Default Settings) in einer VM überhaupt valide?
Gibt es ESXi Settings die einen solchen Gap beheben würden?
Welche Ergebnisse erzielt ihr?

Da auch die IOPs auf der lokalen NVME nicht anzukommen scheinen, habe ich meine Fehlersuche nicht am iSCSI angesetzt.
Die VM hat bereits einen virtuellen NVME Controller. Unterschiede sind nur marginal.
Anzahl CPU, Sockel und RAM hatten auch keinen Einfluss auf das Ergebnis.
Ressourcen Profile, die etwas beschneiden könnten, sind auch nicht aktiv konfiguriert worden.

Und jetzt bräuchte ich etwas Erleuchtung…

Content-Key: 4743956910

Url: https://administrator.de/contentid/4743956910

Printed on: July 20, 2024 at 07:07 o'clock

Mitglied: 2423392070
2423392070 Nov 24, 2022 at 07:52:06 (UTC)
Goto Top
Nein. Big Bullshit.

Wie ist das iSCSI genau konfiguriert und verbunden?
Member: ElmerAcmeee
ElmerAcmeee Nov 24, 2022 at 08:05:47 (UTC)
Goto Top
Hallo
Zitat von @2423392070:

Nein. Big Bullshit.
auf was beziehst du das?

Zitat von @2423392070:
Wie ist das iSCSI genau konfiguriert und verbunden?
Kurzantwort: laut Best Practices. dediszierte vSwitch mit 2 dediszierten NICS im dedizierten VLAN. 2 Kernel Ports. + Portbinding > auf der VMWare Seite.
Heisst das, das wir wirklich ein Performance Problem haben? Merken tun wir davon nix.
Ich verstehe nicht warum der Benchmark auf dem Barematel Server so ganz anders aussieht.
Gruß
Mitglied: 2423392070
2423392070 Nov 24, 2022 at 08:12:49 (UTC)
Goto Top
Das Benchmark Tool ist schon witzig.

Welche Switches sind wie konfiguriert? Selbiges Frage ich für die Hosts.
Member: ElmerAcmeee
ElmerAcmeee Nov 24, 2022 at 08:17:59 (UTC)
Goto Top
Hallo
Zitat von @2423392070:

Das Benchmark Tool ist schon witzig.
Warum?

Zitat von @2423392070:
Welche Switches sind wie konfiguriert? Selbiges Frage ich für die Hosts.
Cisco Nexus. JumboFrames. AccessPort im iSCSi VLAN.
Ausser dass das Tool diese Werte liefert, haben wir keine Probleme. Alles läuft erwartungsgemäß flott.
Da auch die NMVe Ergebnisse schlecheter sind, als der Hersteller erwartet, würde ich iSCSI erst gar nicht in meine Fehlersuche einschließen.
Gruß und Danke
Mitglied: 2423392070
2423392070 Nov 24, 2022 at 08:43:00 (UTC)
Goto Top
Die Realität im SAN Access wird durch das Tool nicht erfasst.

Wie sind die Hosts genau konfiguriert?
Member: ElmerAcmeee
ElmerAcmeee Nov 24, 2022 at 09:13:57 (UTC)
Goto Top
Hallo,
Zitat von @2423392070:

Die Realität im SAN Access wird durch das Tool nicht erfasst.
Wie meinst du das? Welches Tools nutzt du dazu?
Aber das hätte doch mit der NVMe nichts zu tun.


Wie sind die Hosts genau konfiguriert?
Im Bezug auf die NMVe Karte? oder welches Setting meinst du genau?

Nicht dass wir aneinander vorbei reden. Die Werte für die NVMe Karte sind in der VM schon schlechter als die Anforderung. Ohne dass überhaupt ein SAN genutzt würde.
Die Werte auf dem Baremetal Windows sehen deutlich besser aus. Die Frage: warum?
Ist das nur bei uns so? Hast du ähnliche Werte.
Leider habe ich zu diesem Tool keine Referenzwerte finden können

Welches nutz ihr?

Gruß und Danke
Mitglied: 2423392070
2423392070 Nov 24, 2022 at 09:19:05 (UTC)
Goto Top
Wir nutzen IOMeter. Teilweise mit hunderten Workern.
Wir wissen aber auch über unsere SAN bescheid.
Stichwort Anzahl Warteschlange, Paketgrößen und deren Verteilung und Latenzen.

Deine Hosts haben keine zufällige Konfig der HBA/CNAs.
Da kann man ganz viel nicht konfigurieren und offensichtlich auch nicht wissen.
Member: ElmerAcmeee
ElmerAcmeee Nov 24, 2022 at 09:31:03 (UTC)
Goto Top
Hallo,
für die ESX Host Config zum SAN gibt es entsprechend Settings, Scripts und Plugins. welche wir auch immer durchgehen und umsetzen. Kurzfassung bislang: Unser SAN langweilt sich. Wir haben 16 ESX Hosts mit ca 300 VMs und 14 XEN Server mit ca 200 VDIs drauf laufen. Es gibt für uns keinen merklichen Performance engpass.
Kein echter Test, aber Filecopies laufen mit 1GByte/s. Backups ziehen wir mit 2 GByte/s vom SAN

Nur dieser Benchmark hier sagt was anderes.
Und nochmals: auch auf der lokalen NVMe Karte! Und damit hat es nix mit SAN, iSCSI, HBAs oder NICs zu tun.
Unter ESXi hab ich nix zum konfigurieren der NVMe finden können.

Könntest du mir mal ein IOMeter Setting zukommen lassen?
Dann hätte ich mal nen Vergleichswert.
Danke
Mitglied: 2423392070
2423392070 Nov 24, 2022 at 09:38:47 (UTC)
Goto Top
Ich glaube unsere Templates sagen weniger für euch aus?
Wir testen damit 12x25GBit über Low latancy FCoE Switches auf das SAN.

Die Frage ist eigentlich, wie die Paketgrößen sind.
Dann legst du worker an und skalierst bis etwas auffällt.

Weißt du überhaupt wie viele Warteschlangen in Warteschlangen möglich sind im Moment?
Wie die Pfade sich dabei belegen?
https://virtunetsystems.com/how-does-queue-depth-affect-latency-and-iops ...
Member: ElmerAcmeee
ElmerAcmeee Nov 24, 2022 at 10:37:51 (UTC)
Goto Top
Hallo,
über diesen Artikel bin ich lustigerweise gestern auch schonmal gestolpert.
Allerdings geht's ja rein ums SAN und dessen Opitmierung. Bei einer lokalen NVMe spielt das doch kein Rolle
ODER?
Wenn ich die Queue Depth im ATTO auf 128 erhöhe, verbessern sich die 8k Werte auf 90.000 IOPs auf die NVMe
Aber das alles hilft mir nichts, wenn der Hersteller andere Vorgaben macht bzw sagt, bei anderen Kunden sind die Werte viel besser (Beweis steht noch aus).
Und jetzt fehlt mir der Vergleich.
Das Verhältnis von SSD, SAS HDD, SATA HDD und NVME innerhalb einer VM spiegelt sich wieder.
Wäre jetzt der Baremetal Windows Server nicht so viel anders...
Gruß
Mitglied: 2423392070
2423392070 Nov 24, 2022 at 10:54:58 (UTC)
Goto Top
Die nvme ist doch kein Vergleich.

Du suchst deine IOPS die dein SAN wohl kann.
Member: ElmerAcmeee
ElmerAcmeee Nov 24, 2022 at 11:49:03 (UTC)
Goto Top
Doch und nicht ganz, face-smile
ich möchte wissen warum die Ergebnisse des ATTO Benchmarks so sind wie sie sind.
Hersteller sagt 20.000 IOPs bei Queue Depth 4 im 8K Bereich erforderlich
Die VM auf der NVMe liefert weniger.
Der Windows Hardware Server mit SSDs liefert mehr als doppelt so viel.

Funktioniert der Benchmark in einer VM anders, ist nicht valide oder haben wir dort ein Config Problem?
Erst wenn dieses Ergebnis auf der NVMe passt, würde ich schauen wie es mit iSCSI zum SAN aussieht.
Mitglied: 2423392070
2423392070 Nov 24, 2022 at 12:27:35 (UTC)
Goto Top
Er funktioniert dort mehr oder weniger auch so, aber im Rahmen des Hyypervisors, bzw dessen Setups, bzw dessen Limits.

Gucke dir Mal die Bedeutung von IOPS und deren Bezug zu Zeit. Dann die Betrachtung zur Größe der Blöcke und dann die Kombination.
Member: Vision2015
Vision2015 Nov 24, 2022 at 12:37:19 (UTC)
Goto Top
Moin..

mit der PM1735 sollte viel mehr leistung da sein!
was für eine ESXI Version? mit dem ESXI 6.7 hatte ich da auch schon meine Probleme- sind dann aber auf Hyper-V
umgestiegen, das gab es keine probleme mehr!
hast du mal eine frische VM installiert und getestet?

Frank
Member: ElmerAcmeee
ElmerAcmeee Nov 28, 2022 at 06:01:32 (UTC)
Goto Top
Moin,
alle unsere Hosts laufen auf ESXi 7.0.3. Eine ältere Version steht mir leider nicht zur Verfügung. Habe auch keine Testhardware um das mal auf 6.7 (out of Support) zu testen.
Mir ist noch aufgefallen, dass wenn man in dem ATTO Benchmark die Anzeige unten auf Byte/s stellt, dass der Durchsatz bei den 64MB Blöcken auf der NVMe auf fast 8GByte/s kommt.
Durchsatz ist da, IOPs fehlen!
Gruß
Member: ElmerAcmeee
ElmerAcmeee Nov 28, 2022 at 11:56:21 (UTC)
Goto Top
Vier weitere Stunden testen und recherchieren später:
Ein Test war letzte Woche falsch. Es sieht so aus, dass der gleiche Test, mit der gleichen VM, auf drehenden Platten schneller läuft als auf der NVMe.
Greift hier der Cache vom RAID-controller? Selbst SATA Platten RAIDs scheinen schneller zu sein!
Auf meinem privaten Windows PC komme ich mit einer NVME auf ca 130.000 IOPs.
Irgendwie sieht es so aus, dass alles unter VMWare was mit Flash zu tun hat, laut dem Test langsam ist.
IOMeter liefert (ich hoffe ich habe es analog richtig konfiguriert) identische Werte zu ATTO.
Das Verhalten, unabhängig vom Benchmark, sieht genau anders herum aus. Die NVMe VM rebootet mit nur 1 Ping Verlust. Alles ist extrem schnell. Gleiches auf dem zentrals Flash SAN. Alles was mit drehenden Platten zu tun hat, fühlt sich deutlich langsamer.
Bin nun mit meinem Latein am Ende.
Könnte von euch mal jemand diesen ATTO Bench ausführen und ein Ergebnis posten? 8k bei QD=4 ist relevant.
DANKE
Mitglied: 2423392070
2423392070 Nov 28, 2022 at 16:53:20 (UTC)
Goto Top
Durchsatz passt, IOPS nicht?

Und ja, eine verzerrende Größe ist der Cache, deshalb auch IOMeter mit einem Setup und dauer des Tests, dass der Cache mit eingerechnet ist.

Und ist immer noch unklar, wie deine Hosts per iSCSI auf dem SAN stehen.