8
ESX Performance Probleme LSI 9260-4i
Hallo Leute,
ich stehe vor einen Problem, wo ich jetzt schon mehrere Tage zu Gange bin, aber leider einfach nicht zu einer Lösung komme.
Ich habe 2 ESXI 5.5 U2 Server.
Die Server haben jeweils einen LSI 9260-4i ohne BBU verbaut.
Der eine Server hat einen Raid 6 mit 4x 3TB WD30EFRX HDD's.
Der andere Server hat nur 2 HDD's in einem Raid 1 am laufen (2x WD20EFRX)
Der Raid Controller hat den Cache aktiviert. (Auf beiden Servern)
Der aktuelle LSI Treiber ist auch auf dem Hypervisor installiert.
Nun sind auf dem 1. und auf dem 2. Server je 1 Fileserver installiert (Windows Server 2012 R2, aktueller Updatestand)
Die VM's haben den Hardwarestand 8, ein Upgrade auf Verison 10, wäre möglich, möchte ich aber eignltich nicht.
Die SCSI Controller habe ich bei einem der beiden Server mal auf VMware Paravirtual migriert.
Vorher war es "LSI Logic SAS".
Hat aber keinerlei Verbesserung für mein "Problem" gebracht.
Mein eigentliches Problem ist:
Ich kopiere von einem Client etwas auf deinen der beiden Server und ich habe ~110mb/s Geschwindikeit. Gigabit LAN also voll ausgelastet, super.
Nun ist es aber so, dass wenn ich auf dem Server selber eine Datei auf der Festplatte von A nach B kopieren möchte, die Geschwindigkeit nur bei ~70mb/s liegt und auch sehr stark nach unten schwankt.
Woran liegt das ? Ich bin aboslut ratlos.
Die Vmware Tools sind natürlich auch aktuell.
Ich würde mich sehr über Ideen und Vorschläge von euch freuen!
PS:
Ram und CPU ist genug da.
VM's haben beide 10GB Ram reserviert und CPU ist ein Xeon E3-1240
ich stehe vor einen Problem, wo ich jetzt schon mehrere Tage zu Gange bin, aber leider einfach nicht zu einer Lösung komme.
Ich habe 2 ESXI 5.5 U2 Server.
Die Server haben jeweils einen LSI 9260-4i ohne BBU verbaut.
Der eine Server hat einen Raid 6 mit 4x 3TB WD30EFRX HDD's.
Der andere Server hat nur 2 HDD's in einem Raid 1 am laufen (2x WD20EFRX)
Der Raid Controller hat den Cache aktiviert. (Auf beiden Servern)
Der aktuelle LSI Treiber ist auch auf dem Hypervisor installiert.
Nun sind auf dem 1. und auf dem 2. Server je 1 Fileserver installiert (Windows Server 2012 R2, aktueller Updatestand)
Die VM's haben den Hardwarestand 8, ein Upgrade auf Verison 10, wäre möglich, möchte ich aber eignltich nicht.
Die SCSI Controller habe ich bei einem der beiden Server mal auf VMware Paravirtual migriert.
Vorher war es "LSI Logic SAS".
Hat aber keinerlei Verbesserung für mein "Problem" gebracht.
Mein eigentliches Problem ist:
Ich kopiere von einem Client etwas auf deinen der beiden Server und ich habe ~110mb/s Geschwindikeit. Gigabit LAN also voll ausgelastet, super.
Nun ist es aber so, dass wenn ich auf dem Server selber eine Datei auf der Festplatte von A nach B kopieren möchte, die Geschwindigkeit nur bei ~70mb/s liegt und auch sehr stark nach unten schwankt.
Woran liegt das ? Ich bin aboslut ratlos.
Die Vmware Tools sind natürlich auch aktuell.
Ich würde mich sehr über Ideen und Vorschläge von euch freuen!
PS:
Ram und CPU ist genug da.
VM's haben beide 10GB Ram reserviert und CPU ist ein Xeon E3-1240
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 267398
Url: https://administrator.de/contentid/267398
Printed on: April 19, 2024 at 02:04 o'clock
8 Comments
Latest comment
Moin,
vielleicht gibt's kein Problem:
RAID1 heißt bei lesen und schreiben an einer anderen Stelle, daß das Schreiben von beiden Platten bestätigt werden muß, da beide sich nicht synchron drehen, kann das "dauern", bei RAID6 bei vier Platten (! - warum nicht RAID10?) noch schlimmer, es wird pro Block auf drei Platten geschrieben und die Bestätigung erwartet.
Lese- und Schreibtests sollten denke ich erstmal zum/aus Arbeitsspeicher gemacht werden, um zu ermitteln, ob es tatsächlich einen Performance-Einbruch gibt.
Denkbar wäre, daß der Batteriepack des Controllers am Ende ist und ein Cache deshalb nicht verwendet wird (obwohl im Setup eingeschaltet), auch vorstellbar ist, daß Du erwartest, daß auch das Schreiben beschleunigt wird, was bei manchen RAID-Controllern möglich (aber nicht empfehlenswert) ist.
HG
Mark
vielleicht gibt's kein Problem:
RAID1 heißt bei lesen und schreiben an einer anderen Stelle, daß das Schreiben von beiden Platten bestätigt werden muß, da beide sich nicht synchron drehen, kann das "dauern", bei RAID6 bei vier Platten (! - warum nicht RAID10?) noch schlimmer, es wird pro Block auf drei Platten geschrieben und die Bestätigung erwartet.
Lese- und Schreibtests sollten denke ich erstmal zum/aus Arbeitsspeicher gemacht werden, um zu ermitteln, ob es tatsächlich einen Performance-Einbruch gibt.
Denkbar wäre, daß der Batteriepack des Controllers am Ende ist und ein Cache deshalb nicht verwendet wird (obwohl im Setup eingeschaltet), auch vorstellbar ist, daß Du erwartest, daß auch das Schreiben beschleunigt wird, was bei manchen RAID-Controllern möglich (aber nicht empfehlenswert) ist.
HG
Mark
Moin,
How ever ...
Denkbar wäre, daß der Batteriepack des Controllers am Ende ist und ein Cache deshalb nicht verwendet wird
Unmöglich:Die Server haben jeweils einen LSI 9260-4i ohne BBU verbaut.
How ever ...
Hallo, erstmal vielen Dank für die schnelle Antwort!
Also ein Batteriepack (BBU) ist wie gesagt, auf keinem der beiden Controllern vorhanden.
Der Write Cache ist aber aktiviert. Habe dort auch keine Bedenken, da die Server über eine separate USV abgesichert sind.
Mit:
"..daß Du erwartest, daß auch das Schreiben beschleunigt wird, was bei manchen RAID-Controllern möglich (aber nicht empfehlenswert) ist."
meinst du das Write Back oder ? Das ist bei beiden Controllern, trotz fehlender BBU aktiviert.
Also ein Batteriepack (BBU) ist wie gesagt, auf keinem der beiden Controllern vorhanden.
Der Write Cache ist aber aktiviert. Habe dort auch keine Bedenken, da die Server über eine separate USV abgesichert sind.
Mit:
"..daß Du erwartest, daß auch das Schreiben beschleunigt wird, was bei manchen RAID-Controllern möglich (aber nicht empfehlenswert) ist."
meinst du das Write Back oder ? Das ist bei beiden Controllern, trotz fehlender BBU aktiviert.
sorry, daß kein BBU dabei ist, hatte ich überlesen,
wundere mich jetzt gerade nur und lese erstmal nur mit...
HG
Mark
wundere mich jetzt gerade nur und lese erstmal nur mit...
HG
Mark
Sers,
Zusammengefasst: Du wunderst dich dass ein Kopiervorgang innerhalb eines RAID 1 aus 2x WD20EFRX nur 70MB/s bringt? Ja was soll denn mehr rauskommen? Aus Luft und Liebe?
Die Platten bringen beim sequentiellen Lesen & Schreiben zwischen 70 und 150 MB/s Quelle. Im Schnitt also grob 110MB/s.
Kopieren bedeutet parallel lesen und schreiben. Wegen Raid1 kannst du rechnen 0,5 Lesevorgänge je 1 Schreibvorgang.
Mathestunde:
Lesen je Platte: 110*1/3 = 36,6; macht bei Verteilung über 2 Platten 73MB/s
Schreiben je Platte: 110*2/3 = 73MB/s
Da sind die 70MB/s in der VM also voll und ganz in Ordnung.
Grüße,
Philip
:Nachtrag: Der Vollständigkeit halber noch eine Schätzung zu RAID6, da sich das von Implementierung zu Implementierung unterscheiden kann. Die 70MB/s wären bei einer WritePenalty von 5:1 zu erwarten. Bei den gängigeren 6:1 sollten es sogar nur 60MB/s beim Kopieren innerhalb des Arrays sein.
Zusammengefasst: Du wunderst dich dass ein Kopiervorgang innerhalb eines RAID 1 aus 2x WD20EFRX nur 70MB/s bringt? Ja was soll denn mehr rauskommen? Aus Luft und Liebe?
Die Platten bringen beim sequentiellen Lesen & Schreiben zwischen 70 und 150 MB/s Quelle. Im Schnitt also grob 110MB/s.
Kopieren bedeutet parallel lesen und schreiben. Wegen Raid1 kannst du rechnen 0,5 Lesevorgänge je 1 Schreibvorgang.
Mathestunde:
Lesen je Platte: 110*1/3 = 36,6; macht bei Verteilung über 2 Platten 73MB/s
Schreiben je Platte: 110*2/3 = 73MB/s
Da sind die 70MB/s in der VM also voll und ganz in Ordnung.
Grüße,
Philip
:Nachtrag: Der Vollständigkeit halber noch eine Schätzung zu RAID6, da sich das von Implementierung zu Implementierung unterscheiden kann. Die 70MB/s wären bei einer WritePenalty von 5:1 zu erwarten. Bei den gängigeren 6:1 sollten es sogar nur 60MB/s beim Kopieren innerhalb des Arrays sein.
Also sind die Festplatten an sich der Flaschenhals ?
Wie wäre es denn wenn ich mir jetzt WD RE4 holen würde ?
Also 4x 3TB
Wie wäre es denn wenn ich mir jetzt WD RE4 holen würde ?
Also 4x 3TB
Zitat von @geforce28:
Also sind die Festplatten an sich der Flaschenhals ?
Wie wäre es denn wenn ich mir jetzt WD RE4 holen würde ?
Also 4x 3TB
Also sind die Festplatten an sich der Flaschenhals ?
Wie wäre es denn wenn ich mir jetzt WD RE4 holen würde ?
Also 4x 3TB
Auf was bezogen? Sind die WD RE4 dermaßen schneller als die bisherigen?
Dein Flaschenhals ist bei den 4 HDDs der RAID6. Stell das 6er auf RAID10 (WritePenalty 2:1) um, und du deine Kopierleistung innerhalb vom Array steigt auf grob 140MB/s.
Die reine Leseleistung ist bei RAID 6 und RAID 10 bei 4 Festplatten identisch.
Der RAID 10 bringt dir also wesentlich mehr IOPS.
Bitte nicht vergessen: Sequentielles Lesen ist nur für Datengräber relevant. Für DBs und VDI sind Random IOPS wichtiger.
Okay, verstanden, vielen Dank.
