6
Miese Performance ESXi Intel XF SR2 10GbE Adapter
Hallo Leute,
wir haben heute einen neuen Storage Server eingebracht:
HP SE326M1
32 GB DDR3 RAM
HP P410 Raid-Controller inkl. 512 MB Cache und aufgeladenem Akku
2x Intel Xeon L5220
2x Intel XF SR2 Dual Port 10GbE Adapter
1x RAID 10 (12 x SAS 2,5 10K)
1x RAID 1 (2 x SAS 2,5 10K)
Auf dem Server läuft Windows Server 2008 R2 mit allen aktuellen Updates und HP sowie Intel Treibern. Als iSCSI Target Software ist StarWind Virtual SAN Free (VAAI inklusive) installiert. Zusätzlich haben wir 2 unserer ESXi-Hosts ebenfalls jeweils eine Intel XF SR2 Karte spendiert und diese direkt mit den beiden Karten im Storage Server verbunden (Point-to-Point und Multipathing).
Bevor wir dann die in StarWind Virtual SAN definierten Targets (LUNs) verwendet habe, lief noch einmal CrystalDiskMark 5 (32-Bit) für das logische Volume auf dem RAID 10 auf dem Storage Server durch:
Tests: 5, Size: 2 GB
Seq Q32 T1:
Read: 629 MB/s
Write: 236,2 MB/s
4K Q32 T1
Read: 14,96 MB/s
Write: 18,55 MB/s
Seq
Read: 702,2 MB/s
Write: 620,5 MB/s
4K
Read: 0,421 MB/s
Write: 11,53 MB/s
Ihr könnt euch sicherlich denken wie schlecht die Performance über die 10GbE Verbindungen ist. Eine virtuelle Maschine mit einer 8 GB großen virtuellen Festplatte zu klonen dauert eine Ewigkeit.
Habt ihr vielleicht eine Ahnung was hier faul sein könnte?
wir haben heute einen neuen Storage Server eingebracht:
HP SE326M1
32 GB DDR3 RAM
HP P410 Raid-Controller inkl. 512 MB Cache und aufgeladenem Akku
2x Intel Xeon L5220
2x Intel XF SR2 Dual Port 10GbE Adapter
1x RAID 10 (12 x SAS 2,5 10K)
1x RAID 1 (2 x SAS 2,5 10K)
Auf dem Server läuft Windows Server 2008 R2 mit allen aktuellen Updates und HP sowie Intel Treibern. Als iSCSI Target Software ist StarWind Virtual SAN Free (VAAI inklusive) installiert. Zusätzlich haben wir 2 unserer ESXi-Hosts ebenfalls jeweils eine Intel XF SR2 Karte spendiert und diese direkt mit den beiden Karten im Storage Server verbunden (Point-to-Point und Multipathing).
Bevor wir dann die in StarWind Virtual SAN definierten Targets (LUNs) verwendet habe, lief noch einmal CrystalDiskMark 5 (32-Bit) für das logische Volume auf dem RAID 10 auf dem Storage Server durch:
Tests: 5, Size: 2 GB
Seq Q32 T1:
Read: 629 MB/s
Write: 236,2 MB/s
4K Q32 T1
Read: 14,96 MB/s
Write: 18,55 MB/s
Seq
Read: 702,2 MB/s
Write: 620,5 MB/s
4K
Read: 0,421 MB/s
Write: 11,53 MB/s
Ihr könnt euch sicherlich denken wie schlecht die Performance über die 10GbE Verbindungen ist. Eine virtuelle Maschine mit einer 8 GB großen virtuellen Festplatte zu klonen dauert eine Ewigkeit.
Habt ihr vielleicht eine Ahnung was hier faul sein könnte?
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 291173
Url: https://administrator.de/contentid/291173
Printed on: April 26, 2024 at 17:04 o'clock
6 Comments
Latest comment
Bisher hatte Ich immer nur beste erfahrung mit starwinds, also sollen diese performance probleme an der einstellung liegen.
Erstmals, wie sind die starwind geraete konfiguriert? (Thick oder thin provisioned? deduplika###? cache?)
Haben Sie schon die Jumbo Frames eingeschaltet?
Welche access policy in ESX ist verwendet? (MRU oder RR?)
Erstmals, wie sind die starwind geraete konfiguriert? (Thick oder thin provisioned? deduplika###? cache?)
Haben Sie schon die Jumbo Frames eingeschaltet?
Welche access policy in ESX ist verwendet? (MRU oder RR?)
Hallo,
über den dann alles weiter gepuffert wird wenn der Controller Cache voll ist! Mal in den Einstellungen
geguckt ob der Cache auch eingeschaltet wurde (enable)? Wäre nicht das erste Mal das so etwas auf
"disable" steht!
Und mit 32 GB auf FSB 800/1066/1333MHz kann das auch mal zu langsam oder zu wenig Speicher sein
(6Gbs) der SAS2 HDDs bedienen kann und der 1 MB Cache auf Modul mitbringt sollte das kein Thema sein!
Wie viel GHz hat die CPU?
Unterstützen die schon HyperThreading, TurboBoost, VT-x?
Antworte doch bitte einmal auf die Fragen.
Gruß
Dobby
wir haben heute einen neuen Storage Server eingebracht:
Ist der nur für Euch neu oder wie neu ist der?Habt ihr vielleicht eine Ahnung was hier faul sein könnte?
Sind das zwei Intel Xeon QC L5220 oder ein Intel Xeon Processor E5220?Ihr könnt euch sicherlich denken wie schlecht die Performance über die 10GbE Verbindungen ist.
Die karten sind bestimmt nicht schult! Entweder zu wenig Cache am Controller oder zu wenig RAMüber den dann alles weiter gepuffert wird wenn der Controller Cache voll ist! Mal in den Einstellungen
geguckt ob der Cache auch eingeschaltet wurde (enable)? Wäre nicht das erste Mal das so etwas auf
"disable" steht!
Eine virtuelle Maschine mit einer 8 GB großen virtuellen Festplatte zu klonen dauert eine Ewigkeit.
Kann ich mir gut vorstellen! Nur was ist ein Ewigkeit? 15 Minuten, 1 Stunde oder länger?32 GB DDR3 RAM
Wenn der Cache vom RAID Controller voll ist wird der Arbeitsspeicher zum puffern benutzt!Und mit 32 GB auf FSB 800/1066/1333MHz kann das auch mal zu langsam oder zu wenig Speicher sein
HP P410 Raid-Controller inkl. 512 MB Cache und aufgeladenem Akku
Ich weiß jetzt nicht so aus dem Kopf was der kann oder nicht aber mit einem aktuellen RAID Controller(6Gbs) der SAS2 HDDs bedienen kann und der 1 MB Cache auf Modul mitbringt sollte das kein Thema sein!
2x Intel Xeon L5220
Wie viel Kerne hat die CPU?Wie viel GHz hat die CPU?
Unterstützen die schon HyperThreading, TurboBoost, VT-x?
2x Intel XF SR2 Dual Port 10GbE Adapter
Und welchen Switch oder Switche benutzt Ihr denn dazu?1x RAID 10 (12 x SAS 2,5 10K)
Hersteller, Modell, Modellname und Größe bitte mal nennen.1x RAID 1 (2 x SAS 2,5 10K)
Hersteller, Modell, Modellname und Größe bitte mal nennen.Antworte doch bitte einmal auf die Fragen.
Gruß
Dobby
Hallo,
vielen Dank für eure Antworten.
Um deine Fragen zu beantworten:
1. Der Server ist schon ein ganzes Stück alt. Eigentlich handelt es sich bei dem SE326M1 um einen modifizierten HP ProLiant DL 180 G6.
2. Das sind zwei Intel Xeon L5220 Quad Core CPUs mit 2,27 GHz und 8 MB Cache pro Kern. Insgesamt also 8 Kerne.
3. Der HP P410 RAID Controller hat 512 MB Cache und einen neuen Akku installiert, welcher laut HP ACU auch voll geladen ist und funktioniert. Schreib-Cache ist auch aktiviert.
4. Der RAID Controller kann 6 GB/s
5. Die Festplatten sind HP 300GB SAS, 2.5 Zoll, 10.000 UPM, 6 GB/s
6. Switches benutzen wir in diesem Fall nicht. Der SE326M1 hat zwei dieser Intel XF SR2 Karten mit je 2 Ports drin. Daran angeschlossen sind jeweils 2 ESXi-Hosts (HP ProLiant DL360 G6), wobei jeder dieser Hosts ebenfalls eine Intel XF SR2 Karte mit 2 Ports drin hat. Hier ist jeweils ein Port der Karte an einen Port einer der beiden Karten im SE326M1 angeschlossen (Redundanz bzgl. iSCSI-Pfad vom Storage aus sowie MPIO)
7. In jedem RAID werden stets die gleichen Festplatten verwendt (siehe Punkt 5)
Nun haben wir FreeNAS auf den Storage aufgespielt und ein großes RAID 10 mit 14 der genannten HDDs erstellt. Da der HP P410 Controller leider keinen HBA-Modus ermöglicht, habe ich hierzu für jede der SAS HDDs ein einzelnes RAID 0 erstellt. In FreeNAS habe ich das RAID 10 dann über die Funktionalität des ZFS-Dateisystems erstellt.
In den SE326M1 habe ich die 32 GB DDR3 RAM auf 64 GB DDR3 RAM erweitert.
Das Teil läuft bisher super stabil und gefühlt wesentlich schneller als mit StarWind Virtual SAN Free (kann aber auch am RAID 10 und der Anzahl der Disks liegen). Zwar wird z.B. SMART nicht angezeigt, weil der RAID-Controller das kapselt, aber es funktioniert.
Da ich immer wieder gelesen habe, dass es sich beim HP P410 eher um einen Low Budget Enterprise Controller handeln soll fliegt dieser morgen aus dem Server und wird gegen einen frischen LSI 9211-8i HBA Controller ersetzt. Auf diesen wird anschließen die P20 IT Firmware aufgespielt und FreeNAS auf 9.3.1 Nightlie-Build geupdated.
Grund für den Wechsel des Controller auf den LSI ist einerseits die unterstützte Passthrough-Funktion (HBA-Modus) und andererseits die herstellerunabhängige Unterstützung von Festplatten und SSDs. Der HP P410i erkennt leider nur HP Disks.
Anfang des kommenden Jahres werden wir wohl für diesen Controller noch 6 Samsung EVO 850 Basic mit 500GB erwerben und damit ein RAID 5 aufbauen, auf dem dann unsere "fetten" Server wie Windows Server 2012 R2 und OS X 10.11 El Capitan laufen lassen, da diese doch sehr IO-intensiv sind. Ein RAID 10 ist uns mit den SSDs einfach zu teuer.
vielen Dank für eure Antworten.
Um deine Fragen zu beantworten:
1. Der Server ist schon ein ganzes Stück alt. Eigentlich handelt es sich bei dem SE326M1 um einen modifizierten HP ProLiant DL 180 G6.
2. Das sind zwei Intel Xeon L5220 Quad Core CPUs mit 2,27 GHz und 8 MB Cache pro Kern. Insgesamt also 8 Kerne.
3. Der HP P410 RAID Controller hat 512 MB Cache und einen neuen Akku installiert, welcher laut HP ACU auch voll geladen ist und funktioniert. Schreib-Cache ist auch aktiviert.
4. Der RAID Controller kann 6 GB/s
5. Die Festplatten sind HP 300GB SAS, 2.5 Zoll, 10.000 UPM, 6 GB/s
6. Switches benutzen wir in diesem Fall nicht. Der SE326M1 hat zwei dieser Intel XF SR2 Karten mit je 2 Ports drin. Daran angeschlossen sind jeweils 2 ESXi-Hosts (HP ProLiant DL360 G6), wobei jeder dieser Hosts ebenfalls eine Intel XF SR2 Karte mit 2 Ports drin hat. Hier ist jeweils ein Port der Karte an einen Port einer der beiden Karten im SE326M1 angeschlossen (Redundanz bzgl. iSCSI-Pfad vom Storage aus sowie MPIO)
7. In jedem RAID werden stets die gleichen Festplatten verwendt (siehe Punkt 5)
Nun haben wir FreeNAS auf den Storage aufgespielt und ein großes RAID 10 mit 14 der genannten HDDs erstellt. Da der HP P410 Controller leider keinen HBA-Modus ermöglicht, habe ich hierzu für jede der SAS HDDs ein einzelnes RAID 0 erstellt. In FreeNAS habe ich das RAID 10 dann über die Funktionalität des ZFS-Dateisystems erstellt.
In den SE326M1 habe ich die 32 GB DDR3 RAM auf 64 GB DDR3 RAM erweitert.
Das Teil läuft bisher super stabil und gefühlt wesentlich schneller als mit StarWind Virtual SAN Free (kann aber auch am RAID 10 und der Anzahl der Disks liegen). Zwar wird z.B. SMART nicht angezeigt, weil der RAID-Controller das kapselt, aber es funktioniert.
Da ich immer wieder gelesen habe, dass es sich beim HP P410 eher um einen Low Budget Enterprise Controller handeln soll fliegt dieser morgen aus dem Server und wird gegen einen frischen LSI 9211-8i HBA Controller ersetzt. Auf diesen wird anschließen die P20 IT Firmware aufgespielt und FreeNAS auf 9.3.1 Nightlie-Build geupdated.
Grund für den Wechsel des Controller auf den LSI ist einerseits die unterstützte Passthrough-Funktion (HBA-Modus) und andererseits die herstellerunabhängige Unterstützung von Festplatten und SSDs. Der HP P410i erkennt leider nur HP Disks.
Anfang des kommenden Jahres werden wir wohl für diesen Controller noch 6 Samsung EVO 850 Basic mit 500GB erwerben und damit ein RAID 5 aufbauen, auf dem dann unsere "fetten" Server wie Windows Server 2012 R2 und OS X 10.11 El Capitan laufen lassen, da diese doch sehr IO-intensiv sind. Ein RAID 10 ist uns mit den SSDs einfach zu teuer.
Hi
Samsung EVO xxx BASIC Platten für Raid ôÔ das nenne ich mal mutig, die sind dafür nicht ausgelegt und von der Serie ist uns schon mehr wie eine Platte "um die Ohren" geflogen. Und warum ein SSD RAID? Was für Anwendungen habt Ihr die >10.000IOps (Random Acceess und nicht dieses 4k Augenwischerei IOps Marketing gebrabbel)?
Wir haben mehrere Datenbanken auf einem Storage mit 24 Platten / 8 x Enterprise SSD am laufen und können theoretisch 15k IOps beanspruchen, aufgrund des vorhandenen RAM in dem DB Server (256Gb) langweilt sich das Storage allerdings ziemlich da 99,5% der Anfragen direkt aus dem RAM kommen
, wenn Ihr wirklich Leistung haben wollt dann mit Sicherheit nicht durch durch ein "EVO RAID", da gibt es bessere Lösungen z.B. PCIe Karten für Server (kann man auch gebraucht mit Garantie kaufen, z.B. http://shop.mcl.de/Server-MCL/ProLiant-Server/) wobei ich tendenziell zu Dell rate.
Und zu deinen kurzfristigen vorhaben, für ein produktives System verwendet man keine Nightly Builds sondern im Regelfall die letzte Stable.
Just my 2 Cent
@clSchak
Samsung EVO xxx BASIC Platten für Raid ôÔ das nenne ich mal mutig, die sind dafür nicht ausgelegt und von der Serie ist uns schon mehr wie eine Platte "um die Ohren" geflogen. Und warum ein SSD RAID? Was für Anwendungen habt Ihr die >10.000IOps (Random Acceess und nicht dieses 4k Augenwischerei IOps Marketing gebrabbel)?
Wir haben mehrere Datenbanken auf einem Storage mit 24 Platten / 8 x Enterprise SSD am laufen und können theoretisch 15k IOps beanspruchen, aufgrund des vorhandenen RAM in dem DB Server (256Gb) langweilt sich das Storage allerdings ziemlich da 99,5% der Anfragen direkt aus dem RAM kommen
, wenn Ihr wirklich Leistung haben wollt dann mit Sicherheit nicht durch durch ein "EVO RAID", da gibt es bessere Lösungen z.B. PCIe Karten für Server (kann man auch gebraucht mit Garantie kaufen, z.B. http://shop.mcl.de/Server-MCL/ProLiant-Server/) wobei ich tendenziell zu Dell rate.Und zu deinen kurzfristigen vorhaben, für ein produktives System verwendet man keine Nightly Builds sondern im Regelfall die letzte Stable
.Just my 2 Cent
@clSchak
Na ja, ZFS is was ganz anderes als hardware RAID auf jeden fall. Wie dem auch sei, bei solchen Faellen kann man immer im starwind forum https://forums.starwindsoftware.com/ fragen. Die community ist wirklich ganz fruendlich und hilfsbereit.
Ist zwar schon etwas älter, aber weil ich gerade im Forum unterwegs bin, möchte ich noch die Lösung für das obige Problem offenlegen.
Wir hatten in diesem Fall nur einen Server (den SE326M1) als Block Storage für unsere ESXi-Nodes. Das Ganze war als Software Defined Storage mit StarWind Virtual SAN realisiert und über iSCSI an die ESXi-Server angebunden.
Diese Methode war alles andere als optimal, da natürlich ein Single Point of Failure existiert (was ist, wenn der Storage Server ausfällt?). Ein Replikations-Server (StarWind Virtual SAN unterstützt in der Free-Version die Replikation zwischen maximal zwei Nodes) brachte keine Besserung.
Heute setzen wir VSAN ein, wodurch wir keine gesonderten Storage Server mehr benötigen und die Infrastruktur konvergiert wird. Mithilfe von Samsung Enterprise SSD Flash Drives funktioniert diese Lösung optimal.
Wir hatten in diesem Fall nur einen Server (den SE326M1) als Block Storage für unsere ESXi-Nodes. Das Ganze war als Software Defined Storage mit StarWind Virtual SAN realisiert und über iSCSI an die ESXi-Server angebunden.
Diese Methode war alles andere als optimal, da natürlich ein Single Point of Failure existiert (was ist, wenn der Storage Server ausfällt?). Ein Replikations-Server (StarWind Virtual SAN unterstützt in der Free-Version die Replikation zwischen maximal zwei Nodes) brachte keine Besserung.
Heute setzen wir VSAN ein, wodurch wir keine gesonderten Storage Server mehr benötigen und die Infrastruktur konvergiert wird. Mithilfe von Samsung Enterprise SSD Flash Drives funktioniert diese Lösung optimal.