Miese Performance ESXi Intel XF SR2 10GbE Adapter

Mitglied: ef8619

ef8619 (Level 1) - Jetzt verbinden

17.12.2015, aktualisiert 16:31 Uhr, 1695 Aufrufe, 6 Kommentare

Hallo Leute,

wir haben heute einen neuen Storage Server eingebracht:

HP SE326M1
32 GB DDR3 RAM
HP P410 Raid-Controller inkl. 512 MB Cache und aufgeladenem Akku
2x Intel Xeon L5220
2x Intel XF SR2 Dual Port 10GbE Adapter
1x RAID 10 (12 x SAS 2,5 10K)
1x RAID 1 (2 x SAS 2,5 10K)

Auf dem Server läuft Windows Server 2008 R2 mit allen aktuellen Updates und HP sowie Intel Treibern. Als iSCSI Target Software ist StarWind Virtual SAN Free (VAAI inklusive) installiert. Zusätzlich haben wir 2 unserer ESXi-Hosts ebenfalls jeweils eine Intel XF SR2 Karte spendiert und diese direkt mit den beiden Karten im Storage Server verbunden (Point-to-Point und Multipathing).

Bevor wir dann die in StarWind Virtual SAN definierten Targets (LUNs) verwendet habe, lief noch einmal CrystalDiskMark 5 (32-Bit) für das logische Volume auf dem RAID 10 auf dem Storage Server durch:

Tests: 5, Size: 2 GB

Seq Q32 T1:
Read: 629 MB/s
Write: 236,2 MB/s

4K Q32 T1
Read: 14,96 MB/s
Write: 18,55 MB/s

Seq
Read: 702,2 MB/s
Write: 620,5 MB/s

4K
Read: 0,421 MB/s
Write: 11,53 MB/s

Ihr könnt euch sicherlich denken wie schlecht die Performance über die 10GbE Verbindungen ist. Eine virtuelle Maschine mit einer 8 GB großen virtuellen Festplatte zu klonen dauert eine Ewigkeit.

Habt ihr vielleicht eine Ahnung was hier faul sein könnte?
Mitglied: teradarklight
18.12.2015 um 10:04 Uhr
Bisher hatte Ich immer nur beste erfahrung mit starwinds, also sollen diese performance probleme an der einstellung liegen.
Erstmals, wie sind die starwind geraete konfiguriert? (Thick oder thin provisioned? deduplika###? cache?)
Haben Sie schon die Jumbo Frames eingeschaltet?
Welche access policy in ESX ist verwendet? (MRU oder RR?)
Bitte warten ..
Mitglied: Dobby
18.12.2015 um 18:32 Uhr
Hallo,

wir haben heute einen neuen Storage Server eingebracht:
Ist der nur für Euch neu oder wie neu ist der?

Habt ihr vielleicht eine Ahnung was hier faul sein könnte?
Sind das zwei Intel Xeon QC L5220 oder ein Intel Xeon Processor E5220?

Ihr könnt euch sicherlich denken wie schlecht die Performance über die 10GbE Verbindungen ist.
Die karten sind bestimmt nicht schult! Entweder zu wenig Cache am Controller oder zu wenig RAM
über den dann alles weiter gepuffert wird wenn der Controller Cache voll ist! Mal in den Einstellungen
geguckt ob der Cache auch eingeschaltet wurde (enable)? Wäre nicht das erste Mal das so etwas auf
"disable" steht!

Eine virtuelle Maschine mit einer 8 GB großen virtuellen Festplatte zu klonen dauert eine Ewigkeit.
Kann ich mir gut vorstellen! Nur was ist ein Ewigkeit? 15 Minuten, 1 Stunde oder länger?

32 GB DDR3 RAM
Wenn der Cache vom RAID Controller voll ist wird der Arbeitsspeicher zum puffern benutzt!
Und mit 32 GB auf FSB 800/1066/1333MHz kann das auch mal zu langsam oder zu wenig Speicher sein

HP P410 Raid-Controller inkl. 512 MB Cache und aufgeladenem Akku
Ich weiß jetzt nicht so aus dem Kopf was der kann oder nicht aber mit einem aktuellen RAID Controller
(6Gbs) der SAS2 HDDs bedienen kann und der 1 MB Cache auf Modul mitbringt sollte das kein Thema sein!

2x Intel Xeon L5220
Wie viel Kerne hat die CPU?
Wie viel GHz hat die CPU?
Unterstützen die schon HyperThreading, TurboBoost, VT-x?

2x Intel XF SR2 Dual Port 10GbE Adapter
Und welchen Switch oder Switche benutzt Ihr denn dazu?

1x RAID 10 (12 x SAS 2,5 10K)
Hersteller, Modell, Modellname und Größe bitte mal nennen.

1x RAID 1 (2 x SAS 2,5 10K)
Hersteller, Modell, Modellname und Größe bitte mal nennen.

Antworte doch bitte einmal auf die Fragen.


Gruß
Dobby

Bitte warten ..
Mitglied: ef8619
20.12.2015, aktualisiert um 11:19 Uhr
Hallo,

vielen Dank für eure Antworten.

Um deine Fragen zu beantworten:

1. Der Server ist schon ein ganzes Stück alt. Eigentlich handelt es sich bei dem SE326M1 um einen modifizierten HP ProLiant DL 180 G6.
2. Das sind zwei Intel Xeon L5220 Quad Core CPUs mit 2,27 GHz und 8 MB Cache pro Kern. Insgesamt also 8 Kerne.
3. Der HP P410 RAID Controller hat 512 MB Cache und einen neuen Akku installiert, welcher laut HP ACU auch voll geladen ist und funktioniert. Schreib-Cache ist auch aktiviert.
4. Der RAID Controller kann 6 GB/s
5. Die Festplatten sind HP 300GB SAS, 2.5 Zoll, 10.000 UPM, 6 GB/s
6. Switches benutzen wir in diesem Fall nicht. Der SE326M1 hat zwei dieser Intel XF SR2 Karten mit je 2 Ports drin. Daran angeschlossen sind jeweils 2 ESXi-Hosts (HP ProLiant DL360 G6), wobei jeder dieser Hosts ebenfalls eine Intel XF SR2 Karte mit 2 Ports drin hat. Hier ist jeweils ein Port der Karte an einen Port einer der beiden Karten im SE326M1 angeschlossen (Redundanz bzgl. iSCSI-Pfad vom Storage aus sowie MPIO)
7. In jedem RAID werden stets die gleichen Festplatten verwendt (siehe Punkt 5)

Nun haben wir FreeNAS auf den Storage aufgespielt und ein großes RAID 10 mit 14 der genannten HDDs erstellt. Da der HP P410 Controller leider keinen HBA-Modus ermöglicht, habe ich hierzu für jede der SAS HDDs ein einzelnes RAID 0 erstellt. In FreeNAS habe ich das RAID 10 dann über die Funktionalität des ZFS-Dateisystems erstellt.

In den SE326M1 habe ich die 32 GB DDR3 RAM auf 64 GB DDR3 RAM erweitert.

Das Teil läuft bisher super stabil und gefühlt wesentlich schneller als mit StarWind Virtual SAN Free (kann aber auch am RAID 10 und der Anzahl der Disks liegen). Zwar wird z.B. SMART nicht angezeigt, weil der RAID-Controller das kapselt, aber es funktioniert.

Da ich immer wieder gelesen habe, dass es sich beim HP P410 eher um einen Low Budget Enterprise Controller handeln soll fliegt dieser morgen aus dem Server und wird gegen einen frischen LSI 9211-8i HBA Controller ersetzt. Auf diesen wird anschließen die P20 IT Firmware aufgespielt und FreeNAS auf 9.3.1 Nightlie-Build geupdated.

Grund für den Wechsel des Controller auf den LSI ist einerseits die unterstützte Passthrough-Funktion (HBA-Modus) und andererseits die herstellerunabhängige Unterstützung von Festplatten und SSDs. Der HP P410i erkennt leider nur HP Disks.

Anfang des kommenden Jahres werden wir wohl für diesen Controller noch 6 Samsung EVO 850 Basic mit 500GB erwerben und damit ein RAID 5 aufbauen, auf dem dann unsere "fetten" Server wie Windows Server 2012 R2 und OS X 10.11 El Capitan laufen lassen, da diese doch sehr IO-intensiv sind. Ein RAID 10 ist uns mit den SSDs einfach zu teuer.
Bitte warten ..
Mitglied: clSchak
06.01.2016 um 10:01 Uhr
Hi

Samsung EVO xxx BASIC Platten für Raid ôÔ das nenne ich mal mutig, die sind dafür nicht ausgelegt und von der Serie ist uns schon mehr wie eine Platte "um die Ohren" geflogen. Und warum ein SSD RAID? Was für Anwendungen habt Ihr die >10.000IOps (Random Acceess und nicht dieses 4k Augenwischerei IOps Marketing gebrabbel)?

Wir haben mehrere Datenbanken auf einem Storage mit 24 Platten / 8 x Enterprise SSD am laufen und können theoretisch 15k IOps beanspruchen, aufgrund des vorhandenen RAM in dem DB Server (256Gb) langweilt sich das Storage allerdings ziemlich da 99,5% der Anfragen direkt aus dem RAM kommen ;-) face-wink, wenn Ihr wirklich Leistung haben wollt dann mit Sicherheit nicht durch durch ein "EVO RAID", da gibt es bessere Lösungen z.B. PCIe Karten für Server (kann man auch gebraucht mit Garantie kaufen, z.B. http://shop.mcl.de/Server-MCL/ProLiant-Server/) wobei ich tendenziell zu Dell rate.

Und zu deinen kurzfristigen vorhaben, für ein produktives System verwendet man keine Nightly Builds sondern im Regelfall die letzte Stable ;-) face-wink.

Just my 2 Cent
@clSchak
Bitte warten ..
Mitglied: teradarklight
27.01.2016 um 12:35 Uhr
Na ja, ZFS is was ganz anderes als hardware RAID auf jeden fall. Wie dem auch sei, bei solchen Faellen kann man immer im starwind forum https://forums.starwindsoftware.com/ fragen. Die community ist wirklich ganz fruendlich und hilfsbereit.
Bitte warten ..
Mitglied: ef8619
27.05.2016 um 09:55 Uhr
Ist zwar schon etwas älter, aber weil ich gerade im Forum unterwegs bin, möchte ich noch die Lösung für das obige Problem offenlegen.

Wir hatten in diesem Fall nur einen Server (den SE326M1) als Block Storage für unsere ESXi-Nodes. Das Ganze war als Software Defined Storage mit StarWind Virtual SAN realisiert und über iSCSI an die ESXi-Server angebunden.

Diese Methode war alles andere als optimal, da natürlich ein Single Point of Failure existiert (was ist, wenn der Storage Server ausfällt?). Ein Replikations-Server (StarWind Virtual SAN unterstützt in der Free-Version die Replikation zwischen maximal zwei Nodes) brachte keine Besserung.

Heute setzen wir VSAN ein, wodurch wir keine gesonderten Storage Server mehr benötigen und die Infrastruktur konvergiert wird. Mithilfe von Samsung Enterprise SSD Flash Drives funktioniert diese Lösung optimal.
Bitte warten ..
Heiß diskutierte Inhalte
Windows 10
Windows 10 Geschwindigkeitprobleme trotz viel mehr Gb Ram
Matthes88Vor 21 StundenFrageWindows 1036 Kommentare

Hallo ihr lieben aaaalso : Da mein neuer Arbeitsspeicher (32gb) von meiner alten Windows 7 version (max mit 8gb kompatibel) nicht angenommen wurde, habe ...

Off Topic
Realistische Gehaltsvorstellung für eine "IT-Allroundkraft"
gelöst JiggyLeeVor 16 StundenFrageOff Topic17 Kommentare

Hallo an alle, ich hege momentan den Wunsch mich von der alten verstaubten Behörden Bürokratie und langweiliger Aufgaben los zu lösen und in einem ...

Humor (lol)
Tipp: Dinge, die man besser nicht klaut
altmetallerVor 17 StundenTippHumor (lol)8 Kommentare

Hallo, so wurde meiner Hündin z.B. heute der (eingeschaltete) GPS-Tracker mit Mobilfunkanbindung quasi "direkt vom Halsband weggefunden". Akku hatte noch 60% :-P Und ich ...

Windows Userverwaltung
Account Aktivierung über VPN
Phill93Vor 1 TagFrageWindows Userverwaltung3 Kommentare

Hallo, ich muss mir für eine RDP Umgebung für einen Verein eine Lösung für die Account Aktivierung ausdenken. Meine Idee ist die folgende: 1. ...

Switche und Hubs
Suche Deutsche Sprachdatei für D-Link DGS-1210-24 D1 Switch
gelöst Oggy01Vor 1 TagFrageSwitche und Hubs8 Kommentare

Hallo, ich habe einen D-Link DGS-1210-24 Vers. D1 Switch bekommen und suche für diesen eine Deutsche Sprachdatei. Die Firmware ist auf dem aktuellen Stand ...

Windows Server
GPU Passthrough HYPER-V 2019
bintesVor 1 TagFrageWindows Server8 Kommentare

Hallo, ich habe ein ein Problem mit der Bereitstellung einer Grafikkarte an eine virtuelle Maschine. Hardware: - HPE ProLiant DL380 Gen9 V4 Rack Server ...

Video & Streaming
Videoaufnahme funktioniert nur bis zum ersten Reboot (0x80040217)
IllusionFACTORYVor 1 TagFrageVideo & Streaming11 Kommentare

Ich nehme über eine Video-Software von einem USB-Hardware-Encoder Video auf. Das funktioniert exakt bis zum ersten Reboot - danach bekomme ich beim Starten der ...

Windows Server
Windows Admin Center DC
maximidVor 1 TagFrageWindows Server3 Kommentare

Hallo, ich hätte mal eine Frage zu Windows Admin Center und zwar schaue ich es mir aktuell etwas an da mir die zentrale Verwaltung ...