photographix
Goto Top

Windows Server 2008 mit EMC CLARiiON AX4 schlechte Performance

Neuer FSC PRIMERGY RX300 S4 mit neuer, über iSCSI angehängter EMC CLARiiON AX4, bringt eine sauschlechte Performance über Gigabit Lan bei Multiuser Zugriff.

Info:

Wir sind eine mittelständige Firma die sich mit dem Bereich Bildbearbeitung und Bildproduktion beschäftigt.
Unser inneres Wachstum ist zur Zeit extrem gigantisch. Vor einem Jahr hatte ich nur 10 Rechner / Mitarbeiter zu betreuen aktuell sind es 43 und pro Monat kommen ca. 5 weitere hinzu.
Wir benötigen daher extrem viel Speicherplatz für die Bilddaten der sich aktuell auf ca. 1,5 TB beläuft. Weiterhin möchten wir aus verschiedenen Gründen eine Domäne mit SBS und Exchange aufbauen.


Thematik:

Wir haben seit ca. 5 Tagen einen neuen FSC PRIMERGY RX300 S4 mit Windows 2008 und einer über iSCSI angehängten EMC CLARiiON AX4 am laufen. Darauf sind zwei virtuelle Diskpools, jeweils im Raid5, als Freigaben für das Netz gemappt. Ein Diskpool wird dauernd genutz der ander fungiert als Mirror und wird nachts gespiegelt.

Aufgrund von Speichermangel und Umstellung der Firma in eine Domänenstruktur haben wir im Gegenzug unseren alten FSC PRIMERGY RX300 S3 mit Suse Enterprise Server ersetzt da er Festplattenmäßig am Ende war. Von FSC eigenen Storragelösungen hat man uns abgeraten da diese nicht unbegrenzt skalierbar wären und oder für uns zu teuer.


Problem:

Leider ist der neue Server bzw. das Storrage in der Performance wesentlich schlechter als der vorherige Server. Das sollte ja nicht sein, wenn man in Technik für den Preis eines Kleinwagens investiert. Je nach Wochentag und Auslastung der Firma haben wir unterschiedlichen Trafik darauf. Montags und Dienstags grundsätzlich ab 7Uhr Dauerbetrieb. Gegen Ende der Woche weniger.

Folgendes passiert. Wenn wir früh unsere Bilder bekommen müssen diese als erstes von den Datenträgern der Kunden auf das Storrage kopiert werden damit die verschiedenen Abteilungen Zugriff darauf haben. Da alle mit ein und den selben Bilderpool arbeiten müssen ist die Auslastung immer sehr hoch. Montags und Dienstags steht das System desswegen leider immer fast. Konkret heißt das, dass Storrage liefert zu wenig Daten oder der Server kann dies nicht handeln. Ich habe dann Antwortzeiten im Resourcenmonitor von BIS zu 25.800ms (fünfundzwanzigtausend!) Wir bekomen einfach nicht die "versprochene" Performance ins Netz. Zu Spitzenzeiten macht jeder etwas auf der Freigabe und trotzdem schnaarcht der Server mit 2% Auslastung vor sich hin und die EMC CLARiiON AX4 bringt auch nur 4-10MB/sec. das kann doch nicht sein. Wo ist der Flaschenhals?! Natürlich laufen Support Calls bei FSC, EMC und unserem Vertriebspartner. Nur leider lassen die sich Zeit. Aktuell arbeiten die meisten Mitarbeiter Lokal was zu einer Verstopfung der lokalen Platten führt und so nicht gewollt war /ist.

Vielleicht hat jemand eine Idee.


MFG und schönen Tag

Content-ID: 96057

Url: https://administrator.de/contentid/96057

Ausgedruckt am: 26.11.2024 um 12:11 Uhr

AndreasHoster
AndreasHoster 04.09.2008 um 09:52:43 Uhr
Goto Top
Netzwerkprobleme?
Man könnte z.B. mit Perfmon unter Windows mal die Auslastung der Netzwerkschnittstelle beobachten und vorallem obs eventuell auch fehlerhafte Pakete gibt.
Und wenn 10 MB/s die obere Grenze sind, da gibts nicht irgendwo ein Netzwerksegment dazwischen, das eventuell nur 100MBit/s hat?
photographix
photographix 04.09.2008 um 12:32:46 Uhr
Goto Top
Am Netzwerk haben wir nichts geändert. Alles noch so wie vorher.
Wo sehe ich in Perfon fehlerhafte Pakete?
AndreasHoster
AndreasHoster 04.09.2008 um 13:35:11 Uhr
Goto Top
Wenn ich mirs genau überlege, bin ich mir noch nicht mal sicher ob das auf einer iSCSI Schnittstelle funktioniert, aber bei normalen Netzwerkschnittstellen indem man beim Perfmon das Datenobjekt Netzwerkschnittstelle auswählt und dann als Leistungsindikatoren Ausgehende, bzw. Eingehende Pakete mit Fehler, Verworfen, unbekannt auswählt.
51705
51705 04.09.2008 um 22:16:39 Uhr
Goto Top
Hallo photographix,

viele Worte, wenig Informationen. Ein RX300 S4 mit dem richtigen HBA sollte sich allein über ein 1,5 TB Storage tot lachen. Wie sieht denn das Netz aus, wie ist der RX300 angebunden (2x1GB/4x1GB/oder mehr)? Welche Swichtes in welcher Konfiguration sind am Start? Wie sieht die Konfiguration der Netzwerkkarten des RX300 aus (Jumbo Frames)?

Ich denke, selbst in Spitzenzeiten ist auf dem Server keine CPU-Last > 10% zu erkennen.

Grüße, Steffen
photographix
photographix 08.09.2008 um 16:13:23 Uhr
Goto Top
Also der Support war nochmal da und hat an den iSCSI Einstellungen etwas gedreht. Weiterhin beide Controller auf eine Netzwerkkarte gelegt. Die Performace ist schon um längen besser aber irgendwie noch nicht Optimal. Mir fehlt ein Loadballancing wenn viele Leute etwas auf dem Storrage machen wollen.
MrBing
MrBing 08.12.2008 um 07:41:57 Uhr
Goto Top
Hallo photographix,

mich würde auch interessieren wie dein Switch konfiguriert ist bzw. welchen du verwendest. Ich hatte ähnliche Probleme mit einem Adaptec Snapserver und iSCSI, diese ließen sich am Ende relativ einfach beheben, indem ich auf andere Netzwerkhardware und ein separates VLAN mit entsprechendem QoS für den iSCSI Verkehr umgestiegen bin. Sowohl dein Server als auch die AX4 sollten eingentlich problemlos mit deinen Anforderungen umgehen können.

Grüße

Toby
photographix
photographix 08.12.2008 um 11:30:34 Uhr
Goto Top
Hallo Toby (Namensvetter),

unsere Switches sind ganz "normale" HP Pro Curve 1Gbit unmanaged. Langfristig sollte zwar mal eine managed her das hat sich aber irgendwie verlaufen. Das Loadballancing klappt mittlerweile ganz gut. Schreibgeschwindigkeiten von 30/40MB sind keine Seltenheit mehr.

Habe momentan eher ein Problem wenn "zu viel" auf dem Storrage los ist (Backup, Virenscan, Userzugriffe), sich im Errorlog iSCSI Fehler befinden.

(Schlecht reproduzierbar!)
kommt ca.5-8 mal dann ist wieder ruhig:


Die folgenden Informationen wurden mit dem Ereignis gespeichert:
\Device\RaidPort1
Die Meldungressource ist vorhanden, aber die Meldung wurde nicht in der Zeichenfolge-/Meldungstabelle gefunden

Fehler,07.12.2008 21:01:19,iScsiPrt,20,Keine,Die Verbindung zum Ziel wurde unterbrochen. Der Initiator führt einen erneuten Verbindungsversuch aus.
Fehler,07.12.2008 21:01:19,iScsiPrt,27,Keine,Vom Initiator konnte keine Übereinstimmung für das Initiatortasktag in der empfangenen PDU gefunden werden. Der gesamte iSCSI-Header ist in den Sicherungsdaten enthalten.
Fehler,07.12.2008 21:01:19,iScsiPrt,7,Keine,Der Initiator konnte keine iSCSI-PDU senden. Der Fehlerstatus ist in den Sicherungsdaten enthalten.
Fehler,07.12.2008 21:01:19,iScsiPrt,49,Keine,Das Ziel hat nicht rechtzeitig auf eine Taskverwaltungsanforderung geantwortet.
Fehler,07.12.2008 21:01:18,iScsiPrt,39,Keine,Der Initiator hat einen Taskverwaltungsbefehl zum Zurücksetzen des Ziels gesendet. Der Zielname ist in den Sicherungsdaten enthalten.
Warnung,07.12.2008 21:01:18,iScsiPrt,129,Keine,Die Beschreibung für die Ereignis-ID ""129"" aus der Quelle ""iScsiPrt"" wurde nicht gefunden. Entweder ist die Komponente, die dieses Ereignis auslöst, nicht auf dem lokalen Computer installiert, oder die Installation ist beschädigt. Sie können die Komponente auf dem lokalen Computer installieren oder reparieren.
Falls das Ereignis auf einem anderen Computer aufgetreten ist, mussten die Anzeigeinformationen mit dem Ereignis gespeichert werden.




Kann nicht reproduziert werden. Kommt meist 12-20 mal hintereinander ca. 2-4 mal die Woche. unterschiedliche Zeiten. Auch wenn keiner im Haus ist (Weekend).



Warnung,08.12.2008 09:55:25,srv,2012,Keine,"Beim Übertragen oder Empfangen von Daten ist ein Netzwerkfehler aufgetreten. Gelegentliche Fehlschläge sind normal, aber häufige Fehlschläge deuten auf einen Fehler in der Netzwerkkonfiguration. Der Fehlerstatuscode steht in den wiedergegebenen (in Wörter umgewandelte) Daten und deutet eventuell auf die Fehlerursache."




Aber der Funktion tut das keinen Abbruch. Es laufen auch Supportcalls - da aber alles ok ist (kein Datenvverlsute/Keine Beeinträchtigung) setzt man uns nicht auf "hohe" Priorität....
MrBing
MrBing 08.12.2008 um 11:50:42 Uhr
Goto Top
Hi Toby,

da stellen sich mir gleich noch ein paar weitere Fragen wenn ich das lese:

1. Wie ist deine Festplattenkonfiguration? Bei 30-40MB Schreibgeschwindigkeit, aber 1GB Cache den die AX4 hat wäre das sehr interessant mit in Betracht zu ziehen.

und

2. Ist es möglich dass ihr ein DNS Problem habt? Nutzt du den DNS vom Server 2008, bzw. hängen an den ProCurves nur die iSCSI Targets und Initiatoren oder sind da auch noch andere Rechner dran?

VG

Toby
photographix
photographix 08.12.2008 um 12:03:31 Uhr
Goto Top
Die Festplattenconfig sind zwei Raid5 Pools mit jeweils 3 bzw 4 Platten. 1 Hot Spare. Das sind dann meine zwei Pools die auf zwei Laufwerke gehen. Die 30-40Mb sind nur Peak also wenn ich mal zusammenhängende Daten Kopiere -> zB.: Windows Server Backup.
Im normalen Betrieb sind es zwischen 15 und 25 MB was aber auch gigantisch schneller ist als zu Anfang der Clarion.

Ja wir haben ein DNS Problem denk ich. Unser DNS "Server" ist aktuell noch eine Fritzbox (nicht lachen...) mit dem SBS2003 soll auch DNS und DHCP von diesem auf eine professionelles Niveau gebracht werden. Das wird aber erst ab Januar gehen da ich zur Zeit keine Projekte mehr machen kann -> Weihnachtsgeschäft.

Die iSCSI Targets hängen direkt am Server (einer Netzwerkkarte) für sich. An dem HP hängt das restliche Netzwerk.

Also Server -> 2x iSCSI aus einer Netzwerkkarte an jeweils einen Port der EMC, kein Failover. Läuft so besser als vorher mit zwei Netzwerkkarten.
MrBing
MrBing 08.12.2008 um 12:25:03 Uhr
Goto Top
Hi Toby,

Verstehe ich dich richtig: Zwei Ports einer Netzwerkkarte sind direkt mit einem LAN Kabel am AX4 angehängt und die AX4 hat sonst keine Verbindung zu einem Server? Und an dem ProCurve hängen die Clients und die andere Netzwerkkarte des RX300.
Über den Switch geht dann jedoch kein iSCSI Traffic? Vermute ich richtig, dass es sich um SATA Platten handelt?
Nur eine ganz blöde Frage am Rande, da ich ein großer SBS Fan bin, wieso planst du einen SBS 2003 einzusetzen? Wäre bei der Konfig. nicht ein SBS 2008 deutlich vielversprechender?
LG

Toby
photographix
photographix 08.12.2008 um 12:42:39 Uhr
Goto Top
Also soweit ich das verstanden habe (iSCSI Neuling) hängt die AX4 mit zwei Kabeln an einer Karte des Servers. Weiterhin natürlich die Managed Ports über einen Switch an einer eigenen Karte im Server. Zu guter Letzt der Server mit Shares im internen Netzwerk über die onboard Glan Schnittstelle.

Der SBS2003 ist schon seit Sommer da und hängt leider in seinem Rack nur so rum. Keine Zeit dafür. Leider... War eine Empfehlung von unserem FSC Support. Der SBS2008 wäre buggy und noch nicht so im Alltag getestet der SBS2003 wäre schon lange überall im Einsatz und sicher. Den SBS 2008 wollte ich auch haben schon wegen besseren Failover mit dem Server 2008 den wir ja auch haben. Bin mir nämlich nicht sicher ob der 2008 und der SBS2003 so gut harmonieren.
MrBing
MrBing 08.12.2008 um 13:00:39 Uhr
Goto Top
Hmm. Dann können die Probleme mit der Performance nicht vom DNS kommen. Weil bei einer direkten Verbindung nämlich überhaupt kein Name über DNS aufgelöst werden muss.
Ich kann mir dann eigentlich nur wenige Szenarien vorstellen, die das System ausbremsen:

1. Die Stripesize bei den relativ kleinen RAID Verbünden ist suboptimal gewählt bzw. das Caching funktioniert nicht richtig (Da ich jedoch noch keine AX4 direkt in Händen hatte weiss ich nicht ob man das dort überhaupt einstellen kann) --> Wäre wohl ein Fall für den Kollegen der dir das Ding verkauft hat.

2. Die Fehlermeldungen könnten auch daher kommen das ein Netzwerkkabel oder die verwendete Netzwerkkarte einen Schlag hat, bzw. die Direktverbindung in der AX4 schlecht konfiguriert ist. Gerade die Fehlermeldung "Beim Übertragen oder Empfangen von Daten ist ein Netzwerkfehler aufgetreten." ist da ein Verdächtiger Kandidat.

3. Der Server kommt beim entpacken des iSCSI Protokolls in wanken (ist aber eigentlich sehr unwahrscheinlich). Ist das Teil CPU oder RAM mäßig am Limit? Meiner Erfahrung nach verursacht iSCSI beim Einsatz des Microsoft iSCSI Initiators und ohne einen speziellen iSCSI HBA ein Overhead von ca. 15-20% CPU Last durch das entpacken der iSCSI Pakete. Hier könnte das gute Stück natürlich auch in einen Flaschenhals rennen.

Dass der SBS 2008 buggy ist kann ich bisher übrigens nicht bestätigen. Der alte war gut, aber der neue ist m.E. wirklich einen Quantensprung weiter. Beim SBS 2003 wirst du wenn ihr mit Bildern arbeitet und 43 MAs habt recht bald in die 75 GB Begrenzung des Exchanges rennen. Ich hab selbst lange Jahre ein Kreativbüro mit einem SBS 2003 betreut, da hatten wir das ständig. Du kannst mit dem Kauf eines Transitionpacks oder mit einer Upgradelizenz von SBS 2003 auf SBS 2008 Abhilfe schaffen. In diesem Fall kommst du auch drum herum getrennt CALs für den Server 2008 und den SBS 2003 zu besitzen (oder ist das bei 2008 gar nicht mehr so wie damals beim Sprung von 2000 auf 2003?)

LG

Toby