mac0815
Goto Top

Performance Probleme im RAID 5 und im Netz win 2k3

Erst mal entschuldigung für so viel Text, aber damit kann ma nvllt schon mal einiges ausschliessen...

Also ich habe das Problem, dass alles irgendwie langsam ist. Trotz GBit Netzwerk kann ich daten nur mit 8-max. 12MB/s vom 2k3 Server zum Win XP Client übertragen. Auch wenn sonst kein Verkehr im Netz herrscht (normalerweise ca. 20 Clients).

Als Plattensystem im Server haben wir einen RAID 5 aus 3 nagelneuen 15k U/min Platten von Fujitsu (38GB), vorher waren es 3 x IBM 7,2k U/min 18 GB, welche aber eigendlich nicht sonderlich langsamer waren im Netz...

Die Platten hängen an einem Adaptec I2O 2100S mit neustem BIOS, neustem HBA und neustem SMOR sowie den neusten Treibern und 32MB Cache.

Auch lokal haperts an der Performance der Platten. Testproggies wie Dr. Hardware geben einen utopischen Wert an, wahrscheinlich wg. des Caches auf dem Controller (Leserate 240 MB/s bei dem neuen RAID und 100 MB/s beim alten, Schreibrate 2 MB/s neu und 0,6 MB/s alt), Sisisoft Sandra weigert sich völlig, die Performance zu testen. Allerdings kann ich mich nicht über Fehler o. Ä. beklagen, alles funktioniert.

Handgemessen komme ich auf ca. 5-30 MB/s lokal, je nach Lust und Laune...

Mein laufwerk ist komprimiert, sollte aber eher positiv sein von der Performance her bei einem Athlon64 3200+ und 1 GB RAM. Auf dem Server läuft zur Zeit weiter nichts, nur Purer Fileserver. Normalerweise allerdings noch eine DB die ich abgeschaltet habe.

So hundertprozentig sicher bin ich mir nicht, ob es ein Problem des RAIDs ist oder des Netzwerkes, is alles etwas komisch... wenn ich mit 2 Clients zugreife, komme ich auf ca. 15 MB/s im Netz...

Bei einer IDE Platte (30GB, 5,4 U/min) habe ich wesendlich höhere Übertragungen, sowohl lokal als auch im Netz (Nur DR. Hardware hält die Platte für langsamer)

ich bin hier am verzweifeln... Hat jemand Ideen?

Habe übrigens auch schon andere Beiträge hier durchgelesen, aber die haben nicht geholfen...

Content-Key: 10966

Url: https://administrator.de/contentid/10966

Printed on: April 26, 2024 at 16:04 o'clock

Member: linkit
linkit May 21, 2005, updated at Oct 17, 2012 at 13:30:25 (UTC)
Goto Top
hallo mac0815:

Erstmal zum Raid 5 sei gesagt, daß Raid 5 kein Hochperformance-, sondern eher ein Budgetraid ist. Siehe auch: Raid und Raidlevel

Allerdings dürfte dies in deinem Fall nicht das Problem sein, denn so groß sind dann die Unterschiede doch wieder nicht.

Wenn du schon die Probleme auch am Server direkt hast und nicht nur im Netzwerk, dann würde ich auch an dieser Stelle anfangen zu suchen. Beispiel die Komprimierung könnte mit ein Grund für die Verlangsamung sein. Schau dir auch mal an, (bevor Windows startet auf dem schwarzen Bildschirm) die IRQ Aufteilung (nicht die von Windows) und schau, ob es hier vorallem mit dem SCSI Controller Überschneidungen gibt. In Windows schaust du, ob das Ding mti von ACPI gesteuert wird.

Und dann gibt es noch ein Problem bezüglich der Hardware, das ist deine Platform. NIcht das ein Athlon langsam ist, sondern oft die Chipsätze auf den Boards. Gerade in Verbindung mit via, nvidia etc. habe ich hier schon extreme Leistungseinbrüche festgestellt.
Dies kannst du am einfachsten testen, wenn du das System auf einem INTEL-Chipsatz-Board beispielsweise mit dem 925 Chipsatz getestet wird.

Busbreite könnte ein Problem sein, wenn du beispielsweise einen 32 Bit Controller hast und der PCI Bus ausgelastet ist. Deshalb haben die Server abgekoppelte PCI-X Steckplätze (nicht zu verwechseln mit Express).

Weiterhin kann auch eine doppelte ID-Einstellung, Kollisionen, Fehlkonfiguration oder Terminierung auf dem SCSI-BUS das Problem darstellen. Nutze hierzu das Adaptec BIOS und Adaptec Tools um dies zu überprüfen. Auch das Kabel muß demenstprechend abgeschirmt und gut angesteckt sein. Kontakte dürfen nicht verbogen sein.

Schalte auch den Cache mal ab, denn dieser kann unter Umständen auch bremsen.

Weiterhin ist auch fraglich, wie dein Server konfiguriert ist, denn hier kan eine falsche Konfiguration auch zu Performanceeinbrüchen führen.
Member: MAC0815
MAC0815 May 23, 2005 at 08:56:59 (UTC)
Goto Top
Hi, erst mal danke für die Info...

Ja, RAID 5 ist nicht hochperformant, sollte aber doch mit 15k Platten schneller sein als eine 5.400er IDE Platte mit 30 GB... Und wenigstens schneller als die alten 7.200er Platten...

Ich denke auch, dass das Problem lokaler Natur ist.

Die Komprimierung ist wohl nicht das Problem, habe alles dekomprimiert, und es hat sich nichts geändert.

Zu den IRQs komme ich später noch mal.

Chipsatz: Hmm, ist zwar ein VIA, aber ich glaube nicht so recht daran, dass hier das Problem liegt, da ich ja vom IDE Kanal her auch Leistung habe. Aber werde am Wochenende mal einen P4 testen.

Ein Server Board war zu teuer, deshalb haben wir hier nur PCI32 Steckplätze. Aber eine Überlastung kann ich mir eigendlich nicht vorstellen, denn ich hab ja nur den Controller und die Netzwerkkarte. Naja, genaugenommen habe ich 2 Controller, einen weiteren AMD SCSI Controller für den Streamer. Kann hier evtl das Problem liegen? Dieser 2. Controller hat zwar nie was zu tun, aber bei einer Analyse bekam ich folgenden Hinweis: "PCI Latenzzeit zu hoch. Dadurch können PCI-Karten die Busgeschwindigkeit beeinträchtigen." Und über die Graka meckert er (S3 PCI), sie sei nicht Busmasterfähig...

Frage dazu: kann ich den Streamer mit einem SCSI-Adapter einfach an den RAID-Controller hängen? Oder sollte ich für den Streamer einen 2940UW nehmen, den ich noch habe?

Zum SCSI: nachdem ich mal den alten Raid, der sich auch noch im System befindet, abgehängt habe, und ein kurzes Kabel genommen habe, kam es mir subjektiv zumindest schneller vor. werde sowieso mal neue kabel organisieren... IDs und Terminierung sollten perfekt sein...

Cache Apschalten bringt leider nichts.

Mein Server is "normal" ohne Spielereien konfiguriert, hab ja auch unter IDE Performance...

Die IRQs: Da kann ich erst richtig gucken, wenn hier feierabend ist, momentan arbeiten alle an dem Ding.

ich melde mich noch mal später...
Member: linkit
linkit May 23, 2005 at 09:31:51 (UTC)
Goto Top
An sich ist eigentlich, was zu gemacht hast vorbildlich. Bis auf das Board - aber hier hat wohl der Preis entschieden. Auch daß der Streamer an einem eigenen Controller hängt, ist absolut in Ordnung. Bei unseren HighEndServern haben wir teilweise 4 oder 5 SCSI Controller in einem System, wo über den SCSI Controllern hinweg noch ein Raid liegt.

Wenn das alles nicht hilft, können nur Hardwaredignosekarten und entsprechende Software weiterhelfen. Wahrscheinlich verfügst du aber darüber nicht.

Auch würde ich auf jeden Fall mal mit Adaptec sprechen. Wenn du keine OEM, sondern eine org. Karte hast, dann erhälst du auch demenstprechenden Support.
Member: MAC0815
MAC0815 May 24, 2005 at 07:51:13 (UTC)
Goto Top
Was kostet denn so ne Karte und Software bzw. was kannst Du da empfehlen? Ich hab bestimmt schon 5000 Rechner gebaut, repariert und/oder aufgerüstet und so ne Karte nie vermisst, aber vllt. isses ja nützlich.

Jaaa, ob mir Adaptec Support liefert ist fraglich, immerhin is der Controller schon 5 Jahre alt, und ich weis gar nicht mehr, ob der OEM oder nicht war... Muss mal die Rechnungen wälzen...

Ich hab schon einige Server gebaut (natürlich keine von Deinen Dimensionen), neulich einen mit mit Dual-Opteron 1800 und zwei gespiegelten WD 10k U/min SATA Platten, das Ding is Plattenmässig gerannt, gerade deshalb ärgert es mich um so mehr, dass hier die besseren Platten so lahmen...

Hier bei diesem Server ist es halt eben ein Sonderfall: Da er auf einer Gemeindeverwaltung steht und jeder weis, dass die nie Geld haben (in diesem Fall sogar Schuldenrekordhalter), is das Ding immer aufgerüstet worden, und das ist suboptimal.

Naja, werde nachher noch mal gucken...
Member: MAC0815
MAC0815 May 25, 2005 at 09:09:26 (UTC)
Goto Top
Hmm, also ich habe jetzt den AMD Controller mal ersatzlos rausgeschmissen (dann läuft die Bandsicherung halt mal nicht) und dem RAID-Controller IRQ 5 gegeben. BIOS und der Controller sind sich einig, dass sie IRQ 5 haben, aber Windows meint, er sitzt auf IRQ 18??? Obwohl der 5er exklusiv und nicht geshared ist. Was ist das nun wieder?

Performance mässig immer noch mau...
Member: MAC0815
MAC0815 Mar 02, 2006 at 08:53:56 (UTC)
Goto Top
Hallöle, ich will hier mal ein altes Thema wieder Aufwärmen, vieleicht hat jemand ja eine Idee...

Also, das performance-Problem habe ich immer noch, bin aber wesendlich weiter gekommen:

Es liegt nicht am Board oder irgendwelchen IRQs, es liegt wohl am Controller...

Wenn ich aus meinen alten Platten (3 Stück) einen RAID 0 am gleichen Controller bastele, ist dieser verdammt flott. Nur eben im RAID 5 lahm wie sonstwas, Also etwa 15%-50% der Leistung einer EINZELNEN Festplatte...

Controller tauschen???
Member: MAC0815
MAC0815 May 15, 2006 at 09:40:43 (UTC)
Goto Top
Ich weiß, das Thema ist mittlerweile etwas veraltet, das Problem aber dummerweise nicht gelöst. Habe jetzt fast alles durchprobiert.
Controller getauscht (gegen baugleichen, aber jeden Fall funktionstüchtigen), Den Controller samt RAID in nem Intel System (915G) getestet, statt RAID-5 nen RAID-0 genommen.

Nichts hat geholfen. Weiß vll jemand, ob hier 2003 Server das problem sein könnte? Denn das war das einzige, was sich nie verändert hat...

Lokal werden immernoch max 10MB/s schreiben (Dr. Hardware) erreicht. Das ist für nen Fileserver nicht tragbar, zumal die Datenmengen leider nicht weniger werden.

Hat jemand zufällig ebenfalls einen 2100S in Betrieb und kann mir Refenzwerte geben?

So langsam bin ich echt verzweifelt...
Member: horst98
horst98 May 31, 2006 at 09:03:33 (UTC)
Goto Top
Hallo MAC,

ich selbst hatte 4 dieser Controller im Einsatz. Mit eigentlich sehr gutem Erfolg. Allerdings habe ich nur einmal ein RAID5 mit 10k Platten aufgebaut.

Bei den Performance-Messungen muss man ein paar Dinge berücksichtigen. Ich gehe einmal davon aus, dass Du RAID5 tatsächlich im Controller und nicht im Windows aufgesetzt hast.

Der Controller ist vom Design her sehr alt und Support gibt es natürlich von Adaptec schon lange nicht mehr. Das kann man knicken.

Ich habe 2 Dinge in meinen alten Unterlagen gefinden:

1. Die Performance ist nie wirklich über 45MB/s beim Lesen oder Schreiben heraus gegangen (RAID 0, 1, 0+1). Da kommt die Grenze beim 32bit PCI-Bus zum Tragen. Beim Schreiben auf RAID5 waren es sogar bestenfalls nur 10MB/s. Doch die Leseperformance lag bei RAID5 auf gleichem Niveau wie bei den anderen RAID-Konfigurationen.

2. Das BIOS sollte auf 370F hoch genommen werden, denn damit ist die Performance 10 bis 20% besser. Den größten Performance-Sprung habe ich mit dem sogenannten 'Beta-Treiber' herausgeholt. Hier stieg die Leseperformance noch einmal massiv an.

Was mir größte Sorge machen würde ist die Weigerung des SiSoft Testprogramms, das Array zu testen. Wenn keine Fehlermeldung kommt, sondern es nur extrem lange dauert, dann ist wirklich etwas faul im Staat und es liegt mehr an der Konfiguration Controller/Board als Controller/Windows.

Ich selbst hatte massive Probleme den Controller mit anderen Karten zusammen zum Laufen zu bringen. In einem 66MHz Slot lief er gar nicht gut. Nur in einem Standard 32bit Slot wollte er.

Die Kompression auf diesem Array sollte nicht viel ausmachen. Doch für Tests würde ich mir eine kleine, unkomprimierte Partition zurück behalten.

Mit dem Gbit-Netzwerk hatte ich zunächst ebenfalls richtig Probleme. Der Server machte maximal 25 MB/s. An den Clients kam nicht mehr als 3MB/s an. Auch der Tausch der Netzwerkkarten auf der Clientseite (100Mbit/s = max. 9MB/s) hin zu 1 Gbit/s Karten brachte nicht viel. Vor allem wenn man alte Windows Versionen im Einsatz hat.

Die schlechtesten Erfahrungen habe ich mit Netgear gemacht. Die besten mit Intel Pro 1000 Adaptern. Aber mehr als 35MB/s schaffe ich auch mit diesen Karten nicht. Unter Linux sind die Treiber wohl besser konfiguriert und man schafft wirklich viel mehr (Theorie 90MB/s). Aber immer aufgepasst: Der Standard PCI-Slot begrenzt Dir den Traffic in der Regel auf 30 bis 50 MB/s sowieso. Dabei musst Du die PCI-Bus Datenrate im Server auf Platte und Netzwerkkarte aufteilen. Schließlich muss der Bus beide Karten bedienen.

Und dann ist da noch diese merkwürdige PCI-Fehlermeldung. Die erscheint mir sehr wichtig. Das IRQ-System ab W2k beinhaltet virtuelle Interrupts. D.h. auch wenn man im BIOS IRQ 5 angibt, dann wird ein virtueller Interrupt (z.B. Dein 18) angelegt. Das liegt daran, dass das alte System der kaskadierten IRQs aus dem alten IBM PC so langsam am Ende ist. Das IRQ-Sharing auf dem PCI-Bus soll da Abhilfe schaffen. Dazu ist dieser Zeitwert im BIOS gedacht. Halbiere diesen Wert im BIOS einmal. Dann sollte der Fehler eigentlich weg gehen.

Mein erster Tipp geht in Richtung richtiger Einstellung des PCI-Busses.
Auf den zweiten Controller für das Tape kannst Du vermutlich verzichten, wenn das Tape den 68pol. Anschluss hat. Da kann der zweite Controller mehr Probleme machen, als er Vorteile bringt.

Mein zweiter Hinweis geht auf die Verwendung des Beta-Treibers. Den sollte man bei Adaptec auf der Homepage eigentlich finden. Der bedient den Cache im Lesen deutlich besser.

Nach 3 Jahren basteln habe ich dann, nach dem Tod des Mainboards komplett umgestellt.

Jetzt läuft ein ASUS PSCH/SCSI mit eingesetztem Adaptec 2015S. Da brummt alles dran. Nur die Netzwerk-Performance ist nicht so hoch, wie sie theoretisch sein sollte. Dazu habe ich aber beide Gigabit Netzwerkkarten onboard zu einem Team zusammen geschaltet. Intern sitzen sie auf zwei verschiedenen Bussen. Als Resultat kann ich von zwei Arbeitsstationen aus mit jeweils 35MB/s auf den Server zugreifen. Das ist natürlich jenseits der Plattenperformance aber innerhalb der Cache-Geschwindigkeit. Für kleine Zugriffe geht es.

Bei Programmen, die partout nicht schneller wollen (z.B. Lexware Buchhalter Netzwerkversion), habe ich eine 1GB Ramdisk auf dem Server eingerichtet. So flutschen auch die.

Gruß
Horst
www.TheWhiskyStore.de
Member: horst98
horst98 May 31, 2006 at 09:20:50 (UTC)
Goto Top
des Caches auf dem Controller (Leserate 240
MB/s bei dem neuen RAID und 100 MB/s beim
alten, Schreibrate 2 MB/s neu und 0,6 MB/s
alt), Sisisoft Sandra weigert sich
völlig, die Performance zu testen.

Handgemessen komme ich auf ca. 5-30 MB/s
lokal, je nach Lust und Laune...

wenn ich mit 2 Clients zugreife, komme ich
auf ca. 15 MB/s im Netz...

Ein wichtiger Punkt in diesem Zusammenhang ist die Blockgröße beim Schreiben. Denn die Controller sind typisch nicht durch die Datenrate sondern durch die Transaktionsrate begrenzt. Wenn dann nur ein paar Hundert Transaktionen pro Sekunde drin sind, dann ist natürlich auch die Datenrate bei nur 0,6MB/s.

Die 2MB/s würde ich unter diesen Gesichtspunkten als nicht so schlecht empfinden. Schließlich muss das XOR gleichzeitig auf dem Controller gerechnet werden. Da kann es auch langsam Sinn machen w2k3 das RAID 5 rechnen zu lassen. Der Athlon könnte schneller als der Chip auf dem Controller laufen.

Wie sollte ich die 15MB/s verstehen? Jeder 15MB/s oder beide zusammen? Vergleicht man das mit den händischen Messungen (5 bis 30), dann käme das ja hin.

Am Ende des Tages habe ich eines gelernt. Synthetische Benschmarks sind das eine. Praxis-Benschmarks etwas anderes. Da sind in der SOftware noch so viele Kröten - sprich schlechte SQL-Aufrufe - drin, dass die synthetische Rate nicht mehr ganz so wichtig wird. Natürlich hilft eine hohe syn.-Rate bei der Bewältigung der schlechten Prorammierung. Aber mein Lexware-Problem konnte ich nur mit einer RAM-Disk bewältigen.

Auf jeden Fall soltest Du 6 einzelne Datenraten bestimmen. So wie es z.B. das SiSoft Sandra Progrmm ausgibt.

Lesen Cache (kleine Menge)
Lesen Continous (große Menge)
Lesen Random
Schreiben Cache (kleine Menge)
Schreiben Continous (große Menge)
Schreiben Random
Average Access Time

Das alles solltest Du zunächt mit Standard Blockgröße (sowohl im w2k3 als auch im Adaptec Controller) durchführen. Das sind gute Mittelwerte, auf die alle ihre Programmierung in optimiert haben.

Gruß
Horst
www.TheWhiskyStore.de
Member: MAC0815
MAC0815 Jun 12, 2006 at 08:20:10 (UTC)
Goto Top
Danke erstmal für deine sehr ausführlichen Bericht.

Wir hatten es jetzt satt. Also haben wir den 2003er Server auf einer Ersatzplatte neu aufgesetzt. Und siehe da: Da liegt der Hund begraben.

Wenn wir den 2003er ganz frisch laufen lassen, läuft das Netz halbwegs ordentlich: 40MB/s lesen, ca. 10MB/s schreiben.

Das sind zwar auch keine Heldentaten, aber scheint gemäß deinem Bericht ein halbwegs realer Wert zu sein.

Sobal wir aber den Domänecontroller anschalten, brechen die Werte auf 15MB/s lesen und 500KB/s schreiben ein...

Im Internet haben wir dazu nix gefunden. Und das kann doch nicht das Gelbe vom Ei sein? Da war unser alter NT4 Server um ein vielfaches schneller.... SMB signiing haben wir auch ausgeschaltet, hat nix gebracht.

Variabler Lastenausgleich etc iss auch aus... Sobald der Domänencontroller wieder aus ist, geht die Performance schlagartig nach oben...
Member: horst98
horst98 Jun 12, 2006 at 12:33:51 (UTC)
Goto Top
Hallo,

da kann ich nun nicht mehr helfen, da ich in dieser Hinsicht ziemlich unbeleckt bin.

Könnte es sein, dass da etwas mit der Rechtevergabe nicht in Ordnung ist?

Gruß
Horst Lüning
www.TheWhiskyStore.de
Member: MAC0815
MAC0815 Jun 12, 2006 at 16:48:45 (UTC)
Goto Top
eigendlich nicht, haben auf der Testumgebung nur einen Benutzer, den Admin...