horst98
Goto Top

Nur 35 bis 47MB/s unter Gbit LAN mit Intel Pro 1000 CT bzw. MT

Mit dem Benchmark-Programm SiSoft Sandra habe ich Performance Tests mit GBit-Adaptern unter Windows (XP, W2K, NT4.0, W98) gemacht. Die Ergebnisse stehen nicht dort, wo sie sein sollen.

SiSoft Sandra erlaubt Benchmarks der Netzwerkkarten. Man kann alle PCs in einem Netzwerk zueinander prüfen.

Die 100Mbit/s Netzwerk PCs mit integrierten LAN-Chips (z.B. nForce2 oder SIS900) bringen es so auf Brutto-Übertragungsraten von 10MByte/s. Wie es zu erwarten war. Ältere PCI-Karten (z.B. Level One) kommen nur auf 9MB/s. Auch nicht schlecht. Immerhin 90% der theoretisch möglichen Transferrate. Die allgemein verbauten Platten auf Clientseite sind meist langsamer.

Leider bringen die Gbit-Netzwerkkarten nicht die Leistung, die ich erwartet habe. Bei Intel Pro 1000 MT PCI-Karten komme ich nur auf 35MB/s. Der PCI-Bus sollte aber 132MB/s bringen. Jetzt habe ich gehört, dass das auf dem PCI-Bus immer nur in eine Richtung geht, so dass in Realität auf dem PCI-Bus bei 60 bis 65MB/s in der Regel Schluss ist.

Doch warum erreichen die Netzwerkkarten nur die Hälfte von diesem theoretischen Wert? Am 24 Port Gbit Switch liegt es auch nicht, denn ich habe die Tests mit einem Cross-Over-Kabel überprüft. Es kommen die gleichen zu niedrigen Ergebnisse heraus.

Den absoluten Spitzenwert erhalte ich beim Test zwischen einem Intel Pro 1000CT (Server PCI-X Anschluss) und einem Intel Pro 1000 CT (PCI Karte). Bei dieser Paarung erreiche ich 47MB/s. Zwei PCI-X Netzwerkanschlüsse habe ich leider nicht.

Wer kann helfen?
Wer hat ähnliche Erfahrungen gemacht? Wer hat auf einem Gbit-Adapter bereits mehr als 50MB/s zustande gebracht? Im SiSoft Sandra wird ein 1000Base-T F/D Adapter unter PCI-X mit 97MB/s angegeben. Unter PCI soll dieser Anschluss immerhin 54MB/s bringen.

Gruß
Horst

Content-Key: 9752

Url: https://administrator.de/contentid/9752

Printed on: April 25, 2024 at 00:04 o'clock

Member: Schlachter
Schlachter Apr 20, 2005 at 14:32:33 (UTC)
Goto Top
also 132MB/s wäre schon erst mal rein theoretisch nicht drin, weil 1000/8 ja nur 125 sind. Des weiteren habe ich auch schon gehört, dass man am PCI Bus nur auf 62MB kommen kann. Aber eine Erklärung könnten die Kabel sein. Schon mal draufgeschaut? Also gemäß den Werten sollten es CAT5e Kabel sein, da sollte ab einer Länge jenseits der 5m nichts drüber zu machen sein. Nimm einfach mal CAT6 oder besser, die sind dann auch für Gigabit ausgelegt.
Member: horst98
horst98 Apr 20, 2005 at 14:38:30 (UTC)
Goto Top
Danke für den Tipp mit den Kabeln. Es sind alles Cat5e-Kabel.

Beim Test mit dem Cross-Over-Kabel betrug die Kabellänge nur 2m.

Trotzdem Danke für den Hinweis.

Gruß
Horst
Member: Schlachter
Schlachter Apr 20, 2005 at 14:43:21 (UTC)
Goto Top
aber probier es mal bitte aus, und poste mal dann das Ergebnis. Würde mich auch mal interessieren, denn ich habe bisher von Gigabit nur theoretische Ahnung.
Mitglied: 12217
12217 Apr 20, 2005 at 14:45:44 (UTC)
Goto Top
Man sollte auch beachten das eventuell die Festplatten die Daten nicht so schnell liefern können.

Ist zwar schon ein bischen älter der Link...
http://www.de.tomshardware.com/storage/20031107/hd-250-01.html
Member: horst98
horst98 Apr 20, 2005 at 16:04:48 (UTC)
Goto Top
Du hast natürlich recht. Meine Festplatten liefern im besten Fall der Fälle so zwischen 40 und 60 MB/s. Und das nur bei großen Blöcken und ohne Defragmentierung.

Doch der SiSoft Sandra ist ein synthetischer Benchmark. Der generiert seine Daten im Memory. Die Festplatten-Performance spielt da gar nicht rein. Ich teste allein die nackte Ethernet-Performance.

In Praxis habe ich eine RAM-Disk für eine Datenbank auf dem Server laufen. Das Memory läuft mit rund 4,5 GByte/s und die RAM-Disk sollte nur durch den PCI-Bus begrenzt sein.

Kann es sein, dass die Karten eine Trägheit/Verzögerung aufweisen, die die Übertragungsrate so stark einschränken?

@Schlachter:
Ich habe leider keine Cat 6 Kabel.
Die theoretischen 125MB/s werden ja noch durch TCP/IP-Header und die darunter liegenden Layer belastet. Damit sollten die 125 auch nur ein theoretischer Höchstwert sein.

SiSoft Sandra gibt für die höchste Übertragungsrate beim Gbit Ethernet 97MB/s an. Vielleicht ist ja das der Protokoll-Overhead.

Was mich stutzig macht sind die Unterschiede zwischen Gbit auf PCI und Gbit auf PCI-X. Beides sind die Intel Pro 1000 Chipsätze. Einmal CT auf PCI-X und einmal MT auf PCI.

PCI zu PCI gibt rund 35MB/s
PCI zu PCI-X gibt 47MB/s
andersherum genauso

Nächste Woche hoffe ich PCI-X zu PCI-X testen zu können.

Gruß
Horst
Member: Schlachter
Schlachter Apr 21, 2005 at 06:56:36 (UTC)
Goto Top
Das mit dem Protokolloverhaed ist mir schon klar, und im Ethernet sind die Protokolle ja auf 1460Byte beschränkt, und dann müssen die IP Pakete eben zerhackt werden. Das mit PCI und PCI-X erscheint mir aber schon logisch. Da es einmal ja direkt auf dem Board ist, und somit näher (wesentlich) am Prozessor, als wenn es erst durch den ganzen Bus durch muss. Da wirken sich die Störeinflüsse nicht ganz so stark aus. Aber jetzt mal eine ganz dumme Frage, Wenn ihr euch Gigabit leisten könnt, wieso dann nicht die entsprechenden Kabeln dazu?
Member: horst98
horst98 Apr 21, 2005 at 10:19:04 (UTC)
Goto Top
@Schlachter

Wir haben ganz bewusst auf CAT5e als Verkabelung gesetzt, da man deutlich preiswerter fährt. CAT5e ist mit 8 Adern für Gbit über 100m zertifiziert. Wenn ich an die irren Vorschriften für CAT6 denke - z.B. die minimalen Biegeradien - dann haben wir davon Abstand genommen.

Fachleute haben mir zusätzlich erklärt, dass CAT6 Dosen faktisch nicht nach Spezifikation angeschlossen werden können. Niemand kann die Kabelabschirmung so sauber nach dem Anklemmen wieder anbringen, wie gefordert. Außerdem erfordert das passende Ablängen des Kabels in der Dose ebenfalls eine Meisterleistung. Denn man muss das Kabel gerade lassen und kann es nicht in einer Schleife aufschießen. Zu lang gibt Knick - zu kurz ist klar. Die Chance mit einem sauberen Schnitt das Kabel richtig zu schneiden ist klein.

Alles in Allem scheint CAT6 tot zu sein. Entweder man nimmt Glasfaser, was bei unseren beschränkten Kabellängen ein teurer Overkill wäre, oder man nimmt CAT5e. Das ist der Stand der Technik.

Außerdem ist diese Technik gar nicht mehr so teuer. Für einen Port im Switch bezahlt man heute rund 15 EUR und eine Netzwerkkarte liegt bei 35 EUR.

Da wir vor ein paar Jahren bei der Verkabelung schon auf durchgängig CAT5eaufgepasst haben, konnten wir jetzt recht schnell für unter 1000 EUR die meisten unserer Server und PCs auf Gbit LAN umstellen.

Das einzige, was mir fehlt ist ein Gbit/s Treiber für ein MSI Board unter Windows NT4.0. Den scheint es für den nForce Chipsatz mit dem Gigabit NIC nicht zu geben. Aber damit kann ich leben.

Gruß
Horst
Member: horst98
horst98 Apr 28, 2005 at 12:21:54 (UTC)
Goto Top
PCI zu PCI gibt rund 35MB/s
PCI zu PCI-X gibt 47MB/s
andersherum genauso

Nächste Woche hoffe ich PCI-X zu PCI-X
testen zu können.
Jetzt habe ich den Test auch von PCI-X zu PCI-X gemacht. Leider ging die Performance nicht so deutlich hoch. 55MB/s habe ich geschafft. Das sind aber immer noch nur 50% der theoretischen Höchstgrenze.

Gruß
Horst
Member: Schlachter
Schlachter Apr 29, 2005 at 07:17:07 (UTC)
Goto Top
Also ich gehe wirklich straff davon aus, dass es sich um die Kabel handelt. Denn anders ist dies ja kaum noch zu erklären.
Member: horst98
horst98 Apr 29, 2005 at 11:04:26 (UTC)
Goto Top
Dann werde ich mir einmal zwei solche Kabel bestellen und die beiden Rechner bis zum Switch damit verbinden. Das sind ja nur ein paar Meter. Die Welt wird es nicht kosten.

Gruß und Danke
Horst

P.S.: Ich gebe dann Bescheid, wie es gelaufen ist.
Member: Schlachter
Schlachter Apr 29, 2005 at 11:09:37 (UTC)
Goto Top
wär echt gut, denn das interessiert mich jetzt schon. Cat 6 Cross Kabel (würde ja auch schon reichen) sollten 5m ungefähr 10? Kosten. Dies ist in Anbetracht der Kosten für den Server, ich gehe mal davon aus, es handelt sich um einen 1HE Intel?, ja eh nichts.
Member: horst98
horst98 May 02, 2005 at 06:28:53 (UTC)
Goto Top
Die Kabel kosten in der Tat deutlich weniger (Großhandel EUR 2,00). Bei der nächsten Bestellung sind sie mit dabei.

Ich habe allerdings wenig Hoffnung auf Besserung, da bei rund 50% Paketfehlern irgendwo einmal eine Fehlermeldung im Systemlog oder im Benchmark-Programm hätte aufauchen müssen.

Bei den Servern handelt es sich um ASUS PSCH-SR/SCSI Boards. Aus meiner Sicht mit rund 230 EUR eines der schönsten Entry-Level Server-Boards. Leider hatte ich zwei Boards, die gleich nach dem Auspacken defekte in der Grafik hatten. Ist mir bei ASUS eigentlich noch nie vorgekommen.

Die anderen funktionierten dann wunderbar. Doch die Vorteile der Boards sind gewaltig. Da ist alles drauf, was man so für einen Entry-Server braucht:

SCSI RAID-1 Controller für Datenplatten
SATA RAID-1 Controller für Systemplatten (hot Plug)
VGA mit gesondertem Memory
Gbit LAN über PCI-X
FSB 800 MHz mit passendem RAM (4,5GB/s)

Den Zero Channel SCSI-Controller braucht man nur, wenn man die 48MB Controller Cache oder RAID5 haben möchte. Kosten dann noch einmal 250 EUR extra.

Gruß
Horst
Member: Schlachter
Schlachter May 03, 2005 at 07:56:52 (UTC)
Goto Top
die Boards klingen ja echt interessant. Woher bekommt man denn die zu den Preisen, und was braucht man dann für ein Gehäuse?
Member: horst98
horst98 May 03, 2005 at 12:01:41 (UTC)
Goto Top
@Schlachter
Das Board gibt es z.B. bei Alternate.de (Mainboard;Sockel 478) zu 249EUR inkl. MwSt.
Als Gehäuse taugt jedes ATX-Gehäuse.

Gruß
Horst
Member: horst98
horst98 Jul 18, 2005 at 09:04:22 (UTC)
Goto Top
wär echt gut, denn das interessiert mich
jetzt schon. Cat 6 Cross Kabel (würde ja
auch schon reichen) sollten 5m ungefähr
10? Kosten. Dies ist in Anbetracht der
Kosten für den Server, ich gehe mal
davon aus, es handelt sich um einen 1HE
Intel?, ja eh nichts.
@Schlachter

Hallo,

jetzt habe ich einen größeren Umbau hinter mir und die Server alle auf diese ASUS PSCH-SR/SCSI Boards umgebaut. Auch die Kabel habe ich alle auf CAT6 gewechselt.

Leider sind die Transferraten nur auf 57-59MB/s gestiegen.

Mittlerweile habe ich das Problem gefunden.

Obwohl der verwendete Gbit/s Ethernet Port an der Northbridge 7210 angeschlossen ist, und er über einen schnellen Systembus angeschlossen ist, reagiert er nur wie auf einem simplen PCI-Bus. Da ist nix mit breiterem Bus oder höherer Frequenz.

Warum bitte wirbt ASUS mit 2 Stk. Gbit/s Ethernet-Ports, wenn sie sie intern auf PCI-Tempo und damit die halbe Transferrate drosseln?

Das einzige, was mir jetzt zur Leistungssteigerung bleibt, ist der Erwerb von zusätzlichen Gbit/s PCI-X Karten. Das ist gelinde gesagt frustrierend.

Im BIOS scheint man auch noch die Geschwindigkeit des PCI-Busses erhöhen zu können. Vielleicht kann man da noch etwas rausholen. Ich werde einmal bei ASUS nachfragen.

Ich bin auf diese Transferrate so scharf, da ich über das Netzwerk in der Nacht sichere. Und ein paar Hundert GByte zu übertragen bremst das Netzwerk schon ein paar Stunden.

Gruß
Horst
Member: horst98
horst98 Jul 25, 2005 at 07:44:37 (UTC)
Goto Top
Hallo,

jetzt bin ich doch noch ein Stück weiter gekommen.

Zwar stellt sich ASUS auf meine Fragen tot und der PCI-Bus lässt sich im BIOS nicht verstellen. Aber ich bin mit den beiden Gigabit LAN Anschlüssen auf dem Motherboard (LOM-LAN on Motherboard) weiter gekommen.

Ich habe bei den Boards den zweiten Gbit/s Port aktiviert. Der 82547 (CT-Adapter) befindet sich auf der Northbridge und der 82541 (MT-Adapter) befindet sich auf der Southbride. In der Doku von Intel für die Northbridge steht, dass der Controller auf einem Systembus mit 266MHz läuft. Auf der Southbridge soll er auf dem PCI-X laufen. Leider ist letzteres nicht wahr. ASUS hat den Controller auf einen eigenen, einfachen, langsamen 33MHz/32bit PCI Bus ohne Geschwindigkeitserhöhung gelegt. So bekomme ich über den PCI rund 45MB/s und über den Systembus rund 57MB/s. Mehr ist nicht drin.

Doch Intel hat eine clevere Software mit Namen PROSet zum Bündeln dieser beiden Adapter unter einer IP-Adresse. Gleichzeitig machen sie ein Load Balancing fürs Senden und Empfangen. Das funktioniert richtig gut. Und man hat noch einen Ausfallschutz durch Redundanz.

Ich komme jetzt zusammen mit rund 100MB/s kombinierte LAN Bandbreite auf dem Rechner. Leider nicht von einem Rechner zum anderen sondern nur als kombinierte Übertragungsleistung von mehreren anderen Rechnern (mit unterschiedlichen IPs).

So habe ich am Ende doch noch einen Vorteil aus den Boards herausgezogen. Wenn auf einem Kanal der volle Backup mit rund 30MB/s läuft, so kann ich trotzdem noch mit voller Bandbreite von einem anderen Rechner aus zugreifen.

Gruß
Horst
Member: Schlachter
Schlachter Jul 28, 2005 at 08:02:13 (UTC)
Goto Top
da sieht man mal wieder, wie das mit der Theorie und der Praxis so ist. Theoretisch klingen die 1GBit super, aber sie sind eben in der Praxis nur in den wenigsten Fällen realisiert worden, da die Kosten scheinbar zu hoch sind die Boards dementsprechend umzubauen. Aber eine sehr gute Idee mit dem Load Balancing. Ich verstehe zwar nicht, wieso das jetzt nur vom senden von mehreren Rechnern aus geht, aber naja. Jedoch sollte für so eine Sicherung sich eventuell eh etwas anderes gefunden werden. Denn die Nacht ist sehr kurz. Man sollte bedenken, dass die Sicherung ja nicht laufen sollte, wenn die Daten andersweitig in Bearbeitung sind. Sprich bespielsweise Datenbankdefragmentierung o.ä. Leider ist es heutzutage noch der Fall, dass die Festplattengrößen nahezu "unendlich groß" gemacht werden können, nur leider alle periferen Leitung und Geräte die Sicherung in einer gebräuchlichen Zeit nicht durchführen können. Besser da in meinen Augen Spiegelsätze der Festplatten als HotPlug, und dann gleich die Festplatte von A nach B transportieren.
Member: horst98
horst98 Jul 28, 2005 at 15:39:27 (UTC)
Goto Top
Hi,

mein Datensicherungskonzept sieht so aus:

Jede Nacht lauft ein Sicherungsjob und kopiert den Gesamten Inhalt der Work Arrays (4*146GB@10.000rpm im RAID1+0 Verbund) auf ein RAID 0 Array mit 'billigen' SATA und IDE Platten. Dieses Sicherungsarray hat 1,2TB (1200GB) Kapazität und so kann ich jede Nacht sichern und für jeden Tag der Woche die Daten kurzfristig bereit halten. Denn der größte Fehler der Anwender ist das Löschen von Dateien.

Dieser Sicherungsvorgang dauert in der Nacht für rund 100GB 2,5h. Das entspricht gut 10MB/s. Einmal die WOche sichere ich dann am Tag einen Sicherungssatz mit 100GB, er ist jetzt ja offline - auf ein LTO2 Tape. Da sich die Dateien jetzt in einem einziugen großen Sicherungsfile befinden, klappt das sogar über das Netz mit 20-30MB/s in einer Stunde.

Diese SIcherung hat mir früher das Netz immer zu gemacht. Jetzt mit dem zweiten Gbit Adapter bleibt die volle Bandbreite für die anderen User bestehen.

Wie das mit dem Load Balancing funktioniert kann ich nur vermuten: Der Switch arbeitet nicht mit IP Adressen sondern mit den MAC-Adressen der Adapter. Auf dem Layer 3 des Switches wird jedem Port eine MAC Adresse zugeordnet. Da jetzt jede IP (bzw. MAC) Adresse nur ein Port zugeordnet werden kann, können zwei Rechner über die beiden MAC Adressen über die beiden Karten mit dem Server kommunizieren. ABer eine Aufteilung des IP Verkehrs auf 2 MAC Adressen scheint mit diesem Intel-Treiber nicht zu gehen.

Es scheint so zu sein, dass der Switch eine sogenannte Link Aggregation können muss. Dann kann er den Traffic einer MAC Adresse auf zwei Ports verteilen. Doch diese Switches scheinen sehr teuer zu sein. So Original Cisco oder HP. Jetzt verstehe ich auch langsam, warum mein 24 Port Gigaswitch nur 450 EUR gekostet hat und man bei Cisco locker das 5fache zahlt.

Doch meine Leistung ist für die kommenden Jahre (oder zumindest Monate) ausreichend.

Gruß
horst