16
Netzwerkprobleme nach 2GByte Transfer massive Leistungseinbrüche
Gruss an die Communmity
ich habe aktuell folgendes echt störende Problem.
Wenn ich eine Datei grösser 2GByte über das Netzwerk kopiere, erleidet der Kopiervorgang bei ungefähr 2Gbyte einen Massiven Leistungs Einbruch. Dieser tritt bei 8GByte Dateien nach ca 25% auf und bei 2,5Gbyte kurz vor ende...
Betriebssystem ist ein Windows 2003 Server Standard
Ich habe unterschiedliche Teams von Netzwerkkarten genutzt:
Intel Server Adapter 1000 GT Dual Team mit ALB (Adaptiven Load Balancing)
Intel Server Adapter 1000 GT Dual Team mit Dynamischen Link Aggregation Protokoll
Broadcom Teams mit ALB
Die Hardware kann nicht schuld sein...
ich kopieren von einem 6x300GB Raid 5 zu einem weiteren 6x300GB Raid 5
Switch ist ein Cisco 3750G der für passives LACP Konfiguriert wurde
Zusatz Info:
Ich habe eine Direktverbindung zwischen den Server ohne Teaming der Netzwerkkarten probiert.
Ergebnis war hier eine Maximalauslastung von 56% der 1Gbit Verbindung. Der eingesetzte Switch war ein Cisco 4910
Der Leistungseinbruch nach Transfer von 2Gbyte war wieder vorhanden!
Das Problem ist wohl Betriebssystemspezifisch
Wo finde ich den Ansatz?
Das selbe Phenomen trat bei einer Konfiguration ohne Team auf!
Die Platten sind allemal schnell genug!
Bremst das Betriebssystem?
Wie kann ich genauer Diagnostizieren wo der Fehler liegt?
Fragen über Fragen...
Ich bin für jede Hilfe Massiv dankbar
bei Fragen zur Systemkonfiguration einfach nachhacken...
Gruss
The-Warlord
ich habe aktuell folgendes echt störende Problem.
Wenn ich eine Datei grösser 2GByte über das Netzwerk kopiere, erleidet der Kopiervorgang bei ungefähr 2Gbyte einen Massiven Leistungs Einbruch. Dieser tritt bei 8GByte Dateien nach ca 25% auf und bei 2,5Gbyte kurz vor ende...
Betriebssystem ist ein Windows 2003 Server Standard
Ich habe unterschiedliche Teams von Netzwerkkarten genutzt:
Intel Server Adapter 1000 GT Dual Team mit ALB (Adaptiven Load Balancing)
Intel Server Adapter 1000 GT Dual Team mit Dynamischen Link Aggregation Protokoll
Broadcom Teams mit ALB
Die Hardware kann nicht schuld sein...
ich kopieren von einem 6x300GB Raid 5 zu einem weiteren 6x300GB Raid 5
Switch ist ein Cisco 3750G der für passives LACP Konfiguriert wurde
Zusatz Info:
Ich habe eine Direktverbindung zwischen den Server ohne Teaming der Netzwerkkarten probiert.
Ergebnis war hier eine Maximalauslastung von 56% der 1Gbit Verbindung. Der eingesetzte Switch war ein Cisco 4910
Der Leistungseinbruch nach Transfer von 2Gbyte war wieder vorhanden!
Das Problem ist wohl Betriebssystemspezifisch
Wo finde ich den Ansatz?
Das selbe Phenomen trat bei einer Konfiguration ohne Team auf!
Die Platten sind allemal schnell genug!
Bremst das Betriebssystem?
Wie kann ich genauer Diagnostizieren wo der Fehler liegt?
Fragen über Fragen...
Ich bin für jede Hilfe Massiv dankbar
bei Fragen zur Systemkonfiguration einfach nachhacken...
Gruss
The-Warlord
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 102231
Url: https://administrator.de/contentid/102231
Ausgedruckt am: 22.11.2024 um 10:11 Uhr
16 Kommentare
Neuester Kommentar
Was benutzt Du für Betriebssysteme ?
Stefan
Stefan
Tritt das Problem auch auf wenn du die Datei versuchst via Download (http/ftp) von deinem server zu laden? Damit wäre dann klar ob es an Windows oder an der Hardware (NIC/LAN) liegt.
Gruß Rafiki
Gruß Rafiki
Hast du dein TCP Stack angepasst für max. Performance im LAN ??
Das sollte ggf. deine Problem lösen:
http://www.psc.edu/networking/projects/tcptune/
In jedem Falle solltest du die TCP Windowsize anpassen !!
Das sollte ggf. deine Problem lösen:
http://www.psc.edu/networking/projects/tcptune/
In jedem Falle solltest du die TCP Windowsize anpassen !!
Moin,
ich benutze Windows 2003 Standard Edition
ich benutze Windows 2003 Standard Edition
Die TCPMaxWindowSize wurde auf 400000 erhoht, die Übertragungrate des Teams wurde gesteigert, der Leistungseinbruch trat wieder auf.
MfG
The-Warlord
MfG
The-Warlord
Ich habe einen FTP Server auf einem der Rechner installiert und versucht eine 8Gyte Datei zu transferieren... und wieder...
nach 2Gbyte Transfer Leistungseinbruch auf 0,49%
Kann ich daraus schliessen das es sich nicht um ein SMB Problem handelt sondern die Netzwerkkarten bzw. der Switch schuld ist?
Ich habe ja auch schon die Onboard Broadcom NIC (mit Team und ohne) sowie die Intel NIC (Steckkarte) probiert (mit Team und ohne). 2x Cisco Switch (3750G und 4910R).
Ich werde es mal mit einen handelüblichen Switch probieren...
Gruss
The-Warlord
nach 2Gbyte Transfer Leistungseinbruch auf 0,49%
Kann ich daraus schliessen das es sich nicht um ein SMB Problem handelt sondern die Netzwerkkarten bzw. der Switch schuld ist?
Ich habe ja auch schon die Onboard Broadcom NIC (mit Team und ohne) sowie die Intel NIC (Steckkarte) probiert (mit Team und ohne). 2x Cisco Switch (3750G und 4910R).
Ich werde es mal mit einen handelüblichen Switch probieren...
Gruss
The-Warlord
Ich hatte genau das gleiche Problem, es lag am Raid. Ich hatte damals Das Betriebssystem auf einer separaten Platte und meine Daten auf dem Raid 5. Habe ich vom Raid 5 kopiert hatte ich genau die selben Problem wie Du. habe ich aber die Daten vorher auf die Systemplatte kopiert konnte ich ohne Probleme und mit voller Geschwindigkeit von der Systemplatte kopieren. Ich habe nun schon ne halbe Stunde nach dem Beitrag gesucht aber leider nicht gefunden. Das Problem ist hausgemacht und betrifft nur Server 2003 beim kopieren solch großer Dateien über ein Raid-System. Unter Server 2008 tritt dieses Problem nicht auf.
Kann Dir da leider nicht weiterhelfen...
Kann Dir da leider nicht weiterhelfen...
Danke!
Jetzt hab ich schonmal einen Ansatz?
Kannst du dich nicht grob erinnern was es war?
Es ist kaum möglich nach so ein einer Fehlerbeschreibung im Internet zu suchen.
Gruss
The-Warlord
Jetzt hab ich schonmal einen Ansatz?
Kannst du dich nicht grob erinnern was es war?
Es ist kaum möglich nach so ein einer Fehlerbeschreibung im Internet zu suchen.
Gruss
The-Warlord
Einen RAID Controller als Ursache für Probleme mit großen Dateien kenne ich noch nicht, aber man lernt jeden Tag dazu. Gibt es einen neuern Treiber / Bios für den RAID Controller? Um welchen Controller handelt es sich?
Mit dem PreformanceMonitor (perfmon.exe), hinzufügen, Datenobjekt: logische Datenträger, Bytes/s siehst du wie viele Daten pro Sekunde von dem RAID Laufwerk gelesen werden.
Vergleiche das Verhalten im Netzwerk mit dem Verhalten wenn du z.B. eine Datei nur von der Festplatte liest.
copy test.dat >nul
Kopiert die Datei test.dat in das null device, entspricht also nur lesen der Daten und wegwerfen.
Kannst du zum vergleich eine USB Festplatte anschließen und den Test von der Platte wiederholen?
Gruß Rafiki
Mit dem PreformanceMonitor (perfmon.exe), hinzufügen, Datenobjekt: logische Datenträger, Bytes/s siehst du wie viele Daten pro Sekunde von dem RAID Laufwerk gelesen werden.
Vergleiche das Verhalten im Netzwerk mit dem Verhalten wenn du z.B. eine Datei nur von der Festplatte liest.
copy test.dat >nul
Kopiert die Datei test.dat in das null device, entspricht also nur lesen der Daten und wegwerfen.
Kannst du zum vergleich eine USB Festplatte anschließen und den Test von der Platte wiederholen?
Gruß Rafiki
"...mit Team und ohne" !!!
Wenn du Teaming aktiviert hast, hast du das auch auf dem Cisco gemacht ???
Teaming ist immer eine zweiseitige Konfig und muss auch auf dem Switch gemacht werden !!
Dort muss dann Trunking nach 802.3ad mit LACP aktiviert werden.
Bei Cisco heisst das "Etherchannel" !!!
Achtung: Wenn du das im Standard konfiguriert stellt Cisco sein proprietäres PaGP (Port Aggregation Protokoll) ein !!
Du musst mit mode active oder explizit lacp sagen das du LACP machen willst in der Konfig, sonst rennt es nicht sauber !!
Wenn du das nicht gemacht hast hast du niemals Teaming richtig aktiviert !!!
Wenn du Teaming aktiviert hast, hast du das auch auf dem Cisco gemacht ???
Teaming ist immer eine zweiseitige Konfig und muss auch auf dem Switch gemacht werden !!
Dort muss dann Trunking nach 802.3ad mit LACP aktiviert werden.
Bei Cisco heisst das "Etherchannel" !!!
Achtung: Wenn du das im Standard konfiguriert stellt Cisco sein proprietäres PaGP (Port Aggregation Protokoll) ein !!
Du musst mit mode active oder explizit lacp sagen das du LACP machen willst in der Konfig, sonst rennt es nicht sauber !!
Wenn du das nicht gemacht hast hast du niemals Teaming richtig aktiviert !!!
...auf dem Cisco wurde eine Etherchannel konfiguriert, mode war LACP Passive
Das Team wurde unter Windows mit 2Gbit angezeigt, Netzwerkverkehr war möglich.
Ich denke nicht das es an der Netzwerkonfiguration liegt.
Etherchannel is G31L!... also Sry... wenn ich das mal so sagen darf
Das Team wurde unter Windows mit 2Gbit angezeigt, Netzwerkverkehr war möglich.
Ich denke nicht das es an der Netzwerkonfiguration liegt.
Etherchannel is G31L!... also Sry... wenn ich das mal so sagen darf
Mode active wäre besser, denn dann kommt es zu einer beidseitigen LACP Negotiation.
Das liegt vermutlich dann auch nicht am Netz selber sondern an den Endgeräten. Da solltest du mal suchen...
Ggf. hilft noch ein genereller Performancetest mal mit NetIO oder IPerf:
http://www.ars.de/ars/ars.nsf/docs/netio
http://www.nwlab.net/art/iperf/
Das liegt vermutlich dann auch nicht am Netz selber sondern an den Endgeräten. Da solltest du mal suchen...
Ggf. hilft noch ein genereller Performancetest mal mit NetIO oder IPerf:
http://www.ars.de/ars/ars.nsf/docs/netio
http://www.nwlab.net/art/iperf/
Moin!
ich habe mal einen Performance-test mit NetIO durchgeführt
Das Team mit dem Trunk auf 802.3ad basis:
~ 45Mbyte/s = 360Mbit/s = 0,35 Gbit/s
Das ist weit weg von 2Gibt/s die das System ja (rein theorethisch) bringen kann
Einzelne Karte ohne Team über den Cisco 4510R:
~ 55Mbyte/s = 440Mbit/s = 0,42 Gbit/s
Das ist auch weit weg von Gut und Böse
Einzelne karte Crossover-Direktverbindung:
~80 Mbyte/s = 640Mbit/s = 0,625 Gbit/s
Die Switche scheinen wohl auch nicht so zu funktionieren wie sie sollen... mhhh...
Zusätzlich noch das Problem mit dem Raid-Adapter...
Ich schieb mal ein paar HDD Performancetests nach
Gruss
Simeon
ich habe mal einen Performance-test mit NetIO durchgeführt
Das Team mit dem Trunk auf 802.3ad basis:
~ 45Mbyte/s = 360Mbit/s = 0,35 Gbit/s
Das ist weit weg von 2Gibt/s die das System ja (rein theorethisch) bringen kann
Einzelne Karte ohne Team über den Cisco 4510R:
~ 55Mbyte/s = 440Mbit/s = 0,42 Gbit/s
Das ist auch weit weg von Gut und Böse
Einzelne karte Crossover-Direktverbindung:
~80 Mbyte/s = 640Mbit/s = 0,625 Gbit/s
Die Switche scheinen wohl auch nicht so zu funktionieren wie sie sollen... mhhh...
Zusätzlich noch das Problem mit dem Raid-Adapter...
Ich schieb mal ein paar HDD Performancetests nach
Gruss
Simeon
Der HDD Performance Test ergab:
Average Read 150Mbyte/s
daran liegts also auch net!
Jemand ne Idee warum mein Netzwerk so langsam ist?
Nen Ansatz wie ich meinen max 2Gbyte gehen gut übers Netz Problem in den Griff bekomme?
Ich bin ratlos...
Gruss
Simeon
Average Read 150Mbyte/s
daran liegts also auch net!
Jemand ne Idee warum mein Netzwerk so langsam ist?
Nen Ansatz wie ich meinen max 2Gbyte gehen gut übers Netz Problem in den Griff bekomme?
Ich bin ratlos...
Gruss
Simeon
Was sind deine GiG Karten für Karten ??
Chipsatz attached, PCIe oder etwa nur PCI attachte Karten ??
Welche mit eigenem Chipsatz die den TCP Stack in Hardware behandeln oder billige Realtek Chips die das der Rechner CPU aufbürden ??
P.S.: Mit dem Teaming (Etherchannel) Test musst du aufpassen: Das geht nicht mit nur einem Test PC denn denn deine Bandbreite wird nicht wirklich auf 2 Mit erhöht. Der Trunking Algorythmus verteilt lediglich die Sessions nach Mac Adressen auf die einzelnen Links !
Eine XOR Verknüpfung der letzten 3 Bits der Mac Adresse erzeugt einen Hashwert, der den Link festlegt auf welchen diese Session geforwardet wird. Es gibt keine Round Robin Verteilung mit einem Etherchannel oder Trunk !
So ein Test macht also nur Sinn wenn du eine Menge Endgeräte hast.
Ein Test mit nur einem PC wird auch nur einen einzigen GiG Link nutzen !
Das kannst du am Switch auch selber sehen wenn du dir die Link Auslastung mit einem kleinen SNMP Online Tool wie SNMPTG oder http://snmprg.sourceforge.net/ ansiehst !
Chipsatz attached, PCIe oder etwa nur PCI attachte Karten ??
Welche mit eigenem Chipsatz die den TCP Stack in Hardware behandeln oder billige Realtek Chips die das der Rechner CPU aufbürden ??
P.S.: Mit dem Teaming (Etherchannel) Test musst du aufpassen: Das geht nicht mit nur einem Test PC denn denn deine Bandbreite wird nicht wirklich auf 2 Mit erhöht. Der Trunking Algorythmus verteilt lediglich die Sessions nach Mac Adressen auf die einzelnen Links !
Eine XOR Verknüpfung der letzten 3 Bits der Mac Adresse erzeugt einen Hashwert, der den Link festlegt auf welchen diese Session geforwardet wird. Es gibt keine Round Robin Verteilung mit einem Etherchannel oder Trunk !
So ein Test macht also nur Sinn wenn du eine Menge Endgeräte hast.
Ein Test mit nur einem PC wird auch nur einen einzigen GiG Link nutzen !
Das kannst du am Switch auch selber sehen wenn du dir die Link Auslastung mit einem kleinen SNMP Online Tool wie SNMPTG oder http://snmprg.sourceforge.net/ ansiehst !
80MB/s für NetIO finde ich ist ein guter Wert für die Gigabit Verbindung.
Hast du mal den copy test.dat >nul Test mit perfmon überwacht? (siehe oben, mein Kommentar)
Wie verhält sich dein Server wenn keine Netzwerkkarte im Spiel ist?
Der HDD Performance Test ergab: Average Read 150Mbyte/s
Auch dieser Wert ist gut. Bleibt also die Frage was bei Übertragungen von mehr als 2GB anfängt zu stören. Da du sagst, dass Problem tritt bei SMB (Windowsfreigage) und bei FTP auf liegt mein Verdacht auf Treiberebene und nicht bei Windows. Netzwerktreiber oder RAID Treiber sind die ersten Kandidaten.Hast du mal den copy test.dat >nul Test mit perfmon überwacht? (siehe oben, mein Kommentar)
Wie verhält sich dein Server wenn keine Netzwerkkarte im Spiel ist?
