Koperien im Netzwerk lahm
Ich beschreibe erst mal die Harware und die Konfiguration
Server:
1 x 6C Xeon E5-2420v2 (2,2GHz/15MB)
96GB RAM (6x16 GB DDR3 1600 R ECC)
6 x HD SAS 12G 1.2TB 10K 2.5" (max 8)->RAID 5
RAID Ctrl SAS 6G 5/6 1GB inkl. FBU
Eth Ctrl 4x1Gbit Cu Intel I350-T4
VMware vSphere Embed. UFM 8 GB
2 x Stromversorgungsmodul 450W platin
VM -HDDS auf thin!
Backup-NAS
RS816 mit 4*4TB Seagate IRONWOLF
mit 2 Netzwerkkabel im Bound angebunden
Archiv-NAS
DS218 mit 2 * 4TB
SWITCH:
DGS-1210-48 Hardwarerevision: H1
Der Serve wurde im Dezember aufgebaut und läuft als ESXI-Host, das IMAGE (ist das Fujitsu-VMvisor-Installer-6.5-5146846-v401-1 (Fujitsu)), ich habe 5 Netzwerkkarten 1Gbit auf einen virtuellen Switch zusammengefasst, es laufen dort 5 virtuelle Maschinen auf Windows Basis(vcenterServer und ESET zählen nu mal nicht), alle mit VMNETX3, ich zähle mal auf:
DC:
CPU: 2 Kerne pro Socket 1 SOCKETS 2
RAM: 8GB
SCSI:LSI LOGIC SAS
HDD: 40GB
MAIL(Funktion Exchange/Estos Procal)
Win 2016 Standart
CPU: 2 Kerne pro Socket 2 SOCKETS 1
RAM: 16GB
SCSI:LSI LOGIC SAS Mode: Dependet
HDD1: 350 GB
SCSI: LSI Logic SAS MOde: Dependet
HDD2: 500GB
FileServer(ein Paar Programme laufen hier/Mailstore)
Win 2016 Standart
CPU KERNE 2
Sockets 1
Kern pro Socket 2
Ram 16GB
1XLSI LOGIC SAS
1*80GB HDD
1*500GB HDD
FileServer 2(BANKTOOL(SQL) und spezifische Software(SQL))
Win 2016 Standart
CPU KERNE 2
Socket 1
Kern pro Socket 2
RAM: 24GB
1 X SCSI CONTROLLER
300Gb und 400GB
Service-PC(Service und VEEAM)
Windows 10
CLIENT PC alle angebunden mit 1Gbit/s
3 * i7 -7700 mit 8 GB und SSD
3* i5 -5er Serie!
Jetzt kommt mein Problem und ich weiß nicht wo ich noch suchen soll!
Wenn man von einem x-beliebigen Client Daten vom virtuelleServer (FileServer1,FileServer2 und MAIL) kopiert kommen Datenraten von ca. 100Mbit/s dabei rum, getestet mit 3GB-, 10Gb-, 30GB- und kleinen kb Dateien!
Erst mal ja nicht schlecht, könnte schneller aber erst mal ein Problem abarbeiten!
Nehme ich diese Dateien, kopiere die auf Archiv-NAS(Auslagerungsort für alte Projekte) kommen Kopierraten bei den großen Dateien von 113MB - 130MB raus im Hochladen und Runterladen.
Gucke ich mir das VEEAM BACKUP an kommen dort raten von 250 - 310 MB auf die Backup NAS dabei rum!
Erst mal ja okay?
Kopiere ich aber eine Datei von einem x-beliebigen Client vorwiegend natürlich auf Fileserver1 oder auf den Fileserver 2 habe ich Kopierraten von 3MB/s bis 0 runter.
Ganz schlimm ist es, auf den FileServer2 ist ein ein Programm welches jeden Tag genutzt wird, vom Hersteller vorgeschrieben, dass Programmteile auf einen anderen Server sollen, also FileServer 1!
Wenn in dem Programm ein Projekt angelegt wird, werden die Zusatztools vom FileServer1 aufgerufen und Daten abgelegt, dann dauert der Aufruf ca. 5min und von den Berechnungen muss ich nicht reden!
Kopieren kleiner Archiv-Dateien auf die Archiv-NAS auch sehr langsam im kb Bereich.
Ich habe schon Firewall aus, das ESET aus, Einstellungen im HOST geprüft auf den Server JUMBO FRAMES angepasst und Netzwerk diverse Einstellungen wie Overload und ähnliches angepasst.
Ping zeiten zu jedem CLIENT und zu jedem Server kleiner 1ms
NSLOOKUP sieht auch gut aus.
Ich weiß nicht wie ich fragen soll, ohne dass dumme Sprüche kommen, wie bist du überfordert oder ähnliches, aber kann mir einer Tipp geben wo der vllt. noch zu suchen ist?
Server:
1 x 6C Xeon E5-2420v2 (2,2GHz/15MB)
96GB RAM (6x16 GB DDR3 1600 R ECC)
6 x HD SAS 12G 1.2TB 10K 2.5" (max 8)->RAID 5
RAID Ctrl SAS 6G 5/6 1GB inkl. FBU
Eth Ctrl 4x1Gbit Cu Intel I350-T4
VMware vSphere Embed. UFM 8 GB
2 x Stromversorgungsmodul 450W platin
VM -HDDS auf thin!
Backup-NAS
RS816 mit 4*4TB Seagate IRONWOLF
mit 2 Netzwerkkabel im Bound angebunden
Archiv-NAS
DS218 mit 2 * 4TB
SWITCH:
DGS-1210-48 Hardwarerevision: H1
Der Serve wurde im Dezember aufgebaut und läuft als ESXI-Host, das IMAGE (ist das Fujitsu-VMvisor-Installer-6.5-5146846-v401-1 (Fujitsu)), ich habe 5 Netzwerkkarten 1Gbit auf einen virtuellen Switch zusammengefasst, es laufen dort 5 virtuelle Maschinen auf Windows Basis(vcenterServer und ESET zählen nu mal nicht), alle mit VMNETX3, ich zähle mal auf:
DC:
CPU: 2 Kerne pro Socket 1 SOCKETS 2
RAM: 8GB
SCSI:LSI LOGIC SAS
HDD: 40GB
MAIL(Funktion Exchange/Estos Procal)
Win 2016 Standart
CPU: 2 Kerne pro Socket 2 SOCKETS 1
RAM: 16GB
SCSI:LSI LOGIC SAS Mode: Dependet
HDD1: 350 GB
SCSI: LSI Logic SAS MOde: Dependet
HDD2: 500GB
FileServer(ein Paar Programme laufen hier/Mailstore)
Win 2016 Standart
CPU KERNE 2
Sockets 1
Kern pro Socket 2
Ram 16GB
1XLSI LOGIC SAS
1*80GB HDD
1*500GB HDD
FileServer 2(BANKTOOL(SQL) und spezifische Software(SQL))
Win 2016 Standart
CPU KERNE 2
Socket 1
Kern pro Socket 2
RAM: 24GB
1 X SCSI CONTROLLER
300Gb und 400GB
Service-PC(Service und VEEAM)
Windows 10
CLIENT PC alle angebunden mit 1Gbit/s
3 * i7 -7700 mit 8 GB und SSD
3* i5 -5er Serie!
Jetzt kommt mein Problem und ich weiß nicht wo ich noch suchen soll!
Wenn man von einem x-beliebigen Client Daten vom virtuelleServer (FileServer1,FileServer2 und MAIL) kopiert kommen Datenraten von ca. 100Mbit/s dabei rum, getestet mit 3GB-, 10Gb-, 30GB- und kleinen kb Dateien!
Erst mal ja nicht schlecht, könnte schneller aber erst mal ein Problem abarbeiten!
Nehme ich diese Dateien, kopiere die auf Archiv-NAS(Auslagerungsort für alte Projekte) kommen Kopierraten bei den großen Dateien von 113MB - 130MB raus im Hochladen und Runterladen.
Gucke ich mir das VEEAM BACKUP an kommen dort raten von 250 - 310 MB auf die Backup NAS dabei rum!
Erst mal ja okay?
Kopiere ich aber eine Datei von einem x-beliebigen Client vorwiegend natürlich auf Fileserver1 oder auf den Fileserver 2 habe ich Kopierraten von 3MB/s bis 0 runter.
Ganz schlimm ist es, auf den FileServer2 ist ein ein Programm welches jeden Tag genutzt wird, vom Hersteller vorgeschrieben, dass Programmteile auf einen anderen Server sollen, also FileServer 1!
Wenn in dem Programm ein Projekt angelegt wird, werden die Zusatztools vom FileServer1 aufgerufen und Daten abgelegt, dann dauert der Aufruf ca. 5min und von den Berechnungen muss ich nicht reden!
Kopieren kleiner Archiv-Dateien auf die Archiv-NAS auch sehr langsam im kb Bereich.
Ich habe schon Firewall aus, das ESET aus, Einstellungen im HOST geprüft auf den Server JUMBO FRAMES angepasst und Netzwerk diverse Einstellungen wie Overload und ähnliches angepasst.
Ping zeiten zu jedem CLIENT und zu jedem Server kleiner 1ms
NSLOOKUP sieht auch gut aus.
Ich weiß nicht wie ich fragen soll, ohne dass dumme Sprüche kommen, wie bist du überfordert oder ähnliches, aber kann mir einer Tipp geben wo der vllt. noch zu suchen ist?
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 368778
Url: https://administrator.de/forum/koperien-im-netzwerk-lahm-368778.html
Ausgedruckt am: 19.05.2025 um 08:05 Uhr
27 Kommentare
Neuester Kommentar
Hallo Finchen,
ich habe immer mehr das Gefühl, dass du den 2nd Level an das Forum hier outsourcest. Vielleicht wäre eine Ausbildung mal angebracht. Abgesehen davon: Du schreibst der Server wurde im Dezember aufgebaut, hat aber eine v2 Xeon CPU drin?! Ich verbaute um diesselbe Zeit bereits Intel Silver und Gold, was de facto >V4 darstellt.
ich habe immer mehr das Gefühl, dass du den 2nd Level an das Forum hier outsourcest. Vielleicht wäre eine Ausbildung mal angebracht. Abgesehen davon: Du schreibst der Server wurde im Dezember aufgebaut, hat aber eine v2 Xeon CPU drin?! Ich verbaute um diesselbe Zeit bereits Intel Silver und Gold, was de facto >V4 darstellt.
Also lese ich raus, dass Lesezugriffe von deinen virtuellen Servern performant, aber die von Schreibzugriffe auf deine virtuellen Server langsam sind?
Setz mal im RAID-Controller an und schau auf die Cache Modi https://sp.ts.fujitsu.com/dmsp/Publications/public/wp-raid-controller-pe ... Seite 11
Gerade der Disk Cache Mode kann einen Unterschied zwischen Tag bewirken. Wichtig dabei ist aber a) Vorhandensein einer FBU/BBU und b) einer USV inkl. Shutdown-Management.
Setz mal im RAID-Controller an und schau auf die Cache Modi https://sp.ts.fujitsu.com/dmsp/Publications/public/wp-raid-controller-pe ... Seite 11
Gerade der Disk Cache Mode kann einen Unterschied zwischen Tag bewirken. Wichtig dabei ist aber a) Vorhandensein einer FBU/BBU und b) einer USV inkl. Shutdown-Management.
Moin,
ich vermute hier das Raid als Flaschenhals... schnell lesen, langsam schreiben ist typisch RAID 5
Und dann ist das Array wohl auch gut beschäftigt. Exchange, Fileserver x2, Mailarchiv und dann noch 2 (oder mehr) SQL obendrauf UND DANN NOCH alles auf thin? auf einem RAID 5 mit 6 Spindeln?!.. hmmm... wie ist denn IO(PS) Auslastung bzw. die Schreib/Lese Latenzen von dem Datastore?
Und was genau hast du mit Jumob Frames gemacht?! Wenn das nicht komplett durchgängig und korrekt konfiguriert ist, kann das auch kontraproduktiv sein...
Den Rest sehe ich genau so wie @certifiedit.net
ich vermute hier das Raid als Flaschenhals... schnell lesen, langsam schreiben ist typisch RAID 5
Und dann ist das Array wohl auch gut beschäftigt. Exchange, Fileserver x2, Mailarchiv und dann noch 2 (oder mehr) SQL obendrauf UND DANN NOCH alles auf thin? auf einem RAID 5 mit 6 Spindeln?!.. hmmm... wie ist denn IO(PS) Auslastung bzw. die Schreib/Lese Latenzen von dem Datastore?
Und was genau hast du mit Jumob Frames gemacht?! Wenn das nicht komplett durchgängig und korrekt konfiguriert ist, kann das auch kontraproduktiv sein...
Den Rest sehe ich genau so wie @certifiedit.net
Ja ich denke es liegt irgendwie am Raid Controller D3116C, ich bin mir zwar sicher den richtig eingestellt zu haben, aber wer weiß?
Hm, dann klärs ab? Über die CIM Provider kannst du via ESXCLI sogar direkt in die RAID-Config des Controllers schauen.
Welches Benchmark - Tool bevorzugt ihr denn?
Crystaldiskmark
Mit 5x SAS 10k Platten im RAID5 komme ich mit nem HP ML350 Gen9 auf ca. 300MB/s Schreibgeschwindigkeit.
Und bau die Jumbo Frames zurück, das kann furchtbar in die Hose gehen.
Und hau deinem Chef was um die Ohren, habs letztes Mal schon gesagt, wofür hat er Angestellte, wenn er es eh besser weiß?
Zitat von @chgorges:
Und hau deinem Chef was um die Ohren, habs letztes Mal schon gesagt, wofür hat er Angestellte, wenn er es eh besser weiß?
Damit diese die Realität seinen Vorstellungen anpassen durch unmenschliche AnstrengungenUnd hau deinem Chef was um die Ohren, habs letztes Mal schon gesagt, wofür hat er Angestellte, wenn er es eh besser weiß?
Zitat von @Finchen961988:
Also die jumbo Frames habe ich wieder auf Windows Standard zurückgestellt , das war nur ein Versuch, hatte es aber auch in der Switch, im vSwitch und ein Test Client durch gezogen.
War aber nichts!
FileServer 1 PLATTE C
Also die jumbo Frames habe ich wieder auf Windows Standard zurückgestellt , das war nur ein Versuch, hatte es aber auch in der Switch, im vSwitch und ein Test Client durch gezogen.
War aber nichts!
FileServer 1 PLATTE C
File Server 1 PLATTE E
File Server 2 Platte C
FileServer 2 Platte E
Ok, die Werte gehen gar nicht. Zum Vergleich, 5x SAS 10k RAID5 auf nem HP ML350 Gen9 (P440ar Controller mit 2GB Cache und FBWC)
Geh an den RAID-Controller und prüf die Cache-Einstellungen.
Zitat von @StefanKittel:
Zitat von @chgorges:
Und hau deinem Chef was um die Ohren, habs letztes Mal schon gesagt, wofür hat er Angestellte, wenn er es eh besser weiß?
Damit diese die Realität seinen Vorstellungen anpassen durch unmenschliche AnstrengungenUnd hau deinem Chef was um die Ohren, habs letztes Mal schon gesagt, wofür hat er Angestellte, wenn er es eh besser weiß?
oder billigen Einkauf im Forum, logisch. Dem Chef würd ich eins Husten...in welchem Teil Dtld seid Ihr denn unterwegs?
Zitat von @Finchen961988:
Es liegt am Raid COntroller
ich werde mir den die Tage zur Brust nehmen und umstellen!
Es liegt am Raid COntroller
ich werde mir den die Tage zur Brust nehmen und umstellen!
Nur nicht so vorschnell, du weißt nicht, ob es am Hardware-RAID-Controller, oder deinen VM-RAID-Controllern liegt.
Mach bitte noch den letzten Test und lade von deinem Service-PC eine 4-8GB ISO-Datei direkt auf den Datastore hoch (also die VMs außen vor lassen).
Was hast du hier für durchschnittliche Übertragungsraten?
Also die Latenzen beim Schreiben sind mE recht hoch. 100ms Peak und >30ms avg ist schon nicht besonders schnell, vA wenn sonst tatsächlich nichts/(nicht viel los ist. Evtl. hilfts etwas, wenn du die VMDKs von thin auf thick/eager zeroed umstellst (falls der Platz vorhanden ist).
Die (Raid-)Treiber auf dem ESXi sind auf dem aktuellen Stand? VMware ist aktuell gepatcht? Und die VMWare Tools in den VMs sind auch aktuell?
Die (Raid-)Treiber auf dem ESXi sind auf dem aktuellen Stand? VMware ist aktuell gepatcht? Und die VMWare Tools in den VMs sind auch aktuell?