7
Hilfestellung bei Aufbau eines Performance Netzwerkes
Hallo liebe Leute,
vorerst gleichmal DANKE an alle, die auf diese Frage zurückschreiben.
Ich stehe jetzt vor einem Problem und würde DRINGENDST Hilfe benötigen.
Ausgangssituation:
1x ESXI Server - HP ProLiant ML370 G6 - 6x Gigabit Netzwerkkarten vorhanden (56GB RAM)
1x ESXI Server - HP ProLiant DL380 G5 - 2x Gigabit Netzwerkkarten vorhanden (16GB RAM)
Jeweils Intel Xeon CPU E5530 @2,40 Ghz
1x QNAP TS1253U mit 4x Gigabit Netzwerkkarte
Switch ist (leider) ein HP ProCurve 1800-24G Swicht.
Es geht vor allem um den ersten ESXI Server - auf diesem laufen insgesamt 4 virtuelle Maschinen (brauchen alle kaum Netzwerk) und laufen alle auf einer NIC.
Dann hat dieser ESXI Server noch eine weitere Virtuelle Maschine installiert - diese dient als "FILE"-Server. Hier habe ich über einen vSwicht 4 Netzwerkkarten gebündelt.
Weiteres habe ich die QNAP mit einem Trunk "Balance-tlb" versehen.
Der ESXI hat über NFS einen Zugriff auf das QNAP-NAS - heißt der ESXi hat das QNAP als Datastore eingebunden - auf diesem liegt jetzt die virtuelle Festplatte mit 15 TB an Speicher.
Jetzt müssen täglich mehrere GB an Daten von diversen Rechnern aus dem Netzwerk an den Server und wieder retour übertragen werden.
Soweit funktioniert das ganze ja schon tadellos.
Jetzt zu meinem Problem - ich schaffe trotz 4fachen Port-Trunking meist nur eine Druchschnittsgeschwindigkeit auf einen Rechner von ca. 50-60 MB/SEK - das ist mir einfach viel zu langsam - wenn ich das Trunking bei dem QNAP weg lasse schaffe ich zwischen 70-80 MB/SEK - jedoch verlangsamt sich diese Verbindung natürlich wenn ein zweiter Rechner anfängt zu laden.
Jetzt brauche ich daher einen kleinen TIPP, wie ich das Problem angehen bzw. lösen soll.
Hardwarekosten sollte ich wenn möglich keine mehr verursachen - einzig einen neuen Switch könnte ich noch ins Budget reinbringen - aber sonst habe ich leider keine Chance mehr.
Könnt ihr mir da vielleicht ein bisschen helfen?
Wenn jemand Konfigurationen benötigt, kann ich diese gerne per PM zur Verfügung stellen.
DANKE liebe Leute
lg Ronald
vorerst gleichmal DANKE an alle, die auf diese Frage zurückschreiben.
Ich stehe jetzt vor einem Problem und würde DRINGENDST Hilfe benötigen.
Ausgangssituation:
1x ESXI Server - HP ProLiant ML370 G6 - 6x Gigabit Netzwerkkarten vorhanden (56GB RAM)
1x ESXI Server - HP ProLiant DL380 G5 - 2x Gigabit Netzwerkkarten vorhanden (16GB RAM)
Jeweils Intel Xeon CPU E5530 @2,40 Ghz
1x QNAP TS1253U mit 4x Gigabit Netzwerkkarte
Switch ist (leider) ein HP ProCurve 1800-24G Swicht.
Es geht vor allem um den ersten ESXI Server - auf diesem laufen insgesamt 4 virtuelle Maschinen (brauchen alle kaum Netzwerk) und laufen alle auf einer NIC.
Dann hat dieser ESXI Server noch eine weitere Virtuelle Maschine installiert - diese dient als "FILE"-Server. Hier habe ich über einen vSwicht 4 Netzwerkkarten gebündelt.
Weiteres habe ich die QNAP mit einem Trunk "Balance-tlb" versehen.
Der ESXI hat über NFS einen Zugriff auf das QNAP-NAS - heißt der ESXi hat das QNAP als Datastore eingebunden - auf diesem liegt jetzt die virtuelle Festplatte mit 15 TB an Speicher.
Jetzt müssen täglich mehrere GB an Daten von diversen Rechnern aus dem Netzwerk an den Server und wieder retour übertragen werden.
Soweit funktioniert das ganze ja schon tadellos.
Jetzt zu meinem Problem - ich schaffe trotz 4fachen Port-Trunking meist nur eine Druchschnittsgeschwindigkeit auf einen Rechner von ca. 50-60 MB/SEK - das ist mir einfach viel zu langsam - wenn ich das Trunking bei dem QNAP weg lasse schaffe ich zwischen 70-80 MB/SEK - jedoch verlangsamt sich diese Verbindung natürlich wenn ein zweiter Rechner anfängt zu laden.
Jetzt brauche ich daher einen kleinen TIPP, wie ich das Problem angehen bzw. lösen soll.
Hardwarekosten sollte ich wenn möglich keine mehr verursachen - einzig einen neuen Switch könnte ich noch ins Budget reinbringen - aber sonst habe ich leider keine Chance mehr.
Könnt ihr mir da vielleicht ein bisschen helfen?
Wenn jemand Konfigurationen benötigt, kann ich diese gerne per PM zur Verfügung stellen.
DANKE liebe Leute
lg Ronald
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 269662
Url: https://administrator.de/contentid/269662
Ausgedruckt am: 22.11.2024 um 22:11 Uhr
7 Kommentare
Neuester Kommentar
Moin,
Gruß,
Dani
Ich stehe jetzt vor einem Problem und würde DRINGENDST Hilfe benötigen.
Ich auch.... wer kann mir helfen?1x QNAP TS1253U mit 4x Gigabit Netzwerkkarte
Ich denke der Flaschenhals ist das NAS. Was für Festplatten hast du verbaut, wie viele davon und welches RAID-Level?Wenn jemand Konfigurationen benötigt, kann ich diese gerne per PM zur Verfügung stellen.
Sowas fangen wir gar nicht an. Hier in deinen Beitrag posten.Gruß,
Dani
Hallo Dani,
QNAP NAS TS-1253U -
12x WDC WD2003FYYS-05T8B0 (Enterprise Storage)
laufen alle zusammen im RAID6 mit 1x HotSpare Platte für Ausfälle.
Am NAS selber glaub ich fast nicht, dass das Problem besteht - wenn ich mit einer einzelnen NIC fahre, hab ich ja meine 70-80 MB/sek - wenn ich jedoch Teaming wie oben beschrieben einschalte, dann fällt die Datenrate demenstprechend ein.
Ajo was ich noch vergessen habe - diese Konfigurationen hab ich immer nur mit EINEM Rechner gemacht.
Einzig wie ich die einzelne NIC im Testlauf hatte, habe ich dann noch einen zweiten Rechner verwendet (daher auch jeweils die hälfte der Datenübertragung).
Was genau möchtest du von der Konfiguration haben?
LG Ronald
QNAP NAS TS-1253U -
12x WDC WD2003FYYS-05T8B0 (Enterprise Storage)
laufen alle zusammen im RAID6 mit 1x HotSpare Platte für Ausfälle.
Am NAS selber glaub ich fast nicht, dass das Problem besteht - wenn ich mit einer einzelnen NIC fahre, hab ich ja meine 70-80 MB/sek - wenn ich jedoch Teaming wie oben beschrieben einschalte, dann fällt die Datenrate demenstprechend ein.
Ajo was ich noch vergessen habe - diese Konfigurationen hab ich immer nur mit EINEM Rechner gemacht.
Einzig wie ich die einzelne NIC im Testlauf hatte, habe ich dann noch einen zweiten Rechner verwendet (daher auch jeweils die hälfte der Datenübertragung).
Was genau möchtest du von der Konfiguration haben?
LG Ronald
Hallo,
SATA Platten mit 7,200 U/min ...
Gruß,
Peter
SATA Platten mit 7,200 U/min ...
Am NAS selber glaub
Glauben kannst du viel. Beweise es.wenn ich jedoch Teaming wie oben beschrieben einschalte
Dann wird dort dein Problem liegen.dann fällt die Datenrate demenstprechend ein.
Wie, wo und womit hast du es festgestellt?hab ich immer nur mit EINEM Rechner gemacht.
Wenn du nicht mehr Rechner hast oder brauchst - reicht es doch.Gruß,
Peter
HUHU 
vorerst gleichmal DANKE an alle, die auf diese Frage zurückschreiben.
gern....
Ausgangssituation:
1x ESXI Server - HP ProLiant ML370 G6 - 6x Gigabit Netzwerkkarten vorhanden (56GB RAM)
1x ESXI Server - HP ProLiant DL380 G5 - 2x Gigabit Netzwerkkarten vorhanden (16GB RAM)
Jeweils Intel Xeon CPU E5530 @2,40 Ghz
1x QNAP TS1253U mit 4x Gigabit Netzwerkkarte
Switch ist (leider) ein HP ProCurve 1800-24G Swicht.
Es geht vor allem um den ersten ESXI Server - auf diesem laufen insgesamt 4 virtuelle Maschinen (brauchen alle kaum Netzwerk) und
laufen alle auf einer NIC.
Dann hat dieser ESXI Server noch eine weitere Virtuelle Maschine installiert - diese dient als "FILE"-Server. Hier habe
ich über einen vSwicht 4 Netzwerkkarten gebündelt.
Weiteres habe ich die QNAP mit einem Trunk "Balance-tlb" versehen.
Der ESXI hat über NFS einen Zugriff auf das QNAP-NAS - heißt der ESXi hat das QNAP als Datastore eingebunden - auf
diesem liegt jetzt die virtuelle Festplatte mit 15 TB an Speicher.
Jetzt müssen täglich mehrere GB an Daten von diversen Rechnern aus dem Netzwerk an den Server und wieder retour
übertragen werden.
Kleine Daten... oder Große Daten ? es ist schon ein Unterschied ob du 500 GB am Stück, oder in 4k Files schreiben möchtest...
Jetzt zu meinem Problem - ich schaffe trotz 4fachen Port-Trunking meist nur eine Druchschnittsgeschwindigkeit auf einen Rechner
von ca. 50-60 MB/SEK - das ist mir einfach viel zu langsam - wenn ich das Trunking bei dem QNAP weg lasse schaffe ich zwischen
70-80 MB/SEK - jedoch verlangsamt sich diese Verbindung natürlich wenn ein zweiter Rechner anfängt zu laden.
Jetzt brauche ich daher einen kleinen TIPP, wie ich das Problem angehen bzw. lösen soll.,
Tja, wo fange ich an.... *grübel* Als erstes würde ich mal sagen Doku Lesen...
Dann... Port-Trunking auf dem Qnap... Du schreibst das du ein Balance-tlb gemacht hast hast.
Bedeutung: balance-tlb Lastverteilung
Es wird für jede Gegenstelle im Netzwerk eine zu nutzende Netzwerkschnittstelle zugewiesen. Das Verfahren hierzu ist jedoch komplexer und effizienter als bei balance-xor. Also CPU Last auf dem NAS ....
also sind deine 60-70 MB schon mal soweit ok... (deine Platten bringen eh nicht viel mehr)
hast du in deinem NAS die Vollen 8 GB Ram drin ? Solltest du aber!
wie hast du dein das Storage angebunden- iSCSI ?
schön du hast nen VSwitch mit 4 Nic´s, gehst du den auch mit 4 Richtigen Nic´s aus dem Server Raus ? Wie ist die VSwitch config ?
kann dein HP Switch Port-Trunking mit dem Esxi ? und wenn ja wie ist deine Config ?
welche ESXI version hast du ?
Hardwarekosten sollte ich wenn möglich keine mehr verursachen - einzig einen neuen Switch könnte ich noch ins Budget
reinbringen - aber sonst habe ich leider keine Chance mehr.
kauf erst mal nen ordentlichen Cisco Switch....
Könnt ihr mir da vielleicht ein bisschen helfen?
Wenn jemand Konfigurationen benötigt, kann ich diese gerne per PM zur Verfügung stellen.
wiso das... ist das Netz vom BND?
DANKE liebe Leute
Gern
lg Ronald
LG
V
vorerst gleichmal DANKE an alle, die auf diese Frage zurückschreiben.
Ich stehe jetzt vor einem Problem und würde DRINGENDST Hilfe benötigen.
sacht meine Frau auch immer Ausgangssituation:
1x ESXI Server - HP ProLiant ML370 G6 - 6x Gigabit Netzwerkkarten vorhanden (56GB RAM)
1x ESXI Server - HP ProLiant DL380 G5 - 2x Gigabit Netzwerkkarten vorhanden (16GB RAM)
Jeweils Intel Xeon CPU E5530 @2,40 Ghz
1x QNAP TS1253U mit 4x Gigabit Netzwerkkarte
Switch ist (leider) ein HP ProCurve 1800-24G Swicht.
Es geht vor allem um den ersten ESXI Server - auf diesem laufen insgesamt 4 virtuelle Maschinen (brauchen alle kaum Netzwerk) und
laufen alle auf einer NIC.
Dann hat dieser ESXI Server noch eine weitere Virtuelle Maschine installiert - diese dient als "FILE"-Server. Hier habe
ich über einen vSwicht 4 Netzwerkkarten gebündelt.
Weiteres habe ich die QNAP mit einem Trunk "Balance-tlb" versehen.
Der ESXI hat über NFS einen Zugriff auf das QNAP-NAS - heißt der ESXi hat das QNAP als Datastore eingebunden - auf
diesem liegt jetzt die virtuelle Festplatte mit 15 TB an Speicher.
Jetzt müssen täglich mehrere GB an Daten von diversen Rechnern aus dem Netzwerk an den Server und wieder retour
übertragen werden.
Soweit funktioniert das ganze ja schon tadellos.
glaub ich nicht...Jetzt zu meinem Problem - ich schaffe trotz 4fachen Port-Trunking meist nur eine Druchschnittsgeschwindigkeit auf einen Rechner
von ca. 50-60 MB/SEK - das ist mir einfach viel zu langsam - wenn ich das Trunking bei dem QNAP weg lasse schaffe ich zwischen
70-80 MB/SEK - jedoch verlangsamt sich diese Verbindung natürlich wenn ein zweiter Rechner anfängt zu laden.
Jetzt brauche ich daher einen kleinen TIPP, wie ich das Problem angehen bzw. lösen soll.,
Tja, wo fange ich an.... *grübel* Als erstes würde ich mal sagen Doku Lesen...
Dann... Port-Trunking auf dem Qnap... Du schreibst das du ein Balance-tlb gemacht hast hast.
Bedeutung: balance-tlb Lastverteilung
Es wird für jede Gegenstelle im Netzwerk eine zu nutzende Netzwerkschnittstelle zugewiesen. Das Verfahren hierzu ist jedoch komplexer und effizienter als bei balance-xor. Also CPU Last auf dem NAS ....
also sind deine 60-70 MB schon mal soweit ok... (deine Platten bringen eh nicht viel mehr)
hast du in deinem NAS die Vollen 8 GB Ram drin ? Solltest du aber!
wie hast du dein das Storage angebunden- iSCSI ?
schön du hast nen VSwitch mit 4 Nic´s, gehst du den auch mit 4 Richtigen Nic´s aus dem Server Raus ? Wie ist die VSwitch config ?
kann dein HP Switch Port-Trunking mit dem Esxi ? und wenn ja wie ist deine Config ?
welche ESXI version hast du ?
Hardwarekosten sollte ich wenn möglich keine mehr verursachen - einzig einen neuen Switch könnte ich noch ins Budget
reinbringen - aber sonst habe ich leider keine Chance mehr.
Könnt ihr mir da vielleicht ein bisschen helfen?
Wenn jemand Konfigurationen benötigt, kann ich diese gerne per PM zur Verfügung stellen.
DANKE liebe Leute
lg Ronald
V
Was nützt ihm ein Cisco wenn er die Features von dem jetzigen nicht ausnutzt?
Cisco kann auch keine zwei Gigabit aus einem zaubern.
Der Switch beherrscht Link Aggregation mit IEEE 802.3ad. Bau dir einen Trunk auf dem Switch mit aktiviertem LACP über die Ports des File Servers und einen über die Ports des QNAP, stell den Modus im QNAP und im ESXI virtual Switch auf diesen Modus ein und schau dann nochmal ob die Performance sich verbessert.
Beobachte ausserdem wie die RAM und CPU Auslastung im QNAP sich verhält während du Daten schiebst.
Teste das sowohl mit großen Dateien als auch mit kleinen, der Overhead der durch kleine erzeugt wird kann dich leicht mal die hälfte der Performance kosten.
Cisco kann auch keine zwei Gigabit aus einem zaubern.
Der Switch beherrscht Link Aggregation mit IEEE 802.3ad. Bau dir einen Trunk auf dem Switch mit aktiviertem LACP über die Ports des File Servers und einen über die Ports des QNAP, stell den Modus im QNAP und im ESXI virtual Switch auf diesen Modus ein und schau dann nochmal ob die Performance sich verbessert.
Beobachte ausserdem wie die RAM und CPU Auslastung im QNAP sich verhält während du Daten schiebst.
Teste das sowohl mit großen Dateien als auch mit kleinen, der Overhead der durch kleine erzeugt wird kann dich leicht mal die hälfte der Performance kosten.
Moin,
der ProCurve 1800-24G kann nur max. mit 4 Ports LACP... so wie ich das Gelesen haben, braucht er 8! und die Kiste ist mit 4x LACP CPU seitig gut ausgelastet
wichtig wäre ja noch welche ESXI Version da rennt !
Note: The LACP support in vSphere Distributed Switch 5.1 supports only IP hash load balancing. In vSphere Distributed Switch 5.5, all the load balancing algorithms of LACP are supported:
LG
V
der ProCurve 1800-24G kann nur max. mit 4 Ports LACP... so wie ich das Gelesen haben, braucht er 8! und die Kiste ist mit 4x LACP CPU seitig gut ausgelastet
wichtig wäre ja noch welche ESXI Version da rennt !
Note: The LACP support in vSphere Distributed Switch 5.1 supports only IP hash load balancing. In vSphere Distributed Switch 5.5, all the load balancing algorithms of LACP are supported:
LG
V
Mit den vorhandenen Mitteln ist das ja sehr einfach:
Andere Optionen hat der TO ja so oder so nicht. Also warum lange hier rumdiskutieren ?!
Zum LACP Support bei vSphere ist ja oben schon alles gesagt.
Die mickrige Performance ist vermutlich durch den HP Billigswitch geschuldet da die Hashberechnung nur allein auf Mac Adressen beruht und nicht customizebar ist.
Allerdings kann man die LACP Implementation des NIC Treibers auch nicht vollständig ausschliessen.
http://rickardnobel.se/lacp-and-esxi-5-1/
Besser wäre ein Switch der das auf IP Adressen und TCP/UDP Ports expandieren könnte um mehr Granularität bei der Verteilung zu bekommen.
Aktuell sind es ja nur 3 Mac Adressen was recht wenig ist für ein sinnvolles Link Aggregation sofern der TO denn wirklich ein funktionierendes LACP Link Aggregation sauber auf beiden Seiten eingestellt hat, was ja auch nicht sicher ist bzw. über ein Forum schwer zu verifizieren.
Sinnvoll wäre mal mit SNMP auf den einzelnen Links mit einem Performance Tool über einen Zeitraum zu tracken wie granular die Verteilung auf dem HP Billigteil ist:
Ideal dafür ist das STG Tool was das via SNMP grafisch macht und direkt mehrfach aufrufbar ist für multiple Links.
http://leonidvm.chat.ru
Das zeigt dann sofort an wie granular der Switch die Verteilung macht.
SNMP muss dafür auf dem Switch aktiviert sein.
- Server 1 mit einem 4er LACP LAG anbinden
- Server 2 mit einem 2er LACP LAG anbinden
- QNAP NAS mit 4er LACP LAG anbinden
- Fertisch !
Andere Optionen hat der TO ja so oder so nicht. Also warum lange hier rumdiskutieren ?!
Zum LACP Support bei vSphere ist ja oben schon alles gesagt.
Die mickrige Performance ist vermutlich durch den HP Billigswitch geschuldet da die Hashberechnung nur allein auf Mac Adressen beruht und nicht customizebar ist.
Allerdings kann man die LACP Implementation des NIC Treibers auch nicht vollständig ausschliessen.
http://rickardnobel.se/lacp-and-esxi-5-1/
Besser wäre ein Switch der das auf IP Adressen und TCP/UDP Ports expandieren könnte um mehr Granularität bei der Verteilung zu bekommen.
Aktuell sind es ja nur 3 Mac Adressen was recht wenig ist für ein sinnvolles Link Aggregation sofern der TO denn wirklich ein funktionierendes LACP Link Aggregation sauber auf beiden Seiten eingestellt hat, was ja auch nicht sicher ist bzw. über ein Forum schwer zu verifizieren.
Sinnvoll wäre mal mit SNMP auf den einzelnen Links mit einem Performance Tool über einen Zeitraum zu tracken wie granular die Verteilung auf dem HP Billigteil ist:
Ideal dafür ist das STG Tool was das via SNMP grafisch macht und direkt mehrfach aufrufbar ist für multiple Links.
http://leonidvm.chat.ru
Das zeigt dann sofort an wie granular der Switch die Verteilung macht.
SNMP muss dafür auf dem Switch aktiviert sein.
