111945
Apr 06, 2017
3172
8
0
Storage Spaces Direct : 0 Performance
Hallo Zusammen,
Ich habe mir ein TestCluster aufgesetzt um S2D zu testen. Erstellt habe ich zwei Volumes (Dual Mirror) Wenn ich jetzt eine 20 GB *.VHDX von Volume1 nach Volume2 kopiere komme ich auf Datenraten von 10-25 Mbyte die Sekunde. Die Auslastung der Netzwerkinterface sind ca bei 400MB.
Folgend meine Konfiguration
Anzahl Nodes : 3
Jeder Node ist mit 2 NVMes a 400 GB ausgesatttet und 4x 2TB SATA HDD
Jeder Node hat 128 GB RAM und 2x E5-2620 V4 @ 2,1 GHZ
Jeder Node ist mit einer 10GBit Kupfer Karte, die 2 Ports hat angebunden.
Der Switch hat 10 GBit Ports, die Backplane schafft bis 100GBit
Die Netzwerkkonfiguration habe ich wie folgt vorgenommen.
Gibt es irgendwas was ich vergessen habe oder ist das System langsamer als mein USB 2.0 Stick? Jeder hinweis ist hilfreich!
Vielen Dank
Ich habe mir ein TestCluster aufgesetzt um S2D zu testen. Erstellt habe ich zwei Volumes (Dual Mirror) Wenn ich jetzt eine 20 GB *.VHDX von Volume1 nach Volume2 kopiere komme ich auf Datenraten von 10-25 Mbyte die Sekunde. Die Auslastung der Netzwerkinterface sind ca bei 400MB.
Folgend meine Konfiguration
Anzahl Nodes : 3
Jeder Node ist mit 2 NVMes a 400 GB ausgesatttet und 4x 2TB SATA HDD
Jeder Node hat 128 GB RAM und 2x E5-2620 V4 @ 2,1 GHZ
Jeder Node ist mit einer 10GBit Kupfer Karte, die 2 Ports hat angebunden.
Der Switch hat 10 GBit Ports, die Backplane schafft bis 100GBit
Die Netzwerkkonfiguration habe ich wie folgt vorgenommen.
# Erstellen des Teaming-Switches
New-VMSwitch -Name MGMT -AllowManagementOS $True -NetAdapterName MGMT-NIC-01,MGMT-NIC-02 -EnableEmbeddedTeaming $True
#Erstellen der vNICS auf Node-Ebene
Add-VMNetworkAdapter -ManagementOS -Switchname MGMT -Name SMB_01
Add-VMNetworkAdapter -ManagementOS -Switchname MGMT -Name SMB_02
# Den vNICS ein VLAN zuordnen 603
$Nic = Get-VMNetworkAdapter -Name SMB_01 -ManagementOS
Set-VMNetworkAdapterVlan -VMNetworkAdapter $Nic -Access -VlanId 603
$Nic = Get-VMNetworkAdapter -Name SMB_02 -ManagementOS
Set-VMNetworkAdapterVlan -VMNetworkAdapter $Nic -Access -VlanId 603
# RDMA Deaktivieren
Get-NetAdapterRDMA -Name *SMB* | Disable-NetAdapterRdma
# Binden des Ext NICs zum vNIC
Set-VMNetworkAdapterTeamMapping –VMNetworkAdapterName SMB_01 –ManagementOS –PhysicalNetAdapterName MGMT-NIC-01
Set-VMNetworkAdapterTeamMapping –VMNetworkAdapterName SMB_02 –ManagementOS –PhysicalNetAdapterName MGMT-NIC-02
# Vergabe der IP-Addresse
New-NetIPAddress -InterfaceAlias "vEthernet (SMB_01)" -IPAddress 192.168.100.70 -PrefixLength 24 -Type Unicast
New-NetIPAddress -InterfaceAlias "vEthernet (SMB_02)" -IPAddress 192.168.100.170 -PrefixLength 24 -Type Unicast Gibt es irgendwas was ich vergessen habe oder ist das System langsamer als mein USB 2.0 Stick? Jeder hinweis ist hilfreich!
Vielen Dank
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 334292
Url: https://administrator.de/contentid/334292
Printed on: April 18, 2024 at 05:04 o'clock
8 Comments
Latest comment
moin...
als erstes würde ich das teaming aus der config werfen! mit einer falschen teaming config kannst du viel kapput machen!
Folgend meine Konfiguration
Anzahl Nodes : 3
Jeder Node ist mit 2 NVMes a 400 GB ausgesatttet und 4x 2TB SATA HDD
was für NVE´s sind das genau. Treiber aktuell.. grade bei Intel...
Sata HDD`s woran ?
Server 2016 ? wie Installiert ? als was genau ?
als erstes würde ich das teaming aus der config werfen! mit einer falschen teaming config kannst du viel kapput machen!
Zitat von @111945:
Hallo Zusammen,
Ich habe mir ein TestCluster aufgesetzt um S2D zu testen. Erstellt habe ich zwei Volumes (Dual Mirror) Wenn ich jetzt eine 20 GB *.VHDX von Volume1 nach Volume2 kopiere komme ich auf Datenraten von 10-25 Mbyte die Sekunde. Die Auslastung der Netzwerkinterface sind ca bei 400MB.
hm.. du meinst 400 MBit/s oder wirklich Mbyte/s ?Hallo Zusammen,
Ich habe mir ein TestCluster aufgesetzt um S2D zu testen. Erstellt habe ich zwei Volumes (Dual Mirror) Wenn ich jetzt eine 20 GB *.VHDX von Volume1 nach Volume2 kopiere komme ich auf Datenraten von 10-25 Mbyte die Sekunde. Die Auslastung der Netzwerkinterface sind ca bei 400MB.
Folgend meine Konfiguration
Anzahl Nodes : 3
Jeder Node ist mit 2 NVMes a 400 GB ausgesatttet und 4x 2TB SATA HDD
Sata HDD`s woran ?
Jeder Node hat 128 GB RAM und 2x E5-2620 V4 @ 2,1 GHZ
ok... das Board hat aber PCI-e v.3 ... oder ? bei v.2 hast du etwa nur noch 50% der leistung der NVE...Jeder Node ist mit einer 10GBit Kupfer Karte, die 2 Ports hat angebunden.
Der Switch hat 10 GBit Ports, die Backplane schafft bis 100GBit
was für ein switch genau ?Der Switch hat 10 GBit Ports, die Backplane schafft bis 100GBit
Gibt es irgendwas was ich vergessen habe oder ist das System langsamer als mein USB 2.0 Stick? Jeder hinweis ist hilfreich!
Vielen Dank
FrankVielen Dank
Zitat von @Vision2015:
moin...
als erstes würde ich das teaming aus der config werfen! mit einer falschen teaming config kannst du viel kapput machen!
moin...
als erstes würde ich das teaming aus der config werfen! mit einer falschen teaming config kannst du viel kapput machen!
Zitat von @111945:
Hallo Zusammen,
Ich habe mir ein TestCluster aufgesetzt um S2D zu testen. Erstellt habe ich zwei Volumes (Dual Mirror) Wenn ich jetzt eine 20 GB *.VHDX von Volume1 nach Volume2 kopiere komme ich auf Datenraten von 10-25 Mbyte die Sekunde. Die Auslastung der Netzwerkinterface sind ca bei 400MB.
hm.. du meinst 400 MBit/s oder wirklich Mbyte/s ?Hallo Zusammen,
Ich habe mir ein TestCluster aufgesetzt um S2D zu testen. Erstellt habe ich zwei Volumes (Dual Mirror) Wenn ich jetzt eine 20 GB *.VHDX von Volume1 nach Volume2 kopiere komme ich auf Datenraten von 10-25 Mbyte die Sekunde. Die Auslastung der Netzwerkinterface sind ca bei 400MB.
Da meine ich natührlich Mbit
Folgend meine Konfiguration
Anzahl Nodes : 3
Jeder Node ist mit 2 NVMes a 400 GB ausgesatttet und 4x 2TB SATA HDD
Sata HDD`s woran ?
Jeder Node hat 128 GB RAM und 2x E5-2620 V4 @ 2,1 GHZ
ok... das Board hat aber PCI-e v.3 ... oder ? bei v.2 hast du etwa nur noch 50% der leistung der NVE...Jeder Node ist mit einer 10GBit Kupfer Karte, die 2 Ports hat angebunden.
Der Switch hat 10 GBit Ports, die Backplane schafft bis 100GBit
was für ein switch genau ?Der Switch hat 10 GBit Ports, die Backplane schafft bis 100GBit
Gibt es irgendwas was ich vergessen habe oder ist das System langsamer als mein USB 2.0 Stick? Jeder hinweis ist hilfreich!
Vielen Dank
FrankVielen Dank
auf was für transferraten kommst du mit den NVE´s auf jedem host ?
ich frage noch mal nach den treibern...
sind in deinem storage pool auch SATA Platten ?
Frank
ich frage noch mal nach den treibern...
sind in deinem storage pool auch SATA Platten ?
Frank
Hallo,
die Transferraten kann ich nicht testen. NVMEs sind nach hinzufügen zum S2D "verschwunden" Zu den zwei NVMs kommen 4x2TB SATA
Die Treiber sind aktuell
Danke
die Transferraten kann ich nicht testen. NVMEs sind nach hinzufügen zum S2D "verschwunden" Zu den zwei NVMs kommen 4x2TB SATA
Die Treiber sind aktuell
Danke
hi,
wie "verschwunden" ?
ok.. du hast doch einen speicherpool angelegt...
in diesem speicherpool kannst du eine schnelle ebene (SSD/NVE) angeben... und die standard ebene (HHD´s)
hast du beides auf maximale größe gesetzt ?
hast du daran gedacht platz für den schreibcache zu lassen ?
können deine Netzwerk karten RDMA... bzw. ist der richtige treiber dafür Installiert
Storage Spaces Direct nutzt zum Datenaustausch nur SMB3..
können das deine Gäste ?
Frank
wie "verschwunden" ?
ok.. du hast doch einen speicherpool angelegt...
in diesem speicherpool kannst du eine schnelle ebene (SSD/NVE) angeben... und die standard ebene (HHD´s)
hast du beides auf maximale größe gesetzt ?
hast du daran gedacht platz für den schreibcache zu lassen ?
können deine Netzwerk karten RDMA... bzw. ist der richtige treiber dafür Installiert
Storage Spaces Direct nutzt zum Datenaustausch nur SMB3..
können das deine Gäste ?
Frank
So.
Mitlerweile habe ich JumboFrames aktiviert. Wenn ich jetzt 1GB Dateien kopiere gehts.. sekundenschnell.. Die 25GB Datei kopiert aber immernoch mit 30-50 MByte/s
Mitlerweile habe ich JumboFrames aktiviert. Wenn ich jetzt 1GB Dateien kopiere gehts.. sekundenschnell.. Die 25GB Datei kopiert aber immernoch mit 30-50 MByte/s
Sers,
SMBdirect ohne RDMA ist... grausam.
Dual Mirror? Sicher, dass es nicht Dual Parity ist? Oder meinst du 2-Way-Mirror?
Wie sind die Pools, Tiers, Caches und Vdisks konfiguriert?
Grüße,
Philip
SMBdirect ohne RDMA ist... grausam.
Dual Mirror? Sicher, dass es nicht Dual Parity ist? Oder meinst du 2-Way-Mirror?
Wie sind die Pools, Tiers, Caches und Vdisks konfiguriert?
Grüße,
Philip
Hi,
ja, ich meinte 2-Way-Mirror.
Performance ist auch super. Ich komme auf knapp 2 Gbyte Lesend/Schreibend 70/30 und ca 400K iops.
Das einzige Problem was jetzt noch besteht ist, dass bei Last andauernd verschiedene Festplatten mit folgender Fehlermeldung aussteigen.
Der Plattenheader für den physischen Datenträger "{546d8bd3-616d-8b0e-6b8e-9c2357000cd7}" konnte von Windows nicht gelesen werden
Ich denke es liegt daran, dass ich keinen SAS HBA nutze. In der Testumgebung verwende ich die Onboard-Uefi-Sata-Ports
Viele Grüße
ja, ich meinte 2-Way-Mirror.
Performance ist auch super. Ich komme auf knapp 2 Gbyte Lesend/Schreibend 70/30 und ca 400K iops.
Das einzige Problem was jetzt noch besteht ist, dass bei Last andauernd verschiedene Festplatten mit folgender Fehlermeldung aussteigen.
Der Plattenheader für den physischen Datenträger "{546d8bd3-616d-8b0e-6b8e-9c2357000cd7}" konnte von Windows nicht gelesen werden
Ich denke es liegt daran, dass ich keinen SAS HBA nutze. In der Testumgebung verwende ich die Onboard-Uefi-Sata-Ports
Viele Grüße
Zitat von @psannz:
Sers,
SMBdirect ohne RDMA ist... grausam.
Dual Mirror? Sicher, dass es nicht Dual Parity ist? Oder meinst du 2-Way-Mirror?
Wie sind die Pools, Tiers, Caches und Vdisks konfiguriert?
Grüße,
Philip
Sers,
SMBdirect ohne RDMA ist... grausam.
Dual Mirror? Sicher, dass es nicht Dual Parity ist? Oder meinst du 2-Way-Mirror?
Wie sind die Pools, Tiers, Caches und Vdisks konfiguriert?
Grüße,
Philip
