coreknabe
Goto Top

PCIe x8 problemlos in x16?

Moin,

ich muss zusätzliche Netzwerkkarten in unseren neuen Primergy RX2540 M7 stecken. Gedacht habe ich da an zwei Intel X710-DA4, diese sind in x8-Bauform. Jetzt ist auf dem Server-Mainboard aber nur noch ein x8-Steckplatz frei, dafür aber mehrere x16-Steckplätze. Da zwei vorhandene Gbit-Netzwerkkarten (ebenfalls x8) bereits in x16 stecken, sollte es doch kein Problem sein, die X710 in die x16 zu flanschen?

Bin mir da eigentlich ziemlich sicher, dass das funktioniert, unser Lieferant möchte sich da aber komischerweise nicht festlegen, was mich wundert. Was meint das hier anwesende Fachpersonal?

Gruß

Content-ID: 669761

Url: https://administrator.de/contentid/669761

Printed on: December 5, 2024 at 16:12 o'clock

Lochkartenstanzer
Solution Lochkartenstanzer Nov 26, 2024 updated at 08:41:53 (UTC)
Goto Top
Moin,

Üblicherweise funktioniert das meist ohne Probleme. Der einzige Nachteil ist I.d.R., diaß die maximal mögliche Geschwindigkeit des Slots nicht ausgenutzt wird.

Was selten, aber doch manchmal passiert, daß Karte und Mainboard sich nicht mögen, weil irgendwelche Toleranzen im Timing nicht zueinander passen. Das merkt man aber Recht schnell.

lks
MirkoKR
Solution MirkoKR Nov 26, 2024 updated at 08:18:20 (UTC)
Goto Top
Es kommt auf die PCIe Version und die passende Netzwerkarte drauf an.

Wenn du eine 4-Port 1GBe Karte einsetzt, reicht x4
bei 2,5GBit x8 - falls nötig.

X4 passt in x8 und x8 in x16, etc. .
DerMaddin
DerMaddin Nov 26, 2024 at 08:18:36 (UTC)
Goto Top
Moinsen,

ja, das geht problemlos. In ein x16 Slot kann man x1, x2, x4 und auch x8-Karten einsetzen. Es ist lediglich die Anzahl der PCIe-Lanes, die mit der Zahl angegeben werden. Auch kann man eine 4.0 Karte in einen 3.0 Slot einsetzen, was aber entsprechende Leistungseinbußen mit sich bringt.
MirkoKR
MirkoKR Nov 26, 2024 at 08:43:12 (UTC)
Goto Top
soll heißen:

Ich experimentiere aktuell mit FBs (-> openWRT), also Hardware.
Diese sind angeschlossen an eine 4-Port-NIC, jeweils mit eigener "externer LAN ohne Host" (HyperV)

Jede NIC ist dabei einem eigenen VSwitch zugeordnet ...

Dabei reicht mir 1GBit (je nach FB können die nur 100MBit)
Also reich4 mir eine 4 * 1GBit NIC an PCIe3
Coreknabe
Coreknabe Nov 26, 2024 at 08:54:30 (UTC)
Goto Top
Danke für die Rückmeldungen face-smile

@lks
Was selten, aber doch manchmal passiert, daß Karte und Mainboard sich nicht mögen, weil irgendwelche Toleranzen im Timing nicht zueinander passen. Das merkt man aber Recht schnell.

Sollte passen, weil Fujitsu ab Werk schon die X710-DA4 eingebaut und mitgeliefert hat. Nur reichen die mitgelieferten Ports halt nicht aus.

@MirkoKR
Wenn du eine 4-Port 1GBe Karte einsetzt, reicht x4
bei 2,5GBit x8 - falls nötig.

Das sind 10Gbit-Karten x8.

Performance-Einbußen dürfte es nicht geben, oder?

Gruß
DerMaddin
DerMaddin Nov 26, 2024 at 09:12:06 (UTC)
Goto Top
Nur mal die PCIe Spezifikation anschauen, dann weiß man auch, dass selbst PCIe 4.0 x4 genug Bandbreite für 4x 10Gbit hat (~63 Gbit). Mit PCIe 3.0/3.1 x4 wäre das nicht möglich, aber mir sind auch keine NICs mit 4x 10GBit bekannt.
Coreknabe
Coreknabe Nov 26, 2024 at 09:17:22 (UTC)
Goto Top
Danke!

Die Intel X710-DA4 ist allerdings PCIe 3.0?
https://www.intel.de/content/www/de/de/products/sku/83965/intel-ethernet ...

Gruß
DerMaddin
Solution DerMaddin Nov 26, 2024 at 09:32:20 (UTC)
Goto Top
PCIe 3.0 mit x8 hat gleiche Bandbreite wie PCIe 4.0 x4. Die Rechnung ist einfach:

X GT/s * 128/130 (Kodierung) = Nettobandbreite pro Lane
Coreknabe
Coreknabe Nov 26, 2024 at 09:51:59 (UTC)
Goto Top
Super, vielen lieben Dank!

Gruß
niraxx
niraxx Nov 26, 2024 at 09:52:38 (UTC)
Goto Top
benötigt man bei 4x10Gbit Netzwerkkarten nicht eine max. Bandbreite von 80Gbit/s oder habe ich da einen Denkfehler. face-confused

DerMaddin 26.11.2024 um 10:12:06 Uhr
Nur mal die PCIe Spezifikation anschauen, dann weiß man auch, dass selbst PCIe 4.0 x4 genug Bandbreite für 4x 10Gbit hat (~63 Gbit). Mit PCIe 3.0/3.1 x4 wäre das nicht möglich, aber mir sind auch keine NICs mit 4x 10GBit bekannt.
DerMaddin
DerMaddin Nov 26, 2024 at 11:38:56 (UTC)
Goto Top
@niraxx in Theorie ja, in der Praxis wird man aber nie genau diese Auslastung erreichen, also auf allen vier Ports vollduplex mit 10Gbit senden und empfangen. In der Regel ist die Nutzung der Bandbreite asymmetrisch, also eher ein hoher Download oder Upload aber nie beides.
MysticFoxDE
MysticFoxDE Nov 26, 2024 at 12:07:12 (UTC)
Goto Top
Moin @niraxx,

benötigt man bei 4x10Gbit Netzwerkkarten nicht eine max. Bandbreite von 80Gbit/s oder habe ich da einen Denkfehler. face-confused

80 Gbits/s = 10 GByte/s

Ein PCIe 3.0 x8 Slot stell eine Bandbreite von 7,8 GByte/s sowohl in die eine als auch in die andere Richtung zur Verfügung, sprich ist im Grunde auch vollduplexfähig.

Bedeutet für deine Rechnung 7,8 GByte/s + 7,8 GByte/s = 15,6 GByte/s = 124,8Gbit/s Gesamtbandbreite.
Sprich, das reicht für die 4 10G Ports der X710 locker aus, auch bei vollduplex.

Gruss Alex
DerMaddin
DerMaddin Nov 26, 2024 at 13:00:22 (UTC)
Goto Top
@MysticFoxDE

Ja du hast Recht, das gilt je Signalrichtung. Trotzdem ist das mehr als unwahrscheinlich, dass man alle Ports gleichzeitig Up/Down unter voller Last hat face-wink
MirkoKR
MirkoKR Nov 26, 2024 updated at 15:14:02 (UTC)
Goto Top
Es bleibt ja noch die Frage, was in Intranet betrieben wird.. Können alle Geräte > 1 GiBit ?
MysticFoxDE
MysticFoxDE Nov 27, 2024 at 07:53:39 (UTC)
Goto Top
Moin @DerMaddin,

Ja du hast Recht, das gilt je Signalrichtung. Trotzdem ist das mehr als unwahrscheinlich, dass man alle Ports gleichzeitig Up/Down unter voller Last hat face-wink

na ja, die Sache es sogar so, dass wenn man diese NIC's unter Windows mit Default-Einstellungen betreibt, dann wird man deren volle Leistung eh nicht wirklich zu Gesicht bekommen.

Windows Server 2025 - NIC-Performance - Per Default sehr "durchwachsen"
😭

Und bei den Pinguinen sieht es mittlerweile auch nicht viel besser aus. 😔

Gruss Alex