heinz189
Goto Top

Passen die 40G Netzwerkkarten zusammen?

Hallo zusammen,

ich habe mir in der jüngeren Vergangenheit einen Heimserver gebaut. Auf diesem läuft auch PfSense als Virtuelle Maschine die sicherlich auch Grundlage für mein Vorhaben wäre.

Ich will diesen nun ein wenig aufrüsten und um eine große Festplatte erweitern wo alles wichtige gespeichert wird.
Hier kommt natürlich auch das Thema Datensicherung zu tragen. Hierfür will ich einen zweiten PC aufstellen der täglich/wöchentlich automatisch startet, ein Backup ausführt und dann wieder herunterfährt.

Beide PC müssten hierfür natürlich miteinander verbunden werden - wie gesagt läuft auf dem Heimserver PfSense und ich könnte darüber ein Netzwerk hierfür einrichten.

Mir schwebt folgendes vor:

Heimserver: Mellanox MCX314A BCCT ConnectX-3 Pro EN 40 GbE PCIe x8 QSFP Server Adapter LP - https://www.ebay.de/itm/132680048486

Backup PC: Fujitsu ConnectX3 VPI (CA05954-2101 A5) QSFP 40GbE SP Network Ethernet Adapter - https://www.ebay.de/itm/185777006632

Ich habe mich bisher mit Netzwerken über 1GB nie beschäftigt.

Passen die beiden Karten zusammen?

Danke und viele Grüße

Content-Key: 14133627291

Url: https://administrator.de/contentid/14133627291

Printed on: May 20, 2024 at 12:05 o'clock

Member: Spirit-of-Eli
Spirit-of-Eli Apr 13, 2024 at 13:37:02 (UTC)
Goto Top
Moin,

wie meist du zusammen passen? Ob die in unterschiedlichen Geräten zwecks Verbindung funktionieren? Das sollte gehen.

Ob die in deiner Hardware laufen wird dir leider keiner gesichert sagen können. Verlassen würde ich mich nur auf Hersteller Kompatibilitätslisten.

Gruß
Spirit
Member: aqui
aqui Apr 13, 2024 updated at 14:52:32 (UTC)
Goto Top
Auch sollte man vor dem Kauf klären ob diese Karten Hersteller gebrandete QSFP Optiken oder QSFP Twinax / AOC Kabel erfordern oder ob sie auch ohne ein Vendor Checking auskommen.
Bei Mellanox ist das problemlos:
https://www.fs.com/de/products/36395.html?attribute=360&id=3510093
https://www.fs.com/de/products/36374.html?attribute=9825&id=2319420
https://www.fs.com/de/products/40198.html?attribute=12882&id=233978
Bzw. bei Breakout Betrieb mit 4mal 10G
https://www.fs.com/de/products/36371.html?attribute=9518&id=2408955

Bei Fujitsu solltest du das vor dem Kauf prüfen.
Member: Heinz189
Heinz189 Apr 13, 2024 at 16:34:25 (UTC)
Goto Top
Danke für die Antworten. Mir ging es tatsächlich darum ob ich die eine Karte in den einen PC einbauen kann und die andere in den anderen und ob sie dann zusammen funktionieren.

Ich weiß ja nun wonach ich gezielt suchen muss. Danke.
Member: MysticFoxDE
MysticFoxDE Apr 14, 2024 updated at 06:45:21 (UTC)
Goto Top
Moin @Heinz189,

ich habe mir in der jüngeren Vergangenheit einen Heimserver gebaut. Auf diesem läuft auch PfSense als Virtuelle Maschine die sicherlich auch Grundlage für mein Vorhaben wäre.

OK, und was für einen Hypervisor (VMware, Haper-V, Proxmox, ...) verwendest du auf diesem Heimserver und welche CPU ist in diesem verbaut?

Ich will diesen nun ein wenig aufrüsten und um eine große Festplatte erweitern wo alles wichtige gespeichert wird.

Meinst du wirklich Festplatte oder SSD, denn bei ersteren, kannst du dir die 40G NIC auch gleich sparen.

Hier kommt natürlich auch das Thema Datensicherung zu tragen. Hierfür will ich einen zweiten PC aufstellen der täglich/wöchentlich automatisch startet, ein Backup ausführt und dann wieder herunterfährt.

Und welches Betriebssystem soll auf diesem PC dann laufen und welche CPU und auch welche Datenträgerart möchtest du in diesen verbauen? Wenn HDD's, dann gilt dasselbe wie auch beim Server, sprich, die 40G NIC ist für die Katz.

Heimserver: Mellanox MCX314A BCCT ConnectX-3 Pro EN 40 GbE PCIe x8 QSFP Server Adapter LP - https://www.ebay.de/itm/132680048486

Backup PC: Fujitsu ConnectX3 VPI (CA05954-2101 A5) QSFP 40GbE SP Network Ethernet Adapter - https://www.ebay.de/itm/185777006632

Grundsätzlich passen die Karten schon zusammen, sprich, die können untereinander kommunizieren.
Aber, um 40GBit's zu erreichen, muss sowohl das Quellsystem als auch das Zielsystem enorme Anforderungen unter anderem bei CPU und auch beim Storage erfüllen und das sehe ich bei dir momentan eher nicht gegeben.
Und sobald du auf einem der beiden Windows am laufen hast, wirst du die 40G ohne diverseste, zum Teil sehr komplexe Optimierung eh nicht erreichen, selbst wenn du genug Hardwareressourcen hättest. ­čśö

Gruss Alex
Member: Heinz189
Heinz189 Apr 14, 2024 at 19:31:44 (UTC)
Goto Top
Hi Alex,
nur grob. Als Mainboard in meinem Heimserver habe ich ein ASUS PRO WS W680-ACE.
Grundsätzlich läuft da Ubuntu und dann KVM als Hypervisor.

Speicher sind einerseits eine NVME sowie eine popelige HDD. Dass die HDD das Bottleneck ist ist klar, aber die NVME würde ich gerne auf eine andere NVME sichern oder zumindest eine SSD.

Der Backup PC ist eine alte HP Workstation. Soll auch Ubuntu Server drauf. Mal sehen ob die ausreicht aber versuch macht klug. Wenn nicht muss was anderes her.
Grüße
Member: pebcak7123
pebcak7123 Apr 15, 2024 at 08:38:59 (UTC)
Goto Top
Zitat von @aqui:

Auch sollte man vor dem Kauf klären ob diese Karten Hersteller gebrandete QSFP Optiken oder QSFP Twinax / AOC Kabel erfordern oder ob sie auch ohne ein Vendor Checking auskommen.
Bei Mellanox ist das problemlos:
https://www.fs.com/de/products/36395.html?attribute=360&id=3510093
https://www.fs.com/de/products/36374.html?attribute=9825&id=2319420
https://www.fs.com/de/products/40198.html?attribute=12882&id=233978
Bzw. bei Breakout Betrieb mit 4mal 10G
https://www.fs.com/de/products/36371.html?attribute=9518&id=2408955

Bei Fujitsu solltest du das vor dem Kauf prüfen.

Die Fujitsu Karte ist auch ne Mellanox Connect-X3, nur halt gebrandet, sollte also problemlos funktionieren
Member: Ueba3ba
Ueba3ba Apr 15, 2024 at 11:31:21 (UTC)
Goto Top
Lade dir die aktuelle Firmware runter und brenn die über beide Karten, dann sind die nicht mehr gebrandet.

Tutorials gibt es reichliche im Net.
Zum Beispiel dieses Tutorial
Member: Heinz189
Heinz189 Apr 15, 2024 at 11:43:32 (UTC)
Goto Top
Ich hatte jetzt am Wochenende tatsächlich zwei von den Mellanox Karten gekauft. Danke und Grüße
Member: aqui
aqui Apr 15, 2024 at 13:12:12 (UTC)
Goto Top
Feedback wäre mal ganz spannend ob sie laufen und wenn ja mit welchen Optiken, DAC/Twinax oder AOC Kabeln. face-wink
Member: Heinz189
Heinz189 Apr 15, 2024 at 17:31:22 (UTC)
Goto Top
Mellanox HP 670759-B25 674852-001 40G QSFP+ - QSFP+ Datenkabel 3m
https://www.ebay.de/itm/145009476120

Werde berichten sobald alles da ist und auch eingebaut.
Member: MysticFoxDE
MysticFoxDE Apr 16, 2024 at 05:40:58 (UTC)
Goto Top
Moin @Heinz189,

nur grob. Als Mainboard in meinem Heimserver habe ich ein ASUS PRO WS W680-ACE.
Grundsätzlich läuft da Ubuntu und dann KVM als Hypervisor.

Der Backup PC ist eine alte HP Workstation. Soll auch Ubuntu Server drauf. Mal sehen ob die ausreicht aber versuch macht klug. Wenn nicht muss was anderes her.

OK, auf beiden Seiten ein Ubuntu, das ist schon mal gut, den damit solltest du auch ohne viel zu optimieren, ein bessere Ergebnis wie bei Windows hinbekommen. Aber auch ein Linux benötigt trotzdem noch einige an CPU Kapazität, um 40G zu händeln.

Meine Workstation vespert bei 40G (4x10G) ~20GHz nur für die Abarbeitung des Datenverkehrs der NIC's, wenn ich diesen dann gleichzeitig auch noch auf einen Datenträger schreibe, oder von einem lese, kommt +- nochmals genau so viel CPU Last für das Storagehandling dazu. Und wenn dann noch AV oder andere Sicherheitsfeatures dazwischen greifen, benötigt man bei dem entsprechenden Datentransfer und vor allem bei dieser Geschwindigkeit, zum Teil noch Faktoren mehr an CPU Ressourcen. ­čśö

Ich drücke dir auf jeden Fall ganz fest die Daumen und bin schon sehr gespannt, was du aus deinen Linux Rechnern, mit den 40G NIC's rausholen kannst.

Speicher sind einerseits eine NVME sowie eine popelige HDD. Dass die HDD das Bottleneck ist ist klar, aber die NVME würde ich gerne auf eine andere NVME sichern oder zumindest eine SSD.

Wenn du die 40G (~4,8 GByte/s) über das Netzwerk erreichen solltest, dann benötigst du auf jeden Fall eine sehr gute oder mehrere gute NVME SSD's, die diese Datenlast storagetechnisch auch bewältigen. SATA SSD's kannste fast gleich wieder knicken, da bei diesen bei ~580 MByte/s Schluss ist, meistens schon früher, vor allem beim Schreiben.

Gruss Alex