11
Wie priorisiere ich ein 10 GbE-Netzwerk zwischen zwei Servern gegenüber 1GbE?
Guten Tag,
ich habe zwei TrueNAS (eine Core auf HP Microserver G8 und eine Scale auf HP ML350 G9). Ich habe in beide Server je eine Melanox 10 GBit NIC eingebaut und korrekt installiert. Die beiden Server sind im 192.168.2.0/24 1GbE und die beiden Melanox haben ein eigenes Netzwerk mit der IP 192.168.10.1 und 192.168.10.2.
Ich möchte erreichen, daß beim Kopieren von Daten zwischen diesen beiden Servern der Datenverkehr über das 192.168.10.0/24-Netzwerk geht. Ich habe vieles versucht und mich auch ausgiebig mit der AI unterhalten. Leider führte nichts zum Ergebnis. Nicht zu vergessen, daß ich eine pfSense einsetze und vielleicht dort das korrekte Routing eingestellt werden kann. Hier versagte die AI gänzlich, nachdem es mich immer im Kreis geschickt hat, einen statische Route einzurichten, wo pfSense permanent gemeckert hat.
Vielleicht hat jemand von Euch eine Idee? Danke.
ich habe zwei TrueNAS (eine Core auf HP Microserver G8 und eine Scale auf HP ML350 G9). Ich habe in beide Server je eine Melanox 10 GBit NIC eingebaut und korrekt installiert. Die beiden Server sind im 192.168.2.0/24 1GbE und die beiden Melanox haben ein eigenes Netzwerk mit der IP 192.168.10.1 und 192.168.10.2.
Ich möchte erreichen, daß beim Kopieren von Daten zwischen diesen beiden Servern der Datenverkehr über das 192.168.10.0/24-Netzwerk geht. Ich habe vieles versucht und mich auch ausgiebig mit der AI unterhalten. Leider führte nichts zum Ergebnis. Nicht zu vergessen, daß ich eine pfSense einsetze und vielleicht dort das korrekte Routing eingestellt werden kann. Hier versagte die AI gänzlich, nachdem es mich immer im Kreis geschickt hat, einen statische Route einzurichten, wo pfSense permanent gemeckert hat.
Vielleicht hat jemand von Euch eine Idee? Danke.
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 672115
Url: https://administrator.de/forum/wie-priorisiere-ich-ein-10-gbe-netzwerk-zwischen-zwei-servern-gegenueber-1gbe-672115.html
Ausgedruckt am: 26.03.2025 um 02:03 Uhr
11 Kommentare
Neuester Kommentar
Wenn du im gleichen IP Netz bleibst hat doch eine pfSense bzw. Router keinerlei Einfluss auf den Datenfluss, das geschieht doch immer direkt und logischerweise ohne irgendwelche Router. Was du mit "korrektem" Routing meinst bleibt auch diffus. Gibt es denn auch inkorrektes Routing?!
Router werden bekanntlich nur dann involviert wenn es über andere IP Netze zum Ziel geht, was bei deinem Setup ja nicht der Fall ist, weil du ja aus Performancegründen eben eine direkte 10G Verbindung zw. den Servern nutzt ohne Routing.
Kardinalsfrage ist welches Betriebssystem und welche Ziel IP wird verwendet?? 😉
Bei z.B. Winblows gibst du dem 10G Interface bekanntlich eine bessere Interface Metrik, dann werden diese primär benutzt (früher "Bindungsreihenfolge"). Das sollte eine auch noch so dumme und haluzinierende KI eigentlich wissen wenn man denn meint sowas fragen zu müssen.
An der Metrik muss man in der Regel auch nix fummeln, denn das Betriebssystem macht das schon selber, weil es die Bandbreite der Karten automatisch erkennt. Bei Winblows kannst du die Interface Metrik mit route print sehen. (Kleinerer Wert = bessere Metrik = bevorzugter Link)
Entscheidend ist aber immer die Ziel IP die verwendet wird.
Router werden bekanntlich nur dann involviert wenn es über andere IP Netze zum Ziel geht, was bei deinem Setup ja nicht der Fall ist, weil du ja aus Performancegründen eben eine direkte 10G Verbindung zw. den Servern nutzt ohne Routing.
Kardinalsfrage ist welches Betriebssystem und welche Ziel IP wird verwendet?? 😉
Bei z.B. Winblows gibst du dem 10G Interface bekanntlich eine bessere Interface Metrik, dann werden diese primär benutzt (früher "Bindungsreihenfolge"). Das sollte eine auch noch so dumme und haluzinierende KI eigentlich wissen wenn man denn meint sowas fragen zu müssen.
An der Metrik muss man in der Regel auch nix fummeln, denn das Betriebssystem macht das schon selber, weil es die Bandbreite der Karten automatisch erkennt. Bei Winblows kannst du die Interface Metrik mit route print sehen. (Kleinerer Wert = bessere Metrik = bevorzugter Link)
Entscheidend ist aber immer die Ziel IP die verwendet wird.
1
Moin.
Worauf ich hinaus möchte:
- Die Strecke zwischen den beiden NAS sollte durchgängig 10 Gb/s betragen.
- Es sollte sichergestellt sein, dass die Kommunikation über das Netzwerk mit dem 10G-Ports läuft. Du könntest die Verbindung mal direkt mit den IPs (192.168.10.x/24) adressieren, um Ursachen wie DNS erst mal auszublenden.
Gruß
TA
- Wie sind die 10G-Ports angeschlossen? Direkt verbunden, über einen Switch oder über die erwähnte pfSense?Welche Geschwindigkeit haben die beteiligten Ports?
- Wird der Kopiervorgang über Namen oder IPs definiert? Wenn per Name, welche IP wird zum Namen aufgelöst?
Worauf ich hinaus möchte:
- Die Strecke zwischen den beiden NAS sollte durchgängig 10 Gb/s betragen.
- Es sollte sichergestellt sein, dass die Kommunikation über das Netzwerk mit dem 10G-Ports läuft. Du könntest die Verbindung mal direkt mit den IPs (192.168.10.x/24) adressieren, um Ursachen wie DNS erst mal auszublenden.
Gruß
TA
Moin,
wie @aqui schon sagt, die pfsense ist da raus, und das Routing auch!
da wäre erstmal die Frage, wie sind deine Melanox 10GBit Nics den angeschlossen, was sind das für Nics genau (Name und Typ) über Kupfer oder SFP+?
welches OS wird genutzt, dazu ein Hypervisor, wenn ja welcher?
hast du mal mit iperf gemessen, ob du überhaubt eine 10GBit verbindung hast, und wie schnell die ist?
nächster punkt ist, was hast da für Datentrager drin, Festplatten, SSD oder NVMe... können diese auch Daten für 10 Milliarden Bits pro Sekunde Liefern, also Lesend wie Schreibend?
alleine 10GBit Nics machen noch keinen Sommer, besonders dein Dual-Core HP Microserver G8 wird nicht mal
ansatzweise die Leistung für theoretisch 1250MB/s sprich in der Praxis 900MB/s bewältigen können!
da würde es mehr sinn machen, die beiden 2 x 1 Gigabit Ethernet Nics zu nutzen, aber denke daran- Link-Aggregation
für die Portbündelung wirde Netzwerkbandbreite auf 2 Gb erhöhen, aber die Netzwerkgeschwindigkeit bleibt jedoch bei 1 Gb pro User / PC / Server...
Frank
wie @aqui schon sagt, die pfsense ist da raus, und das Routing auch!
Ich möchte erreichen, daß beim Kopieren von Daten zwischen diesen beiden Servern der Datenverkehr über das 192.168.10.0/24-Netzwerk geht.
wie testest du das genau, bzw. was bringt dich dazu zu glauben, das es nicht so ist?da wäre erstmal die Frage, wie sind deine Melanox 10GBit Nics den angeschlossen, was sind das für Nics genau (Name und Typ) über Kupfer oder SFP+?
welches OS wird genutzt, dazu ein Hypervisor, wenn ja welcher?
hast du mal mit iperf gemessen, ob du überhaubt eine 10GBit verbindung hast, und wie schnell die ist?
nächster punkt ist, was hast da für Datentrager drin, Festplatten, SSD oder NVMe... können diese auch Daten für 10 Milliarden Bits pro Sekunde Liefern, also Lesend wie Schreibend?
alleine 10GBit Nics machen noch keinen Sommer, besonders dein Dual-Core HP Microserver G8 wird nicht mal
ansatzweise die Leistung für theoretisch 1250MB/s sprich in der Praxis 900MB/s bewältigen können!
da würde es mehr sinn machen, die beiden 2 x 1 Gigabit Ethernet Nics zu nutzen, aber denke daran- Link-Aggregation
für die Portbündelung wirde Netzwerkbandbreite auf 2 Gb erhöhen, aber die Netzwerkgeschwindigkeit bleibt jedoch bei 1 Gb pro User / PC / Server...
Frank
1
Da gibt es keine Prorisierung. Das Datenpaket nimmt den Weg anhand der Ziel IP Nummer, die du eingibst. Du gibst ja einen Namen ein. Der DNS Dienst wandelt den Namen in eine IP Nummer um. Der DNS Name des Zielservers ist vermutlich immer noch im 192.168.2.x Bereich, also wird das Netzwerk Paket auch die Route über das 192.168.2.x Netzwerk nehmen. Wenn du den Zielserver über seine 192.168.10.x Adresse ansprechen würdest, nimmt das Datenpaket auch das Netzwerk her, das für 192.168.10.x zuständig ist.
Also musst du den zwei Servern neue IP Nummern per DNS definieren. Nachdem die anderen Geräte im Netz keinen Zugriff auf das 192.168.10.x Netzwerk haben, müssen sie die zwei Server immer noch über die alten IP Adressen aus dem 192.168.2.x Netzwerk ansprechen. Also würde ich die neuen Adressen nicht über den globalen DNS Server definieren.
Du gibst dem Server mit der IP 192.168.10.1 per hosts Datei an, dass sich der andere Server unter 192.168.10.2 befindet und umgekehrt auch auf dem anderen Server. Sobald du einem Server was schickst, wird der Quellserver nachsehen welche IP Adresse dieser Zielserver hat und schon weiss er welches Netzwerk er nehmen muss. Die DNS Namen und IP Nummern in der hosts Datei haben gegenüber dem DNS Namen und IP Nummern, den der globale DNS Server verwaltet Priorität.
Eine Metrik kommt nur dann zum Zug, wenn es für ein Ziel mehrere mögliche Routen gibt. In deinem Fall bestimmt jedoch das DNS bereits welches Ziel zu nehmen möchtest (starke Vermutung meinerseits, weil du hast deine DNS Einstellungen nicht beschreiben, stattdessen nur "korrekt" usw)
Vergiss mal ganz schnell diese AI Sachen (bei Bildern können sie nicht einmal die Anzahl der Finger an einer Hand zählen). Die wiederholen nur, was man auch googeln kann und liefern die offensichtlichsten Treffer. Die AI ist nur für die da, die dümmer sind als die AI selbst. Ich verwende die AI nur für z.B.
"Wie hieß nochmal die Syntax für eine Funktion oder der Name für einen Befehl, den ich schon mal kennen gelernt habe? Nein, der Befehl im ersten Treffer der AI war es nicht. Den Meine ich nicht. ... Ach ja, genau, im zweiten Treffer sehe ich den Befehl schon, der wars."
Gerade, wenn es durch kleine Variationen unterschiedliche Lösungen gibt, versagt irgendwelche AI. Du musst googeln und in den Treffern alles durchlesen und überprüfen ob sich die Lösung mit deinen Variationen abdeckt und in der IT gibt es eine Menge an Variationen. Du musst vor allem verstehen warum das so passiert, dann musst du nicht raten und bist auch nicht von irgendeiner AI im Internet abhängig.
Also musst du den zwei Servern neue IP Nummern per DNS definieren. Nachdem die anderen Geräte im Netz keinen Zugriff auf das 192.168.10.x Netzwerk haben, müssen sie die zwei Server immer noch über die alten IP Adressen aus dem 192.168.2.x Netzwerk ansprechen. Also würde ich die neuen Adressen nicht über den globalen DNS Server definieren.
Du gibst dem Server mit der IP 192.168.10.1 per hosts Datei an, dass sich der andere Server unter 192.168.10.2 befindet und umgekehrt auch auf dem anderen Server. Sobald du einem Server was schickst, wird der Quellserver nachsehen welche IP Adresse dieser Zielserver hat und schon weiss er welches Netzwerk er nehmen muss. Die DNS Namen und IP Nummern in der hosts Datei haben gegenüber dem DNS Namen und IP Nummern, den der globale DNS Server verwaltet Priorität.
Eine Metrik kommt nur dann zum Zug, wenn es für ein Ziel mehrere mögliche Routen gibt. In deinem Fall bestimmt jedoch das DNS bereits welches Ziel zu nehmen möchtest (starke Vermutung meinerseits, weil du hast deine DNS Einstellungen nicht beschreiben, stattdessen nur "korrekt" usw)
Vergiss mal ganz schnell diese AI Sachen (bei Bildern können sie nicht einmal die Anzahl der Finger an einer Hand zählen). Die wiederholen nur, was man auch googeln kann und liefern die offensichtlichsten Treffer. Die AI ist nur für die da, die dümmer sind als die AI selbst. Ich verwende die AI nur für z.B.
"Wie hieß nochmal die Syntax für eine Funktion oder der Name für einen Befehl, den ich schon mal kennen gelernt habe? Nein, der Befehl im ersten Treffer der AI war es nicht. Den Meine ich nicht. ... Ach ja, genau, im zweiten Treffer sehe ich den Befehl schon, der wars."
Gerade, wenn es durch kleine Variationen unterschiedliche Lösungen gibt, versagt irgendwelche AI. Du musst googeln und in den Treffern alles durchlesen und überprüfen ob sich die Lösung mit deinen Variationen abdeckt und in der IT gibt es eine Menge an Variationen. Du musst vor allem verstehen warum das so passiert, dann musst du nicht raten und bist auch nicht von irgendeiner AI im Internet abhängig.
2
Moin @vafk18,
wie kopierst du den genau die Daten von dem einen NAS auf das andere?
😯 ... 😖 ... 🙊🙈 ... AI eben 😔
Ähm, wenn meine Kristallkugel das richtig einschätzt, dann musst du eher Richtung "SMB Multichannel" schauen. 😉
Aber ganz sicher nicht Richtung irgend eines Routings. 🙃
Gruss Alex
Ich möchte erreichen, daß beim Kopieren von Daten zwischen diesen beiden Servern der Datenverkehr über das 192.168.10.0/24-Netzwerk geht.
wie kopierst du den genau die Daten von dem einen NAS auf das andere?
Ich habe vieles versucht und mich auch ausgiebig mit der AI unterhalten. Leider führte nichts zum Ergebnis. Nicht zu vergessen, daß ich eine pfSense einsetze und vielleicht dort das korrekte Routing eingestellt werden kann. Hier versagte die AI gänzlich, nachdem es mich immer im Kreis geschickt hat, einen statische Route einzurichten, wo pfSense permanent gemeckert hat.
😯 ... 😖 ... 🙊🙈 ... AI eben 😔
Ähm, wenn meine Kristallkugel das richtig einschätzt, dann musst du eher Richtung "SMB Multichannel" schauen. 😉
Aber ganz sicher nicht Richtung irgend eines Routings. 🙃
Gruss Alex
Hallo an alle,
herzlichen Dank für die zahleichen Antworten
Ich versuche mein Ziel etwas anders zu formulieren:
Es sind mehrere TrueNAS im Einsatz. Core (FreeBSD) und Scale (Debian). Diese laufen auf mehreren HP Microserver G8 und einem HP ML350 G9.
Alle Server hängen mit ihren 1 GbE am Swicht im 192.168.2.0/24 Netz.
Im HP ML350 und einem Microserver habe ich je eine Melanox MNPA19-XTR 10G eingebaut und diese mit einem Cisco SFP-H10GB-CU3M 10GB Kabel ohne ein Switch verbunden. Die 10GbE NICs haben die IP 192.168.10.1 und 192.168.10.2
Auf dem neuen ML350 sollen VM's laufen und Zugriff auf den HP Microserver haben. Die Idee war, daß ich diese beiden Server (evtl. auch über die pfSense, die bei mir die Firewall bildet) so einstelle, daß wenn Daten zwischen diesen beiden Servern ausgetauscht werden, daß sie über das 10GbE fließen und nch über das 1GbE und den Switch.
Wenn es jedoch nicht gehen sollte, müßte ich mir wohl einen relativ teuren 10 GbE-Switch besorgen und die beiden Server darüber verbinden. Die restlichen Hosts im Netzwerk würden dann auf diese beiden Server über das 1 GbE Netzwerk zugreifen, weil die 10 GbE Switches auch 1GbE bzw. 2,5GbE Anschlüsse haben.
Ist das was ich vorhabe also umsetzbar?
herzlichen Dank für die zahleichen Antworten
Ich versuche mein Ziel etwas anders zu formulieren:Es sind mehrere TrueNAS im Einsatz. Core (FreeBSD) und Scale (Debian). Diese laufen auf mehreren HP Microserver G8 und einem HP ML350 G9.
Alle Server hängen mit ihren 1 GbE am Swicht im 192.168.2.0/24 Netz.
Im HP ML350 und einem Microserver habe ich je eine Melanox MNPA19-XTR 10G eingebaut und diese mit einem Cisco SFP-H10GB-CU3M 10GB Kabel ohne ein Switch verbunden. Die 10GbE NICs haben die IP 192.168.10.1 und 192.168.10.2
Auf dem neuen ML350 sollen VM's laufen und Zugriff auf den HP Microserver haben. Die Idee war, daß ich diese beiden Server (evtl. auch über die pfSense, die bei mir die Firewall bildet) so einstelle, daß wenn Daten zwischen diesen beiden Servern ausgetauscht werden, daß sie über das 10GbE fließen und nch über das 1GbE und den Switch.
Wenn es jedoch nicht gehen sollte, müßte ich mir wohl einen relativ teuren 10 GbE-Switch besorgen und die beiden Server darüber verbinden. Die restlichen Hosts im Netzwerk würden dann auf diese beiden Server über das 1 GbE Netzwerk zugreifen, weil die 10 GbE Switches auch 1GbE bzw. 2,5GbE Anschlüsse haben.
Ist das was ich vorhabe also umsetzbar?
... sorry.. Microserver und Auslastung von 10GB/s ?
Das haut nicht hin... und bekommst Du mit der Hardware auch nicht hin...
10GB sind "fett" - theoretisch können das alle OS's... da ist aber auch erst mal Sense - ohne tuning.. egal was die HW her gibt... Durch den RAM "blasen" kann jeder... der Rest der sonst kommt aber nicht..
Gruss Globe!
Das haut nicht hin... und bekommst Du mit der Hardware auch nicht hin...
10GB sind "fett" - theoretisch können das alle OS's... da ist aber auch erst mal Sense - ohne tuning.. egal was die HW her gibt... Durch den RAM "blasen" kann jeder... der Rest der sonst kommt aber nicht..
Gruss Globe!
Moin,
hast du mal ansatzweise gelesen, was ich geschrieben habe?
was willst du mit nem SFP+ Switch, wenn deine Hardware nicht mitmacht.....
beantworte mal meine fragen weiter oben!
Frank
Wenn es jedoch nicht gehen sollte, müßte ich mir wohl einen relativ teuren 10 GbE-Switch besorgen und die beiden Server darüber verbinden. Die restlichen Hosts im Netzwerk würden dann auf diese beiden Server über das 1 GbE Netzwerk zugreifen, weil die 10 GbE Switches auch 1GbE bzw. 2,5GbE Anschlüsse haben.
hast du mal ansatzweise gelesen, was ich geschrieben habe?
was willst du mit nem SFP+ Switch, wenn deine Hardware nicht mitmacht.....
beantworte mal meine fragen weiter oben!
Frank
Wenn es jedoch nicht gehen sollte, müßte ich mir wohl einen relativ teuren 10 GbE-Switch besorgen und die beiden Server darüber verbinden.
Das wäre ja ziemlicher Blödsinn und weisst du auch selber. Was sollte denn ein Switch dazwischen besser machen als eine direkte Back to Back Verbindung. Was ein Unsinn....das wäre ja nur ein sinnfreier Durchlauferhitzer.Andersrum kostet ein einfacher 10G Switch ja nun auch nicht die Welt. Mit popeligen 130 Euronen bist du dabei...
https://www.omg.de/mikrotik/cloud-router-switches/cloud-router-switches/ ...
Starte mal ein iperf3 auf den beiden Maschinen und connecte die über die .10.x IP Adressen, dann weisst du doch direkt woran du bist.
Auf diesen einfachen Banaltest kommst du doch auch gleich als Erstes wenn man sinnvoll den Durchsatz testen willst... Wenn du die .10.x Adressen benutzt wird auch direkt dein 10 Gig Punkt zu Punkt Link benutzt und nix anderes.
https://iperf.fr/iperf-download.php
Moin @Globetrotter,
ja, wenn da ein Windows drauf laufen würde, dann würde ich dir sofort zustimmen und bei dem was der TO vor hat, sprich, die 10G auch noch durch einen Hypervisor an VM's durchzureichen, trifft die Aussage ebenfalls zu.
Aber, ganz generell kann man das jedoch und auch zum Glück, nicht wirklich behaupten.
Denn die folgenden Kisten ...
https://www.infortrend.com/de/products/families/gsepro/pro200
... haben auch nur max. eine relativ magere Xeon-D CPU mit gerade mal 4 Kernen.
Mit dieser relativ überschaubaren CPU-Leistung, schafft es Infortrend jedoch, zumindest mit der GSe Pro 200T sowohl das RAID, als auch die Dateidienste zu händeln und die Daten auch noch locker mit mindestens 4 x 10G bereitzustellen und zwar in Full-Speed.
https://community.spiceworks.com/t/mystical-loadbalancing-by-using-smb-o ...
😁
Gruss Alex
... sorry.. Microserver und Auslastung von 10GB/s ?
Das haut nicht hin... und bekommst Du mit der Hardware auch nicht hin...
Das haut nicht hin... und bekommst Du mit der Hardware auch nicht hin...
ja, wenn da ein Windows drauf laufen würde, dann würde ich dir sofort zustimmen und bei dem was der TO vor hat, sprich, die 10G auch noch durch einen Hypervisor an VM's durchzureichen, trifft die Aussage ebenfalls zu.
Aber, ganz generell kann man das jedoch und auch zum Glück, nicht wirklich behaupten.
Denn die folgenden Kisten ...
https://www.infortrend.com/de/products/families/gsepro/pro200
... haben auch nur max. eine relativ magere Xeon-D CPU mit gerade mal 4 Kernen.
Mit dieser relativ überschaubaren CPU-Leistung, schafft es Infortrend jedoch, zumindest mit der GSe Pro 200T sowohl das RAID, als auch die Dateidienste zu händeln und die Daten auch noch locker mit mindestens 4 x 10G bereitzustellen und zwar in Full-Speed.
https://community.spiceworks.com/t/mystical-loadbalancing-by-using-smb-o ...
😁
Gruss Alex
Moin @vafk18:
wenn du auf dieser Hardware einen Hypervisor und zwar ganz egal welchen (Hyper-V, VMware, Proxmox & Co.) aktivierst, dann kannst du die 10G leider knicken, zumindest von und zu den VM's, weil du dafür schlichtweg die falsche, respektive zu schwache Hardware hast.
Gruss Alex
Auf dem neuen ML350 sollen VM's laufen und Zugriff auf den HP Microserver haben. Die Idee war, daß ich diese beiden Server (evtl. auch über die pfSense, die bei mir die Firewall bildet) so einstelle, daß wenn Daten zwischen diesen beiden Servern ausgetauscht werden, daß sie über das 10GbE fließen und nch über das 1GbE und den Switch.
wenn du auf dieser Hardware einen Hypervisor und zwar ganz egal welchen (Hyper-V, VMware, Proxmox & Co.) aktivierst, dann kannst du die 10G leider knicken, zumindest von und zu den VM's, weil du dafür schlichtweg die falsche, respektive zu schwache Hardware hast.
Gruss Alex
1
