6
Server mit mehreren NICs im LAN, ARP Problem
Hallo zusammen,
wir haben einen Fileserver, mit mehreren NICs. Jede NIC hat eine IP-Adresse im LAN-IP Berreich.
Alle NIC sind direkt an einen Switch angebunden, der wie unten skitziert über 10Gbit Ports verfügt.
An diesem Switch hängen dann direkt oder inderekt MAC-OS Clients, die über SMB auf den Server zugreifen sollen.
Hintergrund ist eine Spezialanwendung, der MAC-OS Clients, die den Server nutzt.
Unser Vorhaben ist, pro Client eine NIC zu verwenden.
Sprich MAC1 Verbindet sich auf NIC1. MAC2 auf NIC2 usw.
Nun haben wir testweiße NIC1 und NIC2 in Betrieb genommen,
Problem NIC1 hat 1Gbit (ist so gewollt), NIC2 hat 10Gibt Anbindung.
Wir haben den MAC1 mit über SMB auf 10.0.01 (NIC1) verbunden, den MAC2 auf NIC 2.
Beim einfachen Kopieren von Daten vom MAC2 wird aber nun NIC1 verwendet?
Wir haben das jetzt ausführlich durchgetestet, hier eine Auflistung was wir alles getestet haben.
ARP-Tabelle:
MAC2 hat für 10.0.0.1 und 10.0.0.2 je de MAC-Adresse von NIC1 eingetragen; korrigiert, keine Änderung.
Am Server haben wir uns mit folgenden Parametern "gespielt" -> https://netbeez.net/blog/avoiding-arp-flux-in-multi-interface-linux-host ...
Routing und Metric:
NULLRoute auf NIC1 bei MAC2 eingetragen, kein Erfolg.
Routing am MAC2 angepasst, so dass die METRIC für 10.0.0.2 vorrangig ist, kein Erfolg.
Server:
Centos 7 - NIC1 (1Gbit) 10.0.0.1/8------------------|SWITCH (10Gbit/s)|-------------MAC1 10.0.0.11
- NIC2 (10Gbit) 10.0.0.2/8------------------| |-------------MAC2 10.0.0.12
- NIC3 (10Gbit) 10.0.0.3/8------------------| |-------------MAC3 10.0.0.13
- NIC4 (10Gbit) 10.0.0.4/8------------------| |-------------MAC4 10.0.0.14
- NIC5 (10Gbit) 10.0.0.5/8------------------| |-------------MAC5 10.0.0.15
Zusammengefasst möchten wir, dass der Server die Datenübertragung immer auf jenem Interface macht, wo auch der Client sich verbunden hat.
Wenn wir die Netze trennen zB. über VLAN oder andere SUBNetze haben wir das Problem nicht.
Es sollen aber weiterhin alle Interfaces untereinander erreichbar sein.
Hat jemand von euch, schon mal so ein ähnliches Problem, bzw. einen Denkanstoß für uns?
wir haben einen Fileserver, mit mehreren NICs. Jede NIC hat eine IP-Adresse im LAN-IP Berreich.
Alle NIC sind direkt an einen Switch angebunden, der wie unten skitziert über 10Gbit Ports verfügt.
An diesem Switch hängen dann direkt oder inderekt MAC-OS Clients, die über SMB auf den Server zugreifen sollen.
Hintergrund ist eine Spezialanwendung, der MAC-OS Clients, die den Server nutzt.
Unser Vorhaben ist, pro Client eine NIC zu verwenden.
Sprich MAC1 Verbindet sich auf NIC1. MAC2 auf NIC2 usw.
Nun haben wir testweiße NIC1 und NIC2 in Betrieb genommen,
Problem NIC1 hat 1Gbit (ist so gewollt), NIC2 hat 10Gibt Anbindung.
Wir haben den MAC1 mit über SMB auf 10.0.01 (NIC1) verbunden, den MAC2 auf NIC 2.
Beim einfachen Kopieren von Daten vom MAC2 wird aber nun NIC1 verwendet?
Wir haben das jetzt ausführlich durchgetestet, hier eine Auflistung was wir alles getestet haben.
ARP-Tabelle:
MAC2 hat für 10.0.0.1 und 10.0.0.2 je de MAC-Adresse von NIC1 eingetragen; korrigiert, keine Änderung.
Am Server haben wir uns mit folgenden Parametern "gespielt" -> https://netbeez.net/blog/avoiding-arp-flux-in-multi-interface-linux-host ...
Routing und Metric:
NULLRoute auf NIC1 bei MAC2 eingetragen, kein Erfolg.
Routing am MAC2 angepasst, so dass die METRIC für 10.0.0.2 vorrangig ist, kein Erfolg.
Server:
Centos 7 - NIC1 (1Gbit) 10.0.0.1/8------------------|SWITCH (10Gbit/s)|-------------MAC1 10.0.0.11
- NIC2 (10Gbit) 10.0.0.2/8------------------| |-------------MAC2 10.0.0.12
- NIC3 (10Gbit) 10.0.0.3/8------------------| |-------------MAC3 10.0.0.13
- NIC4 (10Gbit) 10.0.0.4/8------------------| |-------------MAC4 10.0.0.14
- NIC5 (10Gbit) 10.0.0.5/8------------------| |-------------MAC5 10.0.0.15
Zusammengefasst möchten wir, dass der Server die Datenübertragung immer auf jenem Interface macht, wo auch der Client sich verbunden hat.
Wenn wir die Netze trennen zB. über VLAN oder andere SUBNetze haben wir das Problem nicht.
Es sollen aber weiterhin alle Interfaces untereinander erreichbar sein.
Hat jemand von euch, schon mal so ein ähnliches Problem, bzw. einen Denkanstoß für uns?
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 507191
Url: https://administrator.de/contentid/507191
Ausgedruckt am: 22.11.2024 um 04:11 Uhr
6 Kommentare
Neuester Kommentar
Hallo!
Theoretisch ist es möglich und hier auch beschrieben:
https://access.redhat.com/solutions/30564
https://serverfault.com/questions/415304/multiple-physical-interfaces-wi ...
Praktisch würde ich das um jeden Preis vermeiden, einen LACP-Bond konfigurieren und mir die einzelnen Interfaces sparen, wenn es irgendwie möglich ist...
Theoretisch ist es möglich und hier auch beschrieben:
https://access.redhat.com/solutions/30564
https://serverfault.com/questions/415304/multiple-physical-interfaces-wi ...
Praktisch würde ich das um jeden Preis vermeiden, einen LACP-Bond konfigurieren und mir die einzelnen Interfaces sparen, wenn es irgendwie möglich ist...
Jede NIC hat eine IP-Adresse im LAN-IP Berreich.
Wie ist das zu verstehen ??Jede NIC ist in einem eigenen IP Netzwerkbereich. Oder hast du etwa parallel mehrere NICs in ein IP Netz gehängt.
Letzteres wäre unsinnig und macht man nicht. Zudem wäre es tödlich, da es die massive Gefahr von Netzwerk Loops und damit Stillstand birgt. Kein vernünftiger Netzwerk Admin der weiss was er tut würde also so einen Unsinn machen. Kollege @Der-Phil hat es ja oben schon zu Recht angesprochen.
Wenn dann immer nur mit einem LACP LAG (Link Aggregation). Wie hier beschrieben:
Netzwerk Management Server mit Raspberry Pi
Das wäre einen klassische Konfig dafür.
dass der Server die Datenübertragung immer auf jenem Interface macht, wo auch der Client sich verbunden hat.
Das ist ja Quatsch, denn du nutzt einen /8 Prefix. Die Clients sind also IMMER auf in dem selben IP Netz wo sich ALLE NICs befinden.Vermutlich scheiterst du hier an deinem Netzwerk Layer 2 oder Layer 3 KnowHow ?!
Wie sinnfrei oder nicht ein /8 Prefix auf IP Netzen ist muss man hier jetzt sicher nicht diskutieren....
Wenn du das wirklich Client und NIC isoliert bezogen mit einer festen one to one Beziehung haben willst musst du auf dem Switch das logischerweise auch trennen und 4 VLANs einrichten und die Adapter darin separieren. Dann brauchst du natürlich auch keinen LAG.
NIC2 (10Gbit) 10.0.2.1/30------------------|VLAN-2|-------------Client-MAC2 10.0.2.2/30
NIC3 (10Gbit) 10.0.3.1/30------------------|VLAN-3|-------------Client-MAC2 10.0.3.2/30
NIC4 (10Gbit) 10.0.4.1/30------------------|VLAN-4|-------------Client-MAC2 10.0.4.2/30
NIC5 (10Gbit) 10.0.5.1/30------------------|VLAN-5|-------------Client-MAC2 10.0.5.2/30
So wird ein Schuh draus und jeder Client bekommt dediziert seine NIC. Natürlich kann man dann da auch einen /24er Prefix oder kleiner nehmen. /30 war jetzt nur ein Beispiel für eine Punkt zu Punkt Option.
Was du da oben machst ist nicht Standard konforme, wilde Bastelei im freiem Fall.
Moin,
welche SMB Version wird genutzt?
Sollten alle NICs eine IP aus dem gleichen Netz haben, so wird SMB Multithreading betreiben. Das heißt Zuordnung auf IP Basis ist da Quatsch. Das gilt für SMBv3!
Versionen darunter unterstützen dies nicht.
Gruß
Spirit
welche SMB Version wird genutzt?
Sollten alle NICs eine IP aus dem gleichen Netz haben, so wird SMB Multithreading betreiben. Das heißt Zuordnung auf IP Basis ist da Quatsch. Das gilt für SMBv3!
Versionen darunter unterstützen dies nicht.
Gruß
Spirit
Hallo,
gleich Vorweg, es ist aktuell nur eine Testumgebung.
Wir hatten auch schon SubNetze oder komplett getrennte Netzbereiche angedacht, nur möchten wir ein Routing vermeiden.
Danke
gleich Vorweg, es ist aktuell nur eine Testumgebung.
Wie ist das zu verstehen ??
So wie ich geschrieben habe, Jede NIC hat eine eigene IP im LANWenn dann immer nur mit einem LACP LAG (Link Aggregation). Wie hier beschrieben:
Netzwerk Management Server mit Raspberry Pi
Darüber hab ich auch schon nachgedacht, würde dass aber bei 1Gbits sowie 10Gbits zugleich gehen?Netzwerk Management Server mit Raspberry Pi
Vermutlich scheiterst du hier an deinem Netzwerk Layer 2 oder Layer 3 KnowHow ?!
Das kein sein, darum Frag ich ja nach Wie sinnfrei oder nicht ein /8 Prefix auf IP Netzen ist muss man hier jetzt sicher nicht diskutieren....
Nein und war auch nur ein Beispiel. Echtsystem ist /21Wenn du das wirklich Client und NIC isoliert bezogen mit einer festen one to one Beziehung haben willst musst du auf dem Switch das logischerweise auch trennen und 4 VLANs einrichten und die Adapter darin separieren. Dann brauchst du natürlich auch keinen LAG.
NIC2 (10Gbit) 10.0.2.1/30------------------|VLAN-2|-------------Client-MAC2 10.0.2.2/30
NIC3 (10Gbit) 10.0.3.1/30------------------|VLAN-3|-------------Client-MAC2 10.0.3.2/30
NIC4 (10Gbit) 10.0.4.1/30------------------|VLAN-4|-------------Client-MAC2 10.0.4.2/30
NIC5 (10Gbit) 10.0.5.1/30------------------|VLAN-5|-------------Client-MAC2 10.0.5.2/30
So ähnlich ist die ist Situation, nur möchten wir eben dass wir über die eine NIC auch weiter ins LAN kommen.NIC2 (10Gbit) 10.0.2.1/30------------------|VLAN-2|-------------Client-MAC2 10.0.2.2/30
NIC3 (10Gbit) 10.0.3.1/30------------------|VLAN-3|-------------Client-MAC2 10.0.3.2/30
NIC4 (10Gbit) 10.0.4.1/30------------------|VLAN-4|-------------Client-MAC2 10.0.4.2/30
NIC5 (10Gbit) 10.0.5.1/30------------------|VLAN-5|-------------Client-MAC2 10.0.5.2/30
Wir hatten auch schon SubNetze oder komplett getrennte Netzbereiche angedacht, nur möchten wir ein Routing vermeiden.
Was du da oben machst ist nicht Standard konforme, wilde Bastelei im freiem Fall.
Bastelei? Funktionieren muss es.Danke
Hi,
Routing vermeiden ist IT von vor der Jahrtausendwende und hat in 2019 nichts zu suchen.
Ansonsten hat aqui alles gesagt, was ihr vorhabt ist definitiv wildeste Bastelei auf Wald-und-Wiesen-IT-Niveau.
Bitte macht es dementsprechend richtig: Entweder einen großen Uplink oder InterVLAN-Routing.
Müssen tut man exakt 2 Sachen im Leben. Und in der IT muss gar nichts...
Wir hatten auch schon SubNetze oder komplett getrennte Netzbereiche angedacht, nur möchten wir ein Routing vermeiden.
Routing vermeiden ist IT von vor der Jahrtausendwende und hat in 2019 nichts zu suchen.
Ansonsten hat aqui alles gesagt, was ihr vorhabt ist definitiv wildeste Bastelei auf Wald-und-Wiesen-IT-Niveau.
Bitte macht es dementsprechend richtig: Entweder einen großen Uplink oder InterVLAN-Routing.
Bastelei? Funktionieren muss es.
Müssen tut man exakt 2 Sachen im Leben. Und in der IT muss gar nichts...
nur möchten wir ein Routing vermeiden.
Dann müsst ihr zwangseise auf LACP LAGs ausweichen und die 4 NICs in einem LACP LAG (Trunk) bündeln.Geht zwar auch, ist aber nicht das Optimum da ein Hashing Verfahren und man kann dadurch nicht homogen verteilen.
Bei sehr wenig Mac- oder IP Adress Entropie im Netz mit gerade mal 4 Clients besteht dann die Gefahr das 3 Clients dann auf einer NIC hängen, ein anderer auf der 2ten und 2 NICs unbenutzt sind. Alle Kombinationen sind da durch das zufällige Adress Hashing bei 802.3ad Bundeling (leider) denkbar.
Besser also 4 VLANs und Subnetting. Routen ist bei aktuellen Switches heute kein Thema mehr und ebenfalls Wirespeed da in Silizium. Kollege @chgorges sage es schon.
Mit einem kleinen Mikrotik 8 Port 10G Switch ist das eine preiswerte und schnelle Sache mit deinen 4 NICs:
https://www.varia-store.com/de/produkt/34143-mikrotik-crs309-1g-8s-in-cl ...
