sebastian2608
Goto Top

Netzwerkfehler: Bond

Hallo Leute,

mich plagt seit längerem ein Problem - Folgendes:

Ich habe auf einem meiner Proxmox Host-Servern ein (Debian) Bonding erstellt. Soweit sogut.
Das Bonding funktioniert soweit, dass ich ohne Probleme eine Internetverbindung aufbauen kann, und alle VM´s auf diesem Server dauerhaft erreichbar sind.

Jetzt das große ABER:
Der Host-Server ansich ist immer wieder nicht erreichbar (Status der Erreichbarkeit ändert sich ca. alle 1 Minuten / Weder Pingen, noch das Web-GUI, SSH, etc. funktioniert).
Nach ein bisschen warten, und sich mehrmals versuchen zu verbinden, funktioniert es dann auch irgendwann.
Die VM´s bleiben weiterhin ohne jegliche beeinträchtigung online.

Habe mir schon sämtliche Logs angesehen, finde aber nichts...

Netzwerkconfig:
# network interface settings
auto lo
iface lo inet loopback

iface eth1 inet manual

iface eth0 inet manual

auto bond0
iface bond0 inet manual
        slaves eth0 eth1
        bond_miimon 100
        bond_mode 802.3ad

# VPN
auto vmbr2
iface vmbr2 inet static
        address  192.170.5.95
        netmask  255.255.255.0
        bridge_ports none
        bridge_stp off
        bridge_fd 0

# LAN
auto vmbr1
iface vmbr1 inet static
        address  10.198.0.3
        netmask  255.255.255.0
        bridge_ports none
        bridge_stp off
        bridge_fd 0

# WAN
auto vmbr0
iface vmbr0 inet static
        address  89.x.x.66
        netmask  255.255.255.224
        gateway  89.x.x.65
        bridge_ports bond0
        bridge_stp off
        bridge_fd 0

Hat wer Lösungsansätze, oder weiß womit das zutun haben könnte? Die Konfiguration erscheint mir grundsätzlich richtig...?

Vielen Dank!

Grüße
Sebastian

Content-Key: 340962

Url: https://administrator.de/contentid/340962

Printed on: April 23, 2024 at 20:04 o'clock

Member: Vision2015
Vision2015 Jun 18, 2017 at 14:42:52 (UTC)
Goto Top
tach..
was sagt den dein Switch dazu ?
was ist das für ein Switch, und was für eine Config?
wozu überhaubt bonding ? (BEI DEINER CONFIG)

Frank
Member: sebastian2608
sebastian2608 Jun 18, 2017 at 14:48:40 (UTC)
Goto Top
Hallo,

mit diesem Server hänge ich direkt hinter dem Provider - Somit kein Switch bzw. Router (Meinerseit) davor - Daran liegt es aber bestimmt nicht, da:
- Bevor ich das Bonding eingerichtet habe, hat alles funktioniert (Zumindest wäre mir kein Fehler aufgefallen)
- Alle anderen IP-Adressen ohne Unterbrechnung erreichbar sind, und diese als Subnet geroutet werden

Zitat von @Vision2015:
wozu überhaubt bonding ? (BEI DEINER CONFIG)
Sind 2 unterschiedliche Leitungen, jeweils 10Gbit/s -> Zwecks Ausfallsicherhheit

Im Anhang noch ein Screen vom Ping.

LG
g6cdhtpytuobquilistgna
Member: Vision2015
Vision2015 Jun 18, 2017 at 15:05:14 (UTC)
Goto Top
Zitat von @sebastian2608:

Hallo,

mit diesem Server hänge ich direkt hinter dem Provider - Somit kein Switch bzw. Router (Meinerseit) davor - Daran liegt es aber bestimmt nicht, da:
- Bevor ich das Bonding eingerichtet habe, hat alles funktioniert (Zumindest wäre mir kein Fehler aufgefallen)
- Alle anderen IP-Adressen ohne Unterbrechnung erreichbar sind, und diese als Subnet geroutet werden

Zitat von @Vision2015:
wozu überhaubt bonding ? (BEI DEINER CONFIG)
Sind 2 unterschiedliche Leitungen, jeweils 10Gbit/s -> Zwecks Ausfallsicherhheit
du hast echt jetzt 2 x 10Gbit/s -> Zwecks Ausfallsicherhheit..?
was für Nic´s sind in deinem Server?
ok...
wer hat dir den gesagt das du ein Bonding machen sollst?
welchen Bonding-Modus nutzt du ?
Bonding = Netzwerkkarten bündeln!

Im Anhang noch ein Screen vom Ping.
hm..

LG
Frank
Member: em-pie
em-pie Jun 18, 2017 updated at 15:22:32 (UTC)
Goto Top
Moin,

wie Vision bereits anmerkte, wird der von dir angemietete Server ja sicherlich nicht einfach in der Cloud (There's no Cloud, just another ones Computer...) schweben, sondern mit irgendwelchen Kabeln an irgendeinem Switch hängen.

Solange der Switch nicht von deinem Provider passend konfiguriert ist, wirst du auch kein Bonding auf seiten des Debain sauber zum Rennen bekommen.

Sprich: dein Provider muss am Switch ebenfalls 802.3ad aktivieren, damit dein Debian dies auch sauber mitmacht.
Ansonsten wird der Switch deines Providers vermutlich ständig mit STP beschäftigt sein und dir immer mal wieder die Ports dis- und enablen...

Sprich also mit deinem Provider, welcher dir dann mitteilt, wann du was aktivieren darfst!

Und eigentlich dachte ich immer, wenn man sich einen Server irgendwo mietet, kümmert sich der Provider um die sicherstellung der ständigen Verfügbarkeit !?

Gruß
em-pie
Member: sebastian2608
sebastian2608 Jun 18, 2017 at 15:20:36 (UTC)
Goto Top
"du hast echt jetzt 2 x 10Gbit/s -> Zwecks Ausfallsicherhheit..?"
1x 10G waren inklusive, die brauche ich auch. Weitere 10G gab es günstig als A+B dazu - Somit, Ja.

"wer hat dir den gesagt das du ein Bonding machen sollst?
Ich mir selbst.

"Bonding = Netzwerkkarten bündeln!"
Richtig, genau das möchte ich auch - Was ist falsch daran?

"welchen Bonding-Modus nutzt du ?
Schau dir am besten die Netzwerkconfig oben an - Ist alles ersichtlich.

Grüße
Member: sebastian2608
sebastian2608 Jun 18, 2017 updated at 15:25:53 (UTC)
Goto Top
Zitat von @em-pie:
wie Vision bereits anmerkte, wird der von dir angemietete Server ja sicherlich nicht einfach in der Cloud (There's nos Clud, just another ones Computer...) schweben, sondern mit irgendwelchen Kabeln an irgendeinem Switch hängen.
Solange der Switch nicht von deinem Provider passend konfiguriert ist, wirst du auch kein Bonding auf seiten des Debain sauber zum Rennen bekommen.

Es ist mein Server (Housing), und vom Provider aus sind einige Bondings möglich, hatte eine Liste, und habe mir den aktuellen Mode raus gesucht und nutze diesen.
Nochmals: Es sind 2x 10Gbit A+B, also 2 Unterschiedliche Switches - An der Providerseite liegt es nicht:
Da die VM´s ebenfalls über das Bonding laufen, wären diese genau so wenig erreichbar, wenn es am Provider liegen würde.


Und eigentlich dachte ich immer, wenn man sich einen Server irgendwo mietet, kümmert sich der Provider um die sicherstellung der ständigen Verfügbarkeit !?

Beim Housing wohl eher nicht.

LG
Member: em-pie
em-pie Jun 18, 2017 updated at 15:39:19 (UTC)
Goto Top
Zitat von @sebastian2608:

Zitat von @em-pie:
wie Vision bereits anmerkte, wird der von dir angemietete Server ja sicherlich nicht einfach in der Cloud (There's nos Clud, just another ones Computer...) schweben, sondern mit irgendwelchen Kabeln an irgendeinem Switch hängen.
Solange der Switch nicht von deinem Provider passend konfiguriert ist, wirst du auch kein Bonding auf seiten des Debain sauber zum Rennen bekommen.

Es ist mein Server (Housing), und vom Provider aus sind einige Bondings möglich, hatte eine Liste, und habe mir den aktuellen Mode raus gesucht und nutze diesen.
OK, hatte irgendwie beim Tippen im Kopf, dass das ein gemieteter Server ist

Nochmals: Es sind 2x 10Gbit A+B, also 2 Unterschiedliche Switches - An der Providerseite liegt es nicht:
Da die VM´s ebenfalls über das Bonding laufen, wären diese genau so wenig erreichbar, wenn es am Provider liegen würde.
Und hier wird vermutlich der Fehler liegen!
Laufen die Switche im Stack?
Wenn nein, können die distributed Trunking (HP) bzw. Multichassis EtherChannel/ VSS/ VPC (Cisco)?
Wenn Nein: vergiss dein Vorhaben. Das klappt dann nämlich nicht!
Wirst du aber selbst merken, wenn du mal im WWW nach LACP across multiple Switches suchst
Member: sebastian2608
sebastian2608 Jun 18, 2017 at 15:46:26 (UTC)
Goto Top
OK, hatte irgendwie beim Tippen im Kopf, dass das ein gemieteter Server ist
Sorry, hätte ich anmerken können, dachte nur das es selbstverständlich ist, wenn ich mit Bonding herum bastle

Und hier wird vermutlich der Fehler liegen!
Laufen die Switche im Stack?
Wenn nein, können die distributed Trunking (HP) bzw. Multichassis EtherChannel/ VSS/ VPC (Cisco)?
Wenn Nein: vergiss dein Vorhaben. Das klappt dann nämlich nicht!
Wirst du aber selbst merken, wenn du mal im WWW nach LACP across multiple Switches suchst

In dem Punkt reden wir, denke ich zumindest, aneinander vorbei.
Welche Konfiguration der Provider einsetzt weiß ich nicht, und ist mir um erlich zu sein auch ziemlich egal.

Ich weiß dass das Bonding grundsätzlich funktioniert, da wie gesagt die VM´s ebenfalls am Bonding laufen, diese aber dauerhaft verfügbar sind.
NUR der Proxmox Host hat Probleme bei der Erreichbarkeit - Für mich war es naheliegend, dass es am Bonding liegt, da das die letzte große Veränderung war. Natürlich könnte es auch am Proxmox Server direkt liegen - Ich vermute aber eher einen Netzwerkfehler.

Wie gesagt, ich bin mir sehr sicher, dass es nicht am Provider liegt, Gründe wurden ja bereits mehrmals genannt.
Liegt es evtl. am Bond-Mode? Gibt es weitere Konfigurationen, welche evtl geändert bzw ergänzt gehören...?

Danke schon mal für die Hilfe!

LG
Member: Vision2015
Vision2015 Jun 18, 2017 at 15:58:34 (UTC)
Goto Top
Zitat von @sebastian2608:

OK, hatte irgendwie beim Tippen im Kopf, dass das ein gemieteter Server ist
Sorry, hätte ich anmerken können, dachte nur das es selbstverständlich ist, wenn ich mit Bonding herum bastle

Und hier wird vermutlich der Fehler liegen!
Laufen die Switche im Stack?
Wenn nein, können die distributed Trunking (HP) bzw. Multichassis EtherChannel/ VSS/ VPC (Cisco)?
Wenn Nein: vergiss dein Vorhaben. Das klappt dann nämlich nicht!
Wirst du aber selbst merken, wenn du mal im WWW nach LACP across multiple Switches suchst

In dem Punkt reden wir, denke ich zumindest, aneinander vorbei.
Welche Konfiguration der Provider einsetzt weiß ich nicht, und ist mir um erlich zu sein auch ziemlich egal.
das kann dir nicht egal sein, wenn du das mit Bonding (LCAP) lösen willst...


Ich weiß dass das Bonding grundsätzlich funktioniert, da wie gesagt die VM´s ebenfalls am Bonding laufen, diese aber dauerhaft verfügbar sind.
NUR der Proxmox Host hat Probleme bei der Erreichbarkeit - Für mich war es naheliegend, dass es am Bonding liegt, da das die letzte große Veränderung war. Natürlich könnte es auch am Proxmox Server direkt liegen - Ich vermute aber eher einen Netzwerkfehler.
ich auch... den so geht das nicht!
bau dir einen Router davor, mit Lastenausgleich etc...

Wie gesagt, ich bin mir sehr sicher, dass es nicht am Provider liegt, Gründe wurden ja bereits mehrmals genannt.
Liegt es evtl. am Bond-Mode? Gibt es weitere Konfigurationen, welche evtl geändert bzw ergänzt gehören...?
ja.. aber um Bonding Art zu wechseln, brachst du die Switch Config von deinem Hoster...

Danke schon mal für die Hilfe!

LG
Frank
Member: maretz
maretz Jun 18, 2017 at 16:00:56 (UTC)
Goto Top
Moin,

es ist schön das dir die Konfig vom Provider egal ist. Nur leider ist die Konfig deinem NETZWERK nicht egal. Wenn dein Provider keinen Stack hat dann hat der einfach zwei Netzwerk-Ports in nem VLAN drin und du hast halt da 1-2 IPs im VLAN die du nutzen kannst. Schön - damit kannst du einen aktiv-passiv-Bond bauen (hast dann aber nur 1 Verbindung aktiv).

Wenn ich das oben aber richtig überfliege willst du aktiv-aktiv haben. Jetzt meldet sich also dein Server mit MAC-Adresse1 am Switch-1 und sagt "verknüpfe mal die IP mit der Mac auf den port". Und Mac-2 sagt switch 2 das der dieselbe IP mit einem anderem Port verknüpfen soll -> und schon gehts schief. Der Switch weiss jetzt nicht mehr wohin er das jetzt packen soll und verwirft die Pakete weils Müll wird.

Was deine VMs machen weiss ich natürlich nicht - wenn du selbst den Hypervisor betreibst stellst du ja ein was du machst. Ich könnte mir vorstellen das du den üblichen Fehler machst: Mehrere Netzwerkkarten zusammenfügen und du glaubst das es geht - während dir untenrum Spanning-Tree ganz gepflegt den Ar... rettet.

Also - frage mal deinen Provider an was er für ne Konfig aufm Switch hat und ob der dir den Bond-Mode einstellen kann. Dann passt du deine Konfig entsprechend an und das läuft...
Member: em-pie
em-pie Jun 18, 2017 updated at 16:09:07 (UTC)
Goto Top
Zitat von @sebastian2608:

OK, hatte irgendwie beim Tippen im Kopf, dass das ein gemieteter Server ist
Sorry, hätte ich anmerken können, dachte nur das es selbstverständlich ist, wenn ich mit Bonding herum bastle
Man hat hier schon vieles gesehen/ gelesen, und um ehrlich zu sein, bin ich mir bei dir gerade nicht so ganz sicher, ob es da anders ist. Wobei ich mir auch irren mag...

Und hier wird vermutlich der Fehler liegen!
Laufen die Switche im Stack?
Wenn nein, können die distributed Trunking (HP) bzw. Multichassis EtherChannel/ VSS/ VPC (Cisco)?
Wenn Nein: vergiss dein Vorhaben. Das klappt dann nämlich nicht!
Wirst du aber selbst merken, wenn du mal im WWW nach LACP across multiple Switches suchst
In dem Punkt reden wir, denke ich zumindest, aneinander vorbei.
Das mag sein. Mal folgendes anhand des bisherigen Gespräches zusammengefasst, zumindest so, wie ich es deinen Aussagen nach aufgefasst habe:
  • Ihr habt HEs bei einem Housing-Provider angemietet und dort nur den EINEN Proxmox stehen.
  • Über zwei verschiedene ISPs (Telekom, UM, NetClogne, was auch immer) wird je eine 10GBit/s WAN-Anbindung vom APL direkt zu eurem Server durchgereicht?
  • Du willst via Bonding diese beiden Internetzugänge direkt am Proxmox "vereinen"?

Wenn Punkt 3 zutrifft, musst du vermutlich/ mit Sicherheit einen Dual-WAN-Router dazwischen schalten, oder auf das Bonding verzichten

Wenn dem nicht so ist (insb. Punkte 2+3), dann ist folgende Aussage eine völlig falsche Einstellung
Welche Konfiguration der Provider einsetzt weiß ich nicht, und ist mir um erlich zu sein auch ziemlich egal.
Wenn du am Server LACP einsetzen willst, solltest du schon noch Rücksprache mit deinen Housing-Provider halten.

Stell dir folgendes Vor: Du bist eine Frau und hast 10 Mio. Informationen, die du deiner Nachbarin mitteilen willst. Ihr beide könnt aber nicht direkt miteinander sprechen, also werden eure beiden Männe eingespannt, welche sich zunächst beide in deinem Raum befinden. Du sprichst jetzt direkt drauf los, ohne deine Informationen zielgerichtet zu bündeln. Mann A nimmt nur die eine Hälfte an Informationen mit, Mann B die andere. Nun gehen beide Männer rüber und sprechen bestenfalls nacheinander drauf los, vermutlich aber gleichzeitig. Da sich beide vorher nicht abgesprochen haben, fehlt jegliche Information, welche Informationen zusammen gehören.

Gleiches Prinzip beim Bonding:
du hast zwei Transportmedien (2 Kabel und Switche) und willst nen Haufen Pakete transportieren, wobei zusammenhängende Informationen am ende auch wieder richtig zusammengesetzt werden müssen. Wenn beide Switche nichts voneinander wissen, wie sollen dann beide die Pakerte richtig zuordnen können?

Also ist es sehr wohl wichtig zu wissen, nach welchem Prinzip dir dein Housing-Provider die Ports bereit stellt
Member: sebastian2608
sebastian2608 Jun 18, 2017 at 16:13:02 (UTC)
Goto Top
Hallo,

vielen Dank nochmals für die Antworten!

Also - frage mal deinen Provider an was er für ne Konfig aufm Switch hat und ob der dir den Bond-Mode einstellen kann. Dann passt du deine Konfig entsprechend an und das läuft...
aber um Bonding Art zu wechseln, brachst du die Switch Config von deinem Hoster...

Telef. Aussage damals von meinem Provider:
"Sie können einen der von uns vorgeschlagegen Bonding Methoden wählen, unsere Systeme sind so eingestellt, dass sie diesen erkennen, und mit Ihrem System zusammen arbeiten."

Die meinten, sofern ich einen von denen vorgeschlagegen Modis nehme, sei es kein Problem. Welchen Modi ich verwende bleibt mir überlassen. Ich brauche sie auch nicht darüber zu informieren, da alles automatisch geht - Empfehlen würden Sie mir aber für meine Zwecke 802.3ad

bau dir einen Router davor, mit Lastenausgleich etc...
Den Router möchte ich mir bei diesem System schenken, sofern das geht - Überall anders hängt sowieso ein Router + Firewall davor, da ist aber auch kein Bonding aktiv...

LG
Member: sebastian2608
sebastian2608 Jun 18, 2017 at 16:18:25 (UTC)
Goto Top
Hallo,

Das mag sein. Mal folgendes anhand des bisherigen Gespräches zusammengefasst, zumindest so, wie ich es deinen Aussagen nach aufgefasst habe:
Ihr habt HEs bei einem Housing-Provider angemietet und dort nur den EINEN Proxmox stehen.
Über zwei verschiedene ISPs (Telekom, UM, NetClogne, was auch immer) wird je eine 10GBit/s WAN-Anbindung vom APL direkt zu eurem Server durchgereicht?
Du willst via Bonding diese beiden Internetzugänge direkt am Proxmox "vereinen"?

Nicht ganz.
Wir beziehen unsere Datenleitung von nur einem Provider - Die A+B Anbindung dient nur zur Sicherheit, sollte ein Switch ausfallen, oder evtl. eine Netzwerkkarte.

Und ja, ich will diese beiden Leitungen auf einem proxmox Server (Debian) bonden.
Member: Vision2015
Vision2015 Jun 18, 2017 at 16:25:04 (UTC)
Goto Top
Den Router möchte ich mir bei diesem System schenken, sofern das geht - Überall anders hängt sowieso ein Router + Firewall davor, da ist aber auch kein Bonding aktiv...

mit dem Router machst du den Lastenausgleich zwischen den WAN port´s
das wäre auf jedenfall die beste Lösung..

Frank
Member: em-pie
em-pie Jun 18, 2017 updated at 16:34:59 (UTC)
Goto Top
Das beantwortet immer noch nicht die von mir gestellte Frage/ getätigte Aussage:
Über zwei verschiedene ISPs (Telekom, UM, NetClogne, was auch immer) wird je eine 10GBit/s WAN-Anbindung vom APL direkt zu eurem Server durchgereicht?
Ersetze von mir aus APL durch Modem.
Was ich hiermit erfragen will: hat jedes Kabel eine eigene öffentliche IP, also stellen beide für sich einen völlig eigenen WAN-Anschkluss dar, quasi als hättest du zwei Kabel in der Hand, die von zwei verschiedenen DSL-Modems/ -Routern kommen?

€dit:
oder hat dir euer Provider zwei Kabel hingehalten und gesagt, an beiden Kabeln kommen beide Provider an?
Member: sebastian2608
sebastian2608 Jun 18, 2017 at 16:38:03 (UTC)
Goto Top
Was ich hiermit erfragen will: hat jedes Kabel eine eigene öffentliche IP, also stellen beide für sich einen völlig eigenen WAN-Anschkluss dar, quasi als hättest du zwei Kabel in der Hand, die von zwei verschiedenen DSL-Modems/ -Routern kommen?

Beide "Kabeln" bzw. eigl Ports liegen offenbar in einem VLAN, mit den komplett selben IP´s, da es laut Provider egal ist,
- ob ich einen Router zwischen schalte, oder direkt an den Server "anstecke"
- ob ich ein Kabel weg lasse, oder nicht
- ob ich die IP .75 von Kabel 1 beziehe und die IP .91 von Kabel 2
Member: sebastian2608
sebastian2608 Jun 18, 2017 at 16:39:38 (UTC)
Goto Top
mit dem Router machst du den Lastenausgleich zwischen den WAN port´s
das wäre auf jedenfall die beste Lösung..

Mache ich das nicht mit dem Bond direkt am OS?
Oder liegt der Fehler genau da...?