trust9
Goto Top

Vernetzung mehrerer Gebäudeteile und Server

Hallo zusammen,

ich möchte bei uns einiges optimieren und würde gerne wissen, ob es so in Ordnung ist.

Ich fange mal mit der Infrastruktur an.

Es gibt einen Serverschrank mit 6 Servern auf den jeweils 2-3 VMs laufen.

Momentan gibt es in dem Serverschrank ein 48 Port Switch und jeder Server ist mit einem Ethernetkabel verbunden.
An diesem Switch sind wiederum 2 weitere 48 Port Switche angebunden (jeweils ein Kabel) die unterschiedlichen Gebäudeabschnitte versorgen.

Meine Idee ist jetzt alles per Link Aggregation zu vernetzten.

Die 3 Switche jeweils mit vier Leitungen untereinander im aktiv mode.
Zusätzlich wollte ich auf den Hosts jeweils die vorhanden 4 Netzwerkkarten zu einem NicTeam (lacp und dynamisch) konfigurieren. Aus diesem Team wiederum ein virtuelles Switch für die VMs erstellen.

Ich habe jetzt schon unterschiedliche Meinungen gelesen. Einmal liest man LACP ist wunderbar und funktioniert tadellos, andere schreiben wieder ist Mist. Ich wollte jetzt einfach mal gerne eure Meinung hören.

Eine weitere Verständnisfrage habe ich noch. Was bringt mir das passive LACP? Klar die passiven Ports sind zur Ausfallsicherheit und übernehmen wenn der aktive ausfällt aber wenn ich alle Ports auf aktiv laufen lasse habe ich doch eine Portbündelung und zusätzlich eine Ausfallsicherheit.

Würde mich über Antworten freuen.

Gruß


Nachtrag: Als Betriebsystem auf den Servern nutze ich Windows 2012 R2 und Ubuntu.

Content-Key: 513505

Url: https://administrator.de/contentid/513505

Printed on: April 24, 2024 at 14:04 o'clock

Member: SeaStorm
SeaStorm Nov 08, 2019 at 20:38:12 (UTC)
Goto Top
Zitat von @trust9:

Hallo zusammen,
Hallo


Meine Idee ist jetzt alles per Link Aggregation zu vernetzten.

Die 3 Switche jeweils mit vier Leitungen untereinander im aktiv mode.
OK. Gibts denn keine Uplink ports mit 10G? Von was für switchen reden wir ?
Zusätzlich wollte ich auf den Hosts jeweils die vorhanden 4 Netzwerkkarten zu einem NicTeam (lacp und dynamisch) konfigurieren. Aus diesem Team wiederum ein virtuelles Switch für die VMs erstellen.

Ich habe jetzt schon unterschiedliche Meinungen gelesen. Einmal liest man LACP ist wunderbar und funktioniert tadellos, andere schreiben wieder ist Mist. Ich wollte jetzt einfach mal gerne eure Meinung hören.
Wenn LACP funktioniert, dann funktioniert's halt. Gibt halt immer wieder mal Geräte die dann nicht richtig miteinander reden wollen und dann gibts Probleme. Persönlich bevorzuge ich zwar Static LAGs, aber das ist ehrlicherweise nur Geschmackssache. LACP handelt dinge aus und da können Sachen passieren, über die ich so erst mal keine Kontrolle habe. Wenn ich das ganze Static mache, dann ist es das was ich da einstelle und nichts anderes.

Eine weitere Verständnisfrage habe ich noch. Was bringt mir das passive LACP? Klar die passiven Ports sind zur Ausfallsicherheit und übernehmen wenn der aktive ausfällt aber wenn ich alle Ports auf aktiv laufen lasse habe ich doch eine Portbündelung und zusätzlich eine Ausfallsicherheit.
Klassische Stolperfalle bei LACP. Passiv heist hier nicht das der Port einfach inaktiv ist.
Aktiv bedeutet, das der Port sofort wenn er Up geht anfängt PDUs zu senden, also versucht die Gegenseite anzufunken und eine Aushandlung zu starten.
Passiv macht das nicht. Das wartet, das ihn ein aktiver anspricht.
Konfigurierst du also beide Seiten auf Passiv, dann wird da kein Port hochkommen. Eine Seite muss Aktiv sein.

Genutzt wird das eher selten. Manche Switche bieten das schon gar nicht mehr an
Member: aqui
aqui Nov 08, 2019 updated at 22:06:00 (UTC)
Goto Top
Generell sind LACP LAGs nicht falsch zur Link Aggregation im Backbone und ein gängiges Verfahren. Technisch spricht also nichts dagegen das so umzusetzen.
Eins darf man aber nicht vergessen:
Ein LACP LAG basiert auf dem 802.3ad Standard der als Grundlage ein Hashing Verfahren hat. Das Hashing basiert auf den Mac Adressen oder IP Adressen. Bei besseren Switches wird noch der UDP oder TCP Ports in die Hash Berechnung integriert um die Verteilung granularer zu machen. Da du nichts zu deinen Switches sagst und ob sie alternative Hashes supporten bei LAGs müsste man raten ob die dazugehören.
Es bedeutet also das Mac- oder IP Pärchen immer feste, einzelne Links aus dem LAG benutzten. Eine homogene Verteilung auf die gebündelten Links ist damit also ausgeschlossen !
Darin liegt der große Nachteil dieses Verfahrens denn wenn im Netz sehr wenig Entropie herrscht bei den Mac- oder IP Adressen es so zu einer sehr schlechten Verteilung der Last auf den Links kommt. Bei 4 Links sieht das dann häufig so aus das beispielsweise 50% auf einem liegt, 20% auf dem nächsten und der Rest verteilt sich dann auf den 2 restlichen Links wenn man einer 4er LAG betreibt.
Eine sog. "Fat Pipe" also ein 10Gig Link hat diese Nachteile nicht. Alternativ sog. Fabric Switches die im Backbone alternative Verfahren wie TRILL oder SPF verwenden. Diese machen statt Hashing ein per Packet Round Robin Verfahren. Letztlich ist das erheblich besser aber am Ende schlechter als eine "Fat Pipe".
Bei popeligen 3 Switches solltest du dir also überlegen ob du das so umsetzen willst. Zumal 10Gig heute so gut wie Commodity ist und wenig kostet.
Besser wäre es also die Core Switches mit 10GiG auszurüsten und dort die Server auch mit 10Gig anzuschliessen und von diesen dann mit 10G Uplinks auf die Access Switches zu gehen.
Mit der Cisco SG-250X Serie oder Mikrotik 10G Switches ist das letztlich die bessere und skalierbarere Lösung. Erfordert aber natürlich eine Neuinvestition in die Infrastruktur.
Letztlich musst du das selber entscheiden.
Ein klassisches Allerwelts Netzwerk Design dazu sähe mit aktueller Switchtechnik heute so aus:

stackdesign

Zum Thema passives LACP hört sich das so an als ob du da einen Verständnisfehler hast. Das hat rein gar nichts mit Ausfall oder Backup zu tun. Passive LACP Ports schicken keinerlei LACP Negotiation Frames, partizipieren also nicht an der aktiven LACP Negotiation und warten das auf der anderen Seite Switches mit aktivem LACP sind.
2 Seiten mit passivem LACP kommen so also nie zueinander. Einer der Gründe warum man heute niemals mehr passives LACP macht sondern beiden Seiten im active Mode belässt. Die handeln dann über das LACP Handshaking die Rollen automatisch aus.
Besser also nochmal genau lesen und verstehen: https://de.wikipedia.org/wiki/Link_Aggregation
Member: trust9
trust9 Nov 13, 2019 at 13:15:35 (UTC)
Goto Top
Hi,
erstmal vielen Dank an euch beide. Ich war einige Zeit unterwegs, habe mich aber versucht nebenbei in die Thematik einzulesen. LACP aktiv/passiv habe ich in dem Zuge auch verstanden. Zu dem Zeitpunkt hatte ich erst den Post von SeaStorm gelesen.

Ich habe mal eine kurze Zeichnung angefertigt wie ich mir das Grundkonzept vorgestellt habe. Hier halt alles 1GB
netzwerk
Ich wollte dann doch auf static Lag gehen (wie von SeaStorm vorgeschlagen).

Jetzt kam aber aqui noch um die Ecke.
Die Switche Cisco SG250X-48P haben ja 4x 10gb, 2 x SFP+ und 2 x 10GBASE-T.
Nochmal auf meine Zeichnung zurück.
Switch 1+2 sind zusammen in einem Netzwerkschrank verbaut. die könnte ich ja per SFP+ direkt verbinden.
Switch 3+4 in anderen Gebäudeabschnitten. Wir haben im Haus Cat.7 Kabel verlegt. Ich habe noch nie mit SFP+/RJ45 Modulen gearbeitet. Kann ich die dann einfach auf das Patchpanel auflegen? Nächste Frage. Zwischen den Switchen dann eine 10Gb Leitung oder auch zwei im LAG? Stichwort Ausfallsicherheit. aqui du meintest doch im LAG funktioniert das load balancing nicht richtig. Bei 10Gb ist das dann doch egal würde ich sagen.

Kommen wir zu den Servern. Macht es dann Sinn aus den 4 Netzwerkports ein Nic Team zu erstellen? Dieses Team dann doch Switchunabhängig und dynamisch? Ich habe gelesen diese Konfiguration wird von Microsoft empfohlen. Jeweils 2 Leitungen auf unterschiedliche Switche. Aus dem Nic Team wollte ich dann ja jeweils ein vSwitch für die VMs erstellen.

Viele Fragen aber ich bin so motiviert dieses Projekt voran zu treiben. Irgendwann ... wenn mal viel Zeit ist, möchte ich eine richtige Schulung machen.

Tausend Dank für eure Unterstützung
Member: aqui
aqui Nov 15, 2019 at 14:51:09 (UTC)
Goto Top
Ich wollte dann doch auf static Lag gehen
Keinesfalls ! Immer LACP LAGs verwenden !
Ich habe noch nie mit SFP+/RJ45
Noch nie mit RJ45 ?? Du hast also noch ein Kupfer Patchkabel in der Hand gehabt ??? Kann man ja fast nicht glauben bei dem Design oben... face-smile
Kann ich die dann einfach auf das Patchpanel auflegen?
Was denn ?? Kupfer oder Glas ?? So oder so bei beiden lautet die Antwort JA !
Zwischen den Switchen dann eine 10Gb Leitung oder auch zwei im LAG?
Kannst ja nur DU selber beurteilen ob du die Bandbreite brauchst. Da du ja eh ein voll redundantes Design hast kannst du auch mit einfachen Links arbeiten. Hängt also von der Bandbreite ab die du brauchst...
im LAG funktioniert das load balancing nicht richtig.
Doch doch, aber man darf nicht vergessen das das ein Hashing basieretes Verfahren ist. Es ist eben KEIN Round Robin.