olsen1
Goto Top

Netzwerkkonfiguration Azure Local 23H2

Guten Tag,

ich arbeite mich aktuell in Azure Local ein und habe eine Verständnisfrage. Ich werde an dieser Stelle nicht aus der Microsoft Doku schlau. Gegeben sind zwei potenzielle Nodes, es soll eine switchless Bereitstellung werden. Neben den Netzwerkkarten für den Storage Traffic (Direktverkabelung) gibt es noch pro Nodes zwei Netzwerkanschlüsse. Außerdem gibt es zwei TOR Switche. Die Bereitstellung erfolgt über das Azure Portal. Jetzt gibt es bei mir Unsicherheiten was die Netzwerkkonfiguration für den Compute & Management betrifft. Ich weiß nicht welche Variante die richtige ist:

Variante 1
Pro Node wird 1 Netzwerk Adapter für Compute & Managementtraffic konfuriert und ich wähle dann bei dem Deployment des Clusters beide Netzwerkadapter für Compute & Management Traffic aus und über das Portal erfolgt dann eine automatische Bereitstellung und Konfiguration der Netzwerkkarten. Das VLAN tagge ich auch nur auf einem Netzwerkadapter.

Variante 2
Ich erstelle pro Node ein SET-Switch aus den beiden Netzwerkadaptern und wähle diesen dann im Azure Portal aus und daraus folgt dann die Konfiguration des Intent.

Wenn ich die KI frage, dann wird mir Variante 2 vorgeschlagen, ich wollte aber mal auch die Aussage von euch hören. Laut KI bleibt der zweite Netzwerkadapter ungenutzt.

VG
Olsen

Content-ID: 670631

Url: https://administrator.de/forum/netzwerkkonfiguration-azure-local-23h2-670631.html

Printed on: January 14, 2025 at 07:01 o'clock

Spirit-of-Eli
Spirit-of-Eli Jan 10, 2025 at 13:39:57 (UTC)
Goto Top
Moin,

was ist "switchless"? In Azure gibt es quasi keine Switche.
Einfach der VM in dem entsprechenden Netzwerk Objekt eine IP geben.

Gruß
Spirit
Olsen1
Olsen1 Jan 10, 2025 updated at 14:00:03 (UTC)
Goto Top
Hallo Spirit,

Azure Local ist die lokale Bereitstellung auf eigener Hardware in den eigenen vier Wänden. Das hieß bis vor kurzem auch noch Azure Stack HCI.

VG
Olsen
Spirit-of-Eli
Spirit-of-Eli Jan 10, 2025 at 13:59:59 (UTC)
Goto Top
Du meinst eher Azure Stack HCI?
Olsen1
Olsen1 Jan 10, 2025 at 14:00:38 (UTC)
Goto Top
Jetzt heißt es Azure Local, aber ja genau.
Spirit-of-Eli
Spirit-of-Eli Jan 10, 2025 at 14:30:47 (UTC)
Goto Top
die sind doch alle bescheuert.
C.R.S.
C.R.S. Jan 10, 2025 at 15:07:55 (UTC)
Goto Top
Hallo,

die verfügbarkeitsrelevanten Komponenten werden physisch vollständig vernetzt, Variante 2.
Jeder Server wird mit seinen zwei NICs an beide Switch angebunden. Dazu werden die NICs in einem SET konfiguriert.
"Ungenutzt" bleibt der zweite Adapter dabei nicht.

Grüße
Richard
Olsen1
Olsen1 Jan 10, 2025 at 15:17:26 (UTC)
Goto Top
Hallo Richard,

nochmal zum Verständnis, ich mache das händisch, bevor ich zum eigentlichen Cluster Deployment im Azure Portal übergehe und wähle dort den „SET Switch“ aus? Was passiert denn, wenn ich den zweiten Adapter unberührt lasse, und dann beide Adapter im Portal für Compute,Management auswähle? Was passiert da mit dem zweiten Adapter?

VG
C.R.S.
C.R.S. Jan 10, 2025 at 15:56:33 (UTC)
Goto Top
Zitat von @Olsen1:

nochmal zum Verständnis, ich mache das händisch, bevor ich zum eigentlichen Cluster Deployment im Azure Portal übergehe und wähle dort den „SET Switch“ aus?

Nicht händisch/vorab. Intent-Konfigurationsanweisungen beziehen sich auf die physischen NICs und sind eine Abstraktionsebene zur Erzeugung der benötigten SETs. Das SET ist Ergebnis, nicht Voraussetzung.
Olsen1
Olsen1 Jan 10, 2025 at 16:43:07 (UTC)
Goto Top
Also dann bin ich ja wieder bei Variante 1., vielleicht habe ich mich aber auch falsch ausgedrückt. Also, wir gehen jetzt davon aus, ich habe das OS installiert, zwei Netzwerkadapter für den Storage Traffic, die fasse ich nicht an. Dann habe ich meine zwei übrigen Netzwerkadapter für Compute & Management. Bisher noch alles lokal per PowerShell.

Variante 1: Ich konfiguriere eine IP Adresse, vergebe, falls vorhanden einen VLAN Tag und das war’s. Den Rest mache ich im Azure Portal. Ich wähle für den Compute & Management Traffic meine beiden Netzwerkadapter (den von mir konfigurierten und den bisher unbenutzten) und die restliche Konfiguration erfolgt dann automatisch. Im Anschluss habe ich als Ergebnis meinen SET aus beiden Adaptern.

Oder doch

Variante 2: Ich erzeuge, noch lokal per PowerShell, aus meinen beiden Adaptern einen SET Switch und wähle diesen dann im Azure Portal aus?

Irgendwie finde ich die Microsoft Doku dazu auch etwas undurchsichtig.

Vielen Dank für deine Unterstützung

VG
Olsen
C.R.S.
C.R.S. Jan 10, 2025 at 18:35:39 (UTC)
Goto Top
Ok, so gesehen ist es Variante 1. Das VLAN-Tag hat mich verwirrt. Ich habe den Ablauf im Portal nicht vor Augen, aber ich bezweifle, dass man ein VLAN-Tag dort für den (virtuellen) Management-Adapter definieren kann, oder ein vorgefundenes VLAN-Tag von einem physischen Adapter auf den Management-Adapter übertragen würde.
Mach das doch auf zwei untagged Interfaces und setze ein Management-VLAN, wenn Management-Adapter und SET verfügbar sind.
Olsen1
Olsen1 Jan 10, 2025 at 19:26:01 (UTC)
Goto Top
Im Portal geht es nicht. Aber das VLAN Tag muss man vorher definieren, das steht auch so verständlich in der Doku (https://learn.microsoft.com/en-us/azure/azure-local/plan/cloud-deploymen ...) ) Aber Danke, dann hat mir das schonmal geholfen.

VG
MysticFoxDE
MysticFoxDE Jan 11, 2025 at 06:52:38 (UTC)
Goto Top
Moin @Olsen1,

Ich werde an dieser Stelle nicht aus der Microsoft Doku schlau.

aus den Dokus von Microsoft kann man oft leider auch nicht wirklich schlau werden, vor allem wenn man diese auf deutsch liest, dann wird es meistens eher sehr gruselig. 😔

Neben den Netzwerkkarten für den Storage Traffic (Direktverkabelung)

Bei diesen bitte darauf achten dass RDMA auch wirklich funktioniert, sonst kannst du deine S2D Performance auch gleich knicken.

By the way, welche NIC's genau verwendest du in diesem System?

Außerdem gibt es zwei TOR Switche.

Sprich, du möchtest die Nodes, was Compute & Management Traffic angeht, redundant über die beiden Switche laufen lassen, korrekt?

Variante 1
Pro Node wird 1 Netzwerk Adapter für Compute & Managementtraffic konfuriert und ich wähle dann bei dem Deployment des Clusters beide Netzwerkadapter für Compute & Management Traffic aus und über das Portal erfolgt dann eine automatische Bereitstellung und Konfiguration der Netzwerkkarten. Das VLAN tagge ich auch nur auf einem Netzwerkadapter.

Variante 2
Ich erstelle pro Node ein SET-Switch aus den beiden Netzwerkadaptern und wähle diesen dann im Azure Portal aus und daraus folgt dann die Konfiguration des Intent.

Wie schnell sind die NIC's den angebunden?
1G, 10G oder gar noch schneller?

Wenn 10G oder noch schneller, möchtest du diese Performance auch in den VM's haben?

Denn, wenn 10G oder gar noch schneller und du möchtest vor allem auch diesen Durchsatz auch in den VM's haben, dann kommst du an SR-IOV oder VMQ nicht wirklich vorbei. Dann kannst du SET aber auch gleich knicken, weil SET selbst beim Server 2025 mit SR-IOV oder VMQ, leider noch nicht sauber funktioniert. 😔

Wenn ich die KI frage, dann wird mir Variante 2 vorgeschlagen, ich wollte aber mal auch die Aussage von euch hören. Laut KI bleibt der zweite Netzwerkadapter ungenutzt.

Also das "Laut KI bleibt der zweite Netzwerkadapter ungenutzt." ist ein vollkommener Blödsinn, da beim Erstellen eines SET-Switches, das dazugehörige SET-Team, per Default immer mit dem Loadbalancing Typ "Dynamic" erstellt wird, was am ehesten Link Aggregation entspricht. Sprich, wenn du 2 x 10G NIc's zu einem SET-Team zusammenfasst, dann haben die vNIC's der VM's die da dranhängen, eine Uplinkgeschwindigkeit von 20G, theoretisch zumindest. 🙃

Aber, bei NIC's mit einer Uplinkgeschwindigkeit von => 10G, empfiehlt Microsoft selbst, eher den Loadbalancing Typ "HyperVPort" zu verwenden, der zwar wie LACP eine Ausfallsicherheit jedoch keine richtige Link Aggregation bietet.

Gruss Alex
MysticFoxDE
MysticFoxDE Jan 11, 2025 at 07:09:49 (UTC)
Goto Top
Moin @Olsen1,

Im Portal geht es nicht. Aber das VLAN Tag muss man vorher definieren, das steht auch so verständlich in der Doku (https://learn.microsoft.com/en-us/azure/azure-local/plan/cloud-deploymen ...) ) Aber Danke, dann hat mir das schonmal geholfen.

so so ...

For Azure Local, all deployments rely on Network ATC for the host network configuration. The network intents are automatically configured when deploying Azure Local via the Azure portal.

... hier haben diese Microsoftians das "Network ATC" also mit reingefummelt. 🙃

Ähm ja, das Network ATC konfiguriert die Netzwerkadapter und auch vSwitche schon so wie es Microsoft gerne hätte, nur hat das Ganze meiner bisherigen Erfahrung nach mit "Best Performance" meistens leider nicht wirklich etwas zu tun, sondern eher mit dem Gegenteil davon. 😔

Mach die Konfig per PowerShell, damit bist du auf jeden Fall viel flexibler und lernst dabei auch viel mehr. 😉

Gruss Alex
Olsen1
Olsen1 Jan 12, 2025 at 14:51:10 (UTC)
Goto Top
Hallo Alex,

By the way, welche NIC's genau verwendest du in diesem System?

SInd Broadcom NICs - hab das genaue Modell jetzt nicht vor Augen. Aber deine zahlreichen Beiträge darüber habe ich im Hinterkopf face-big-smile

Sprich, du möchtest die Nodes, was Compute & Management Traffic angeht, redundant über die beiden Switche > laufen lassen, korrekt?

Genau. Sind 10G Karten.

Also das "Laut KI bleibt der zweite Netzwerkadapter ungenutzt." ist ein vollkommener Blödsinn, da beim Erstellen > eines SET-Switches, das dazugehörige SET-Team, per Default immer mit dem Loadbalancing Typ "Dynamic" erstellt wird, was am ehesten Link Aggregation entspricht. Sprich, wenn du 2 x 10G NIc's zu einem SET-Team zusammenfasst, dann haben die vNIC's der VM's die da dranhängen, eine Uplinkgeschwindigkeit von 20G, theoretisch zumindest.

Zumindest bei meiner Variante 1 - wenn Network ATC die Konfiguration selber übernimmt, sagt das die KI. Das fande ich aber auch komisch, deswegen nochmal Nachfrage hier. Der ATC baut aus den zwei Netzwerkadaptern dann auch ein SET Switch und damit habe ich ja meine Redundanz.

Ähm ja, das Network ATC konfiguriert die Netzwerkadapter und auch vSwitche schon so wie es Microsoft gerne hätte, nur hat das Ganze meiner bisherigen Erfahrung nach mit "Best Performance" meistens leider nicht wirklich etwas zu tun, sondern eher mit dem Gegenteil davon. 😔

Mach die Konfig per PowerShell, damit bist du auf jeden Fall viel flexibler und lernst dabei auch viel mehr.

Mit 23H2 hat sich ja das Deployment von Azure Local auch verändert, das erfolgt jetzt nur noch über das Portal. Sprich, Microsoft möchte das selber übernehmen. So werde ich das auch erstmal machen und dann im Anschluss prüfen, ob und wie die Netzwerkonfiguration aussieht.

So wie ich es verstehe, kann ich die Konfiguration im Anschluss ja auch nochmal anpassen, verändern - per Powershell.

VG und schönen Sonntag,
olsen
MysticFoxDE
MysticFoxDE Jan 12, 2025 at 20:02:31 (UTC)
Goto Top
Moin @Olsen1:

SInd Broadcom NICs - hab das genaue Modell jetzt nicht vor Augen. Aber deine zahlreichen Beiträge darüber habe ich im Hinterkopf face-big-smile

ich habe für unser Testlab mittlerweile auch Marvell(QLogic) und auch Nvidia(Mellanox) NIC's organisiert und bei diesen sieht es zum Teil auch nicht viel besser aus.
Man kann schon fast durch die Bank sagen, dass je neuer/schneller eine NIC ist umso komplizierter ist diese grundsätzlich zu konfigurieren und umso grauenhafter ist diese per Default eingestellt. 😔😭

Genau. Sind 10G Karten.

Hast du an deren BIOS schon irgendetwas umgestellt?

Zumindest bei meiner Variante 1 - wenn Network ATC die Konfiguration selber übernimmt, sagt das die KI. Das fande ich aber auch komisch, deswegen nochmal Nachfrage hier. Der ATC baut aus den zwei Netzwerkadaptern dann auch ein SET Switch und damit habe ich ja meine Redundanz.

Für eine redundante Anbindung eines vSwitches, gibt es seit Hyper-V 2016 eigentlich nur einen offiziellen Weg und das ist SET, denn LBFO wird, zumindest für diesen Zweck, seit Server 2016 nicht mehr supportet.
Daher ja, wenn du einen vSwitch mit zwei oder mehr physikalischen NIC's ansteuern möchtest, macht ATC aber auch WAC, automatisch ein SET-Team daraus.

Mit 23H2 hat sich ja das Deployment von Azure Local auch verändert, das erfolgt jetzt nur noch über das Portal. Sprich, Microsoft möchte das selber übernehmen.

Ja, diese Microsoftians möchten uns Admin/Anwender immer mehr und mehr bevormunden. 😔
Zumindest bei mir, beissen die damit jedoch immer mehr auf Granit.

So werde ich das auch erstmal machen und dann im Anschluss prüfen, ob und wie die Netzwerkonfiguration aussieht.

Kannst du danach mal auf einem der Nodes, das folgende hier laufen lassen ...

Get-VMSwitch | Select *
Get-VMSwitchTeam | Select *

... und die Ausgabe hier zurückposten.

Bin schon echt gespannt wie das ATC bei dir die Konfig erstellt. 🙃

So wie ich es verstehe, kann ich die Konfiguration im Anschluss ja auch nochmal anpassen, verändern - per Powershell.

Zumindest konnte man bisher per PowerShell ziemlich viel wieder richten.
Ob das auch bei einem "Azure Local" so ist, werden wir, respektive, wirst du, denke ich bald herausfinden. 😉

Beste Grüsse zurück und ebenfalls noch einen schönen Restsonntag.

Alex