02.06.2023, aktualisiert am 23.06.2023

4374

Netzwerk Planung Feedback

Hallo Liebe Leute,

ich bin gerade kurz vor einer Bestellung für ein größeres Netzwerk.
Gestern bin ich im Zuge meiner Recherchen über das Administrator.de Forum gestolpert und war zum Teil positiv überrascht von den Fachkundigen antworten. Da dachte ich mir ich poste meinen aktuellen Entwurf und bin für Feedback dankbar.

Also hier meine geplante Topologie:

Etwas Kontext: es handelt sich um ein Netzwerk für ein 7 stöckiges Haus mit etwa 7000m² in dem etwa 200 Menschen Arbeiten und Wohnen (bis 3.OG Gewerbe, ab 3.OG Wohnen)

Geplant habe ich im Moment pfSense als Firewall mit HA/CARP¹ und Edgecore Switches für den Core und das Gewerbe. Für die einzelnen Wohnungs-Tops suche ich noch einen 48 port SFP Switch (gibt es leider nicht von Edgecore - bin am Überlegen zwischen FS.com und Mikrotik..).
Generell ist alles als Layer 2 Netz mit MLAG geplant und durch 802.1X Benutzerauthentifizierung soll jedem Bewohner/Top ein eigenes VLAN zugewiesen werden, egal wo im Haus man sich befindet. (User @aqui hat dafür hier eine Anleitung: Dynamische VLAN Zuweisung für WLAN (u. LAN) Clients mit Mikrotik)
Dadurch wird es vermutlich nicht notwendig sein, dass jede Wohnung einen eigenen Access Point bekommt und daher einige Access Points eingespart werden können. Werde diesbezüglich mal den Unifi Designer ausprobieren bezüglich Access Point Anzahl bzw welche Tools verwendet ihr dafür?
Beim WLAN habe ich mich noch nicht entschieden, schwanke im Moment zwischen Edgecore und Unifi. Gibt es Erfahrungen mit Unifi mit ca 60-70 Access Points?

Mir gefällt der Open Networking Ansatz (fürs erste mit Pica8), deshalb bin ich auf Edgecore gestoßen (User @aqui hat sich negativ über Edgecore geäußert, kannst du etwas mehr dazu sagen?). Für die Leaf Switches ist im Moment die AS4610 Serie geplant, aber die ist schon etwas älter und nicht SONiC fähig (falls ich später umsteigen möchte). Darum überlege ich, ob ich auf die AS4630 upgraden soll..

Generell, was ist eure Meinung: ist das Design Overkill und fehleranfällig (802.1X über verschiedene Hersteller), oder durchaus solide und machbar?

Freue mich auf Feedback eurerseits,

Viele Grüße,
Stefan

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 7395092135

Url: https://administrator.de/contentid/7395092135

Ausgedruckt am: 17.12.2024 um 00:12 Uhr

40 Kommentare

Neuester Kommentar

Nun - du redest von Wohnungen. Was ist das - Mietwohnungen? Hier würde ich zuerst mal die rechtlichen Punkte klären (Haftung illegale Downloads) und überlegen ob es überhaupt Sinn macht. Wenn du nämlich unten ne 1 GBit-Leitung hast aber 20 Wohnungen wollen min. 100 mBit haben is ja blöd...

Daher wäre erstmal interessant was das für Wohnungen sind - nen Studentenwohnheim ist ja zB. was anderes als Mietwohnungen ... und das wiederrum was ganz anderes als zB. nen Altenheim wo Oma Müller sich eben ggf. mal sagt mitm Enkel nen Video-Call aber sonst nicht viel ist...

Danke für deinen Input.
Es handelt sich um Genossenschafts-Wohungen zur Miete. Wir haben zum Start eine symmetrische 500Mbit Internetanbindung, welche wir aber bei Bedarf problemlos auf symmetrische 10Gbit upgraden können. (Kein überbuchtes Home Produkt sondern dezidierte Bandbreite nur für uns)
Es geht mir hier nur um die technische Umsetzbarkeit, die rechtlichen Aspekte sind bereits geklärt bzw sind nicht meine Verantwortung (Betreiber ist die Genossenschaft)..
Und es sind 48 Wohnungen by the way 🤪

Am Netzwerk Design an sich gibt's aber so nichts zu meckern...

Zitat von @stifio:

Danke für deinen Input.
Es handelt sich um Genossenschafts-Wohungen zur Miete. Wir haben zum Start eine symmetrische 500Mbit Internetanbindung, welche wir aber bei Bedarf problemlos auf symmetrische 10Gbit upgraden können. (Kein überbuchtes Home Produkt sondern dezidierte Bandbreite nur für uns)
Es geht mir hier nur um die technische Umsetzbarkeit, die rechtlichen Aspekte sind bereits geklärt bzw sind nicht meine Verantwortung (Betreiber ist die Genossenschaft)..
Und es sind 48 Wohnungen by the way 🤪

Habt ihr dann >=48 Public IP oder wird genattet und die Mieter müssen mit den ganzen Einschränkungen leben?

Kein portforwardning, Probleme bei Netflix, wenn alle über eine IP schauen, Filterung von Traffic und und und..

Wenn ihr keine Public IP habt, wäre das für mich als Mieter ein NoGo da einzuziehen

Zitat von @aqui:

Am Design an sich gibt's aber so nichts zu meckern...

Doch… ein kleiner Punkt … der SPOF für die Mieter ist der 48 Port SFP Switch

OK, das ist richtig aber da kann er ja einen Full Stack mit entsprechend Ports nehmen und wenn ein Port oder Stack Member abraucht steckt der Hausmeister den/die Mieter schnell auf einen der anderen Member um. 62 Appartments wird man ja eh nicht mit nur einem 48 Port Switch versorgen können außer es ist da nur WLAN geplant?! Aber auch dann wäre ein 2er Stack natürlich sinnvoll aus den o.g. Gründen. Das sollte so dann tolerabel sein.
Würde zumindestens bei den Mietern Sinn machen da die ja von 24/7 Verfügbarkeit ausgehen.

Zitat von @tech-flare:
Habt ihr dann >=48 Public IP oder wird genattet und die Mieter müssen mit den ganzen Einschränkungen leben?
Kein portforwardning, Probleme bei Netflix, wenn alle über eine IP schauen, Filterung von Traffic und und und..
Wenn ihr keine Public IP habt, wäre das für mich als Mieter ein NoGo da einzuziehen

Das ist ein guter Punkt wie sich mehrere Netflix Accounts unter einer IP machen - quasi dar Gegenentwurf zum Account sharing 😅

Die Restlichen Punkte verstehe ich nicht ganz. genattet wird doch immer sobald man eine Public IPv4 hat und ein internes LAN, und warum Portforwarding nicht möglich sein soll sehe ich auch nicht. Aber klar, nicht jeder Bewohner wird einen Root Zugriff auf die Firewall haben; wenn jemand Portforwarding braucht muss es zentral eingestellt werden. Und was meinst du mit Filterung von Traffic?

Im Prinzip hat jedes Top sein VLAN und geht direkt über ein einfaches NAT bei der Firewall raus.

Zitat von @aqui:

OK, das ist richtig aber da kann er ja einen Full Stack mit entsprechend Ports nehmen und wenn ein Port oder Stack Member abraucht steckt der Hausmeister den/die Mieter schnell auf einen der anderen Member um. 62 Appartments wird man ja eh nicht mit nur einem 48 Port Switch versorgen können außer es ist da nur WLAN geplant?! Aber auch dann wäre ein 2er Stack natürlich sinnvoll aus den o.g. Gründen. Das sollte so dann tolerabel sein.
Würde zumindestens bei den Mietern Sinn machen da die ja von 24/7 Verfügbarkeit ausgehen.

Ja stimmt der Uplink Switch zu den Tops ist ein Single Point of Failure, aber zu den Tops gibt es jeweils nur 2 Glasfaser Leitungen (Up&Down), wüsste nicht wie ich das anders machen kann und auch noch bezahlbar bleibt. 😀

Habe mir überlegt hier 2 Mikrotik Switches mit ebenfalls Mikrotik mini Switch auf der Gegenseite zu installieren und dann die Access Points. Was würdet ihr für Switches nehmen? Von Edgecore gibts da leider nichts mit OpenNetworking..

62 Appartments wird man ja eh nicht mit nur einem 48 Port Switch versorgen können

es sind 48 Appartements und es werden vermutlich nicht alle mit einem Access Point versorgt. Es sollte also ein 48 Port oder 2x 24Port SFP Switches reichen

@aqui: ist edgecore annehmbar für den Core und Gewerbe? 🤔

Nun - wie das schon gesagt wurde: Technisch ist an dem Entwurf nix auszusetzen. Orga-Mässig schon. Denn fangen wir einfach an: 500 mBit (da für den Endanwender eher die Down-Speed relevant ist is der upload erstmal sekundär) auf ca. 50 Wohneinheiten. Bedeutet also 10 mBit. Und natürlich musst du ja ne "garantierte" Bandbreite bereitstellen - denn wenn ich mir zB. heute bei Amazon nen Film für 24h "ausleihe" und dafür zahle wäre es ja blöd wenn zB. weil Ferien sind die Familien aus der Wohnung 10-30 die Bandbreite schon wegballern und bei mir der Film permanent abbrüche hat. Zumal 10 mBit ja jetzt auch nich mehr die Menge sind (selbst in DE...).

Dazu kommt dann das ich in meiner Wohnung ja ggf. gar nicht "dein" Netzwerk möchte - ich zB. würde das nicht wollen das der Vermieter bei mir ins Netz einfach mal reingucken kann. Somit müsste ich also eh nen Router reinwerfen - was deine Accesspoints wieder überflüssig macht, ich bräuchte halt nur den Netzwerkport.

Dann kommt das mit der Freigabe. Nun, ich möchte (oder muss) ggf. wg. Arbeit nen VPN nutzen oder will eben per SSH auf meine Systeme zugreifen. Auch wenn ich persönlich eh nix von Forwardings halte - oft genug kommen die trotzdem vor. Im dümmsten Fall hast du noch Geräte die per uPNP die Freigaben selber einstellen weil zB. das Spiel auch als Server laufen kann. Dann hast du mit den Kiddys die Diskussionen warum ihr geliebter Minecraft-Server (oder was auch aktuell so gespielt wird) nicht geht...

Verstehe es nicht falsch - generell halte ich die Idee für gut und sinnvoll. Und grad in Mehrfamilienhäusern / Wohnblöcken würde es sehr viele Probleme lösen. Aber das TECHNISCHE ist eben für gewöhnlich das leichte daran. Und ich würde mir ernsthaft überlegen ob ich mir das ans Bein binden will. Denn du kannst ja dem Mieter auch nicht wirklich viel berechnen - warum soll ich bei dir zB. den Anschluss mit den 10 mBit "garantiert" für 50 Euro kaufen wenn ich dafür beim lokalen Anbieter schon ne 100er Leitung bekomme?

Zitat von @tech-flare:
Wenn ihr keine Public IP habt, wäre das für mich als Mieter ein NoGo da einzuziehen

Es sind nur noch 2-3 Wohnungen frei, die Mieter wissen dass es ein gemeinsames Hausnetzwerk+Internet zur Miete dazugibt. Theoretisch kann sich aber jeder Mieter einen eigenen Anschluss dazubuchen.

Zitat von @maretz:

Nun - wie das schon gesagt wurde: Technisch ist an dem Entwurf nix auszusetzen. Orga-Mässig schon. Denn fangen wir einfach an: 500 mBit

Das reicht theoretisch erstmal, das jede Wohnung gleichzeitig einen Full HD Stream schauen kann, was aber sicher nie vorkommt und mit QoS sollte man steuernd eingreifen können, dass nicht einer die ganze Bandbreite für sich beasprucht. Aber ich werde selber dort einziehen und habe mittelfristig nichts dagegen wenn wir auf 10Gbit upgraden 😉

Dazu kommt dann das ich in meiner Wohnung ja ggf. gar nicht "dein" Netzwerk möchte - ich zB. würde das nicht wollen das der Vermieter bei mir ins Netz einfach mal reingucken kann. Somit müsste ich also eh nen Router reinwerfen - was deine Accesspoints wieder überflüssig macht, ich bräuchte halt nur den Netzwerkport.

Wie gesagt die Mieter wissen das und können optional einen eigenen Anschluss machen (eigene Anschlüsse dafür gehen in jede Wohnung)

Dann kommt das mit der Freigabe. Nun, ich möchte (oder muss) ggf. wg. Arbeit nen VPN nutzen oder will eben per SSH auf meine Systeme zugreifen.

Spricht ja nichts dagegen einen VPN Server zu installieren, der mit Zertifikat / Bentzerkennung auch jeweils in sein VLAN geroutet wird..

Auch wenn ich persönlich eh nix von Forwardings halte - oft genug kommen die trotzdem vor. Im dümmsten Fall hast du noch Geräte die per uPNP die Freigaben selber einstellen weil zB. das Spiel auch als Server laufen kann. Dann hast du mit den Kiddys die Diskussionen warum ihr geliebter Minecraft-Server (oder was auch aktuell so gespielt wird) nicht geht...

ja das könnte noch ein Thema werden..

Verstehe es nicht falsch - generell halte ich die Idee für gut und sinnvoll. Und grad in Mehrfamilienhäusern / Wohnblöcken würde es sehr viele Probleme lösen. Aber das TECHNISCHE ist eben für gewöhnlich das leichte daran. Und ich würde mir ernsthaft überlegen ob ich mir das ans Bein binden will. Denn du kannst ja dem Mieter auch nicht wirklich viel berechnen - warum soll ich bei dir zB. den Anschluss mit den 10 mBit "garantiert" für 50 Euro kaufen wenn ich dafür beim lokalen Anbieter schon ne 100er Leitung bekomme?

Das Service ist in der Miete drinnen, aber ob das organisatorisch anstrengend wird steht auf einem anderen Blatt.. Die anstrengenden User werden freundlich gebeten sich einen eigenen Anschluss zu organisieren ☺️

wie sich mehrere Netflix Accounts unter einer IP machen

Das ist kein Thema. Die streamen ja mit HTTPS. Das klappt ja auch hinter einer FritzBox wenn Oma Grete, Eltern und Kids mit jeweils ihren eigenen Accounts streamen. Das fackelt PAT problemlos ab.

aber zu den Tops gibt es jeweils nur 2 Glasfaser Leitungen (Up&Down)

Das machst du, wenn du es denn willst, dann über sog. BiDi SFPs. Bei BiDis geht RX und TX über eine einzige Faser (Simplex) indem man unterschiedliche Farben auf der Faser für Sendung und Empfang nutzt.
https://www.fs.com/de/products/75343.html?attribute=10432&id=200845
Technisch wäre das kein Problem. Ob es sinnvoll ist, ist eine andere Frage.
Besser wird es wohl sein das Budget in einen redundanten Stack des Verteilerswitches für die Tops zu investieren.

Zitat von @stifio:

Zitat von @maretz:

Nun - wie das schon gesagt wurde: Technisch ist an dem Entwurf nix auszusetzen. Orga-Mässig schon. Denn fangen wir einfach an: 500 mBit

Wie gesagt die Mieter wissen das und können optional einen eigenen Anschluss machen (eigene Anschlüsse dafür gehen in jede Wohnung)

Dann kommt das mit der Freigabe. Nun, ich möchte (oder muss) ggf. wg. Arbeit nen VPN nutzen oder will eben per SSH auf meine Systeme zugreifen.

Spricht ja nichts dagegen einen VPN Server zu installieren, der mit Zertifikat / Bentzerkennung auch jeweils in sein VLAN geroutet wird..

Dann sag mal, wie du das umsetzen möchtest,

Wenn 5 Parteien ihren eigenen VPN Server betreiben wollen und nicht vom Standardport abweichen wollen und du nur 1 public IP hast ?

Nun - hat er schon gesagt und die Lösung ist auch völlig ok: Wer will kann sich nen eigenes Internet in die Bude holen - fertig. DAMIT bleibt es dem Mieter ja überlassen: Nehme ich das angebotene (wo ich aufgrund der Menge weniger Zahle aber ggf. mit Einschränkungen leben muss) oder will ich das nicht und kaufe selbst.

Ich denke mit der Lösung kommt man ganz gut klar - und die meisten würden wohl sagen "ok, nehm ich" weils für das bisserl privat (netflix, bisserl mail, gamining,...) locker reicht. Ich persönlich hätte auch ein Problem wenn mein Vermieter prinzipiell genau sagen kann was ich wo aufgerufen habe aber ich denke auch das ist 95% der Bewohner eher egal...

Zu der Struktur kann ich nicht viel sage. Zu der Wifi-Thematik schon eher. Wir hatten das Büro Anfangs in so nem Büro-Sharing-Gebäude (jeder ein Zimmer) … und jeder musste sich nen eigenen DSL-Anschluss besorgen.

In der Folge kämpften 20 Fritzboxen mit ihren Wifis im AutoMode um die Lufthoheit mit laufend wechselnden Frequenzen. Ein Graus, wenn man sich damit beschäftigt und ich hatte sogar den Eindruck, „die folgen einem“ beim manuellen Kanalwechsel.

Ich hätte Bedenken, dass mir diese ggf. installierten FremdFritzen das manuell geplante, lokale Wifi-Netz ruinieren, weil sie sich auf diverse Kanäle aufpropfen, bzw. dazwischenfunken.

Habe aber auch keine Idee wie man das beim TE unterbinden könnte. Die Leute haben ja teilweise nicht mal Ahnung, was alles funkt und die Frquenzen belagert (z.B. Drucker im Standardmodus).

Wenn 5 Parteien ihren eigenen VPN Server betreiben wollen

Solange diese VPN Server Initiators sind alles kein Thema...

Responder wird dann etwas herausfordernder... Aber was sollen denn DS-Lite Kunden im Vergleich dazu sagen, die haben doch allesamt auch die gleiche Problematik mehr oder minder.

Ich hätte Bedenken, dass mir diese ggf. installierten FremdFritzen

Wenn der TO ein gut konfiguriertes WLAN betreibt aktiviert er dort Rogue AP Detection auf seinem Netz um das zu unterbinden. Das schmeisst dann alle diese "Fremdfritzen" konsequent aus dem WLAN und es herrscht wieder Ruhe und Performance.
Allerdings dann auf Kosten der privaten, separat betriebenen WLAN Router/Netze. Machbar ist (fast) alles wenn man denn will.

Zitat von @tech-flare:
Dann sag mal, wie du das umsetzen möchtest,

Wenn 5 Parteien ihren eigenen VPN Server betreiben wollen und nicht vom Standardport abweichen wollen und du nur 1 public IP hast ?

Gar nicht. Es gibt einen zentralen VPN Server auf der Firewall, welcher anhand der Radius Benutzer Authentifizierung die Leute direkt in ihr VLAN routet. Habe ich zwar so noch nie gemacht, sollte aber laut Anleitungen zumindest mit OpenVPN möglich sein. bezüglich Wireguard müsste ich noch etwas recherchieren.
Also meine Idee ist 1 VPN Server, 1 Port, 1 public IP

In der Folge kämpften 20 Fritzboxen mit ihren Wifis im AutoMode um die Lufthoheit mit laufend wechselnden Frequenzen

Das klingt schon fast lustig solange man selber nicht betroffen ist 😅

Kann jemand etwas zu den geplanten Herstellern für ein Netzwerk dieser Größenordnung sagen?
Edgecore Switches für Core und Gewerbe, Edgecore oder Unifi für WLAN (ca 70APs) und [Edgecore|FS.com|Mikrotik] für den Wohungs-Uplink? bzw hat wer alternative Ideen in einem ähnlichen Preisrahmen?

Vielen Dank

Das ist auch generell möglich aber bitte NICHT mit dem schlecht performenden OpenVPN. Du machst es dir deutlich leichter wenn du es den Nutzern mit ihren auf allen Endgeräten so oder so vorhandenem VPN Client zur Verfügung stellst.
IPsec IKEv2 VPN für mobile Benutzer auf der pfSense oder OPNsense Firewall einrichten
Das erspart dir und deinen Nutzern auch die Frickelei mit einem (überflüssigen) zusätzlichen VPN Client.

EdgeCore ist der Handelsname des Herstellers Accton. Einer, wenn nicht, der größte Barebone Massenhersteller im Switchbereich die viele Firmen beliefert die gerade im Billig- oder SoHo Bereich deren Hardware OEMen (HP, Netgear, D-Link etc.) Per se also nicht das Schlechteste. Auch die in den Modellen verwendeten Broadcom Trident Chipsätze sind etabliert. Wenn also Service und Support deines Partners stimmen, per se sicher nicht falsch sofern du mit einem Nischenprodukt leben kannst und durch dein Budget eingeengt bist. Wenn du anderes SoHo Equipment kaufst bekommst du dann eh immer Accton durch die Hintertür!

Zitat von @aqui:

Das ist auch generell möglich aber bitte NICHT mit dem schlecht performenden OpenVPN. Du machst es dir deutlich leichter wenn du es den Nutzern mit ihren auf allen Endgeräten so oder so vorhandenem VPN Client zur Verfügung stellst.
IPsec IKEv2 VPN für mobile Benutzer auf der pfSense oder OPNsense Firewall einrichten
Das erspart dir und deinen Nutzern auch die Frickelei mit einem (überflüssigen) zusätzlichen VPN Client.

Habe bis jetzt nur Erfahrung mit OpenVPN (auch mit MulitSite VPN und Layer2 VPN für Musikstreaming) und bin damit eigentlich auch zufrieden, wollte mir aber das neue und performantere Wireguard mal anschauen. Aber IPsec ist auch eine Gute Idee, vor allem da keine Client Software installiert werden muss. Danke für den Tipp!

EdgeCore ist der Handelsname des Herstellers Accton. Einer, wenn nicht, der größte Barebone Massenhersteller im Switchbereich die viele Firmen beliefert die gerade im Billig- oder SoHo Bereich deren Hardware OEMen (HP, Netgear, D-Link etc.) Per se also nicht das Schlechteste. Auch die in den Modellen verwendeten Broadcom Trident Chipsätze sind etabliert. Wenn also Service und Support deines Partners stimmen, per se sicher nicht falsch sofern du mit einem Nischenprodukt leben kannst und durch dein Budget eingeengt bist. Wenn du anderes SoHo Equipment kaufst bekommst du dann eh immer Accton durch die Hintertür!

Vielen Dank für deine Einschätzung, das Meiste davon war mir schon bekannt, habe aber vereinzelt auch über ganz schlechte Erfahrungen mit Edgecore gelesen, und da ich selber noch keine Erfahrung damit habe, wollte ich mal vorsichtig nachfragen wie es anderen damit geht

Der Partner für die Edgecore Hardware ist Stordis.com, das sollte eigentlich passen.

Damit bräuchte ich eigentlich nur noch eine (unabhängige) Einschätzung ob Unifi für ca 70 APs eine gute Lösung ist, oder ob ich bei dieser Größenordung auch mit Edgecore besser fahre..

UniFi bedeutet durch den Controller Zwang immer einen Vendor Lock. Ob man das will sollte man sich sehr gut überlegen wenn man sich wie du "Open networking" auf die Fahnen schreibt. Da solltest du dann wohl besser bei Edgecore bleiben.
Es gibt bessere WLAN Hersteller die auch bei solchen AP Zahlen keinen externen Controller erzwingen was dir dann eine Hardware weniger und damit auch weniger Ausfallrisiko bringt. Davon wird ein großer Teil der Mieter Zufriedenheit abhängen und da sollte man sehr genau überlegen was man wählt. Auch im Hinblick auf Diebstahl- und Vandalismus Schutz der Komponenten in so einem Umfeld.

Gegen einen Wifi Controller habe ich nichts, im Gegenteil: Ich würde mir sogar wünschen, das ein Controller zB das Roaming macht und zentrales Firmware upgrade möglich ist.
Mir würden Edgecore APs mit der OpenWifi Firmware am Besten gefallen. Leider hat Edgecore im Moment noch keine Wifi6E Modelle (nur Wifi6) und die OpenWifi Firmware ist angeblich auch noch nicht so stabil wie die Edgecore Firmware.. (man kann aber später einfach die Firmware ändern)

Für Unifi spricht der Preis, aktuelle Hardware und vorhandene Erfahrung (wenn auch nicht in dieser Größenordnung). Aber ja Vendor Lock sehe ich auch kritisch.

Es gibt bessere WLAN Hersteller

Von welchen Herstellern sprichst du da? Die Edgecore APs sind angeblich baugleich mit irgendwelchen Aruba APs..

Von welchen Herstellern sprichst du da?

... Du bist neu hier oder? 😂

Zitat von @Visucius:

Von welchen Herstellern sprichst du da?

... Du bist neu hier oder? 😂

ja bin ich.. sollte ich mir die Posting History von aqui ansehen? 😅

Edit: Cisco oder Mikrotik? 🤔

im Gegenteil: Ich würde mir sogar wünschen

Das ist Blödsinn wenn die Controller Funktion redundant innerhalb der AP Firmware abgebildet wird! Das Roaming macht in der Regel auch nie der Controller selber sondern die APs. Sofern sie denn Standards wie .11r, .11k und .11v supporten was immer Basis deiner Anforderungsliste für die HW sein sollte.

Leider hat Edgecore im Moment noch keine Wifi6E Modelle

Das sollte kein Showstopper sein. Bis es dafür Clients in absehbarer Zahl und Zeit gibt vergehen Jahre. Da hast du dann so oder so schon auf die AP Nachfolgegeneration upgegradet. Zudem hast du ja immer eine begrenzte, fest Nutzerzahl und damit ist das Kriterium eher zweitrangig.

Edit: Cisco oder Mikrotik?

Äpfel und Birnen...muss man sicher nicht weiter kommentieren.

Für Unifi spricht der Preis

Leider, wie immer, auch die damit verbundene miese Hardware und Performance. You get what you pay for... Was erwartest du? Das bei den Vorgaben solche APs genau so performen wie Extreme, Aruba, Cisco, Ruckus u. Co.?
Diese emotionalen Grundsatz Diskussionen findest du zuhauf hier im Forum. Seriös würdest du bei so einer Investition das immer selber mit einem PoC ermitteln um belastbare Aussagen für eine Kaufentscheidung in genau deinen Umfeld zu bekommen. Sowas auf irgendwelchen dubiosen Forenfeedbacks zweifelhafter Herkunft basieren zu lassen ist gelinde gesagt eher laienhaft und fahrlässig.

Zitat von @aqui:

im Gegenteil: Ich würde mir sogar wünschen

Das klingt nach Unsleashed von Ruckus. Die hatte ich auch schon einmal in einem Projekt. Sind super, aber leider preislich ausser Reichweite..

Leider hat Edgecore im Moment noch keine Wifi6E Modelle

Naja aktuelle Handys und Laptops haben eigentlich alle Wifi6E. Und bei so einer Investition möchte man zumindest am aktuellen Stand der Technik sein und dann mind. 5 Jahre+ die Hardware verwenden. Oder sehe ich das zu kritisch?

Edit: Cisco oder Mikrotik?

Äpfel und Birnen...muss man sicher nicht weiter kommentieren.

Ich habe lediglich anhand deiner Postinghistory versucht deine Präferenzen zu erkennen (die laut @Visucius scheinbar bekannt ist). Du kannst aber auch einfach schreiben welche Hersteller du verwenden würdest

Aber scheinbar sind das prinzipiell eher die teuren Markenherstellen (Extreme, Aruba, Cisco, Ruckus) obwohl du auch viel zu Mikrotik postest..

Für Unifi spricht der Preis

Ja klar diese Themen sind immer auch eine Glaubensfrage. Aber ich denke schon, dass man sich auch in einem Forum zu diesem Thema austauschen kann und nicht nur auf den Verkäufer vertraut.
Bezüglich Proof of Concept: die Frage ist für mich weniger ob es funktioniert, sondern wie gut es skaliert. ein Testsetup mit 2-3 Access Points wird mit jedem Hersteller gut funktionieren bzw ist auch Erfahrung mit bis zu 20 Unifi APs vorhanden. Sonst kenne ich noch uralt Cisco (WAP321) und Ruckus (R320) aber im kleineren Setups (ca 10APs).
Aber bei 70 Access Points muss man entweder anderen Leuten vertrauen die das schon probiert haben oder selber 70 APs kaufen und testen..
Was aber ein guter Punkt ist: 802.1x hatte ich noch nie am laufen, dass muss natürlich ordentlich getestet werden bevor man 70 Stück kauft

Wenn es das denn war bitte deinen Thread dann auch als erledigt schliessen!

Das Netzwerk Projekt ist "work in progress" und hoffentlich ab Oktober abgeschlossen.

Die Kerninfrastruktur (Edgecore AS5835 und AS4630) ist bestellt, und wird demnächst getestet.
Ebenso werde ich bezüglich WLAN mit Edgecore EAP-10[1|2] und Unifi U6-[Light|Enterprise] genauere Tests durchführen.

Leider habe ich noch kein Feedback bekommen wie sich denn nun Unifi mit ca 70 APs verhält..

Aber ich dachte mir ich werde regelmäßig den aktuellen Status des Projekts bekanntgeben falls es Leute interessiert.

In diesem Sinne ist das Projekt erst ab Oktober "erledigt"

ich werde regelmäßig den aktuellen Status des Projekts bekanntgeben falls es Leute interessiert.

Das ist ganz sicher sehr interessant und dann bleiben wir gespannt!! 👍

Zitat von @stifio:

Das Netzwerk Projekt ist "work in progress" und hoffentlich ab Oktober abgeschlossen.

Die Kerninfrastruktur (Edgecore AS5835 und AS4630) ist bestellt, und wird demnächst getestet.
Ebenso werde ich bezüglich WLAN mit Edgecore EAP-10[1|2] und Unifi U6-[Light|Enterprise] genauere Tests durchführen.

Leider habe ich noch kein Feedback bekommen wie sich denn nun Unifi mit ca 70 APs verhält..

Wir hatten 80 AP (Wifi 5) und 60-70 Switches bei ca 2000 Clients und keine Probleme.

Authentifiziert wurde sich am Radius Server (Packetfence)

Mittlerweile haben wir aber aus anderen Gründen Cisco im Einsatz (nicht wegen Problemen)

Zitat von @tech-flare:
Wir hatten 80 AP (Wifi 5) und 60-70 Switches bei ca 2000 Clients und keine Probleme.

Vielen Dank für das Feedback!

Mittlerweile haben wir aber aus anderen Gründen Cisco im Einsatz (nicht wegen Problemen)

Kannst du uns verraten was schlussendlich der Grund für den Wechsel war?
Performance? bessere Kompabilität (mit Packetfence)? Politik? zu viel Budget?

Packetfence kannte ich gar nicht, sieht aber interessant aus! Muss ich mir bei Gelegenheit genauer ansehen..

Nachdem ich Moment auf die Switch Hardware und ein paar Edgecore Access Points warte, habe ich mich bezüglich Firewall weiter informiert.

Und wie das oft so ist, je genauer man hinsieht desto verschwommener wird es..

Eigentlich war klar, dass ich pfSense auf einem Netgate 1537 verwende - bis ich bemerkt habe, dass die D-1537 CPU schon 8 Jahre alt ist..
Naja dann habe ich die Nachfolger Generation D1700 entdeckt, fehlende Treiber für die SoC SFP+ Ports der D1700er Serie mit FreeBSD 12 (pfSense bis inklusive 2.6), wieder einen genaueren Blick auf OPNsense geworfen (FreeBSD 13), erfahren dass es Intel QAT gibt und Stichwörter wie VPP/DPDK aufgeschnappt, und dann bemerkt dass ich mich etwas verlaufen habe 😅

Damit ich wieder etwas Orientierung finde habe ich eine Feature Vergleichsliste mit 6 verschiedenen PCs für die Firewall erstellt (DEC3850, Netgate 1537, Netgate 6100, Supermicro mit C3958 / D-1736NT / D-1718T): https://cloud.nett.media/s/iBsx8GCZaNZsosF (online Tabelle)

Meine Überlegung: Wir haben im Moment zwar nur einen 500Mbit Uplink aber die 10Gbit Uplink Variante ist nicht viel teurer, und die Hardware sollte damit umgehen können (10Gbit wird vermutlich kommen, wenn auch noch nicht gleich).
Eigentlich hat nur der Supermicro mit Atom C3948 mehr als zwei 10Gbit Schnittstellen, aber der hat wiederum von der Rechenpower (CPU Mark) nur die Hälfte des Xeon D-1537, was ev für Intrusion Detection System (IDS) / Intrusion Prevention System (IPS) zu wenig ist..

Also zurück zum Start und beim Netgate 1537 bleiben und bei Bedarf eine Netzwerkkarte rein? Oder doch auf die aktuelleren Xeon D1736NT/1718T setzen mit OPNsense/pfSense 2.7? Wie wichtig ist QAT wenn VPN nicht exzessiv verwendet wird?

Was meint ihr dazu?

So Oktober ist schon lange vorbei und das Netzwerk Projekt ist noch immer nicht abgeschlossen 🙈

Trotzdem werde ich mal einen Zwischenbericht liefern

Die Hardware:

OPNsense Firewall mit Supermicro MBD-X12SDV-4C-SPT4F-O (D-1718T CPU) im High Availibility Setup
Core Switches mit Edgecore AS5835-54X
Leaf Switches teilweise mit Edgecore AS4630-54P und Unifi USW-Pro-48-POE (weil Edgecore in manchen Positionen zu laut..)
WLAN mit Unifi U6+ und Unifi Enterprise Access Points und U6 Mesh aussen (war einfach um die Hälfte billiger..)
je nachdem ob in den Wohnungen Ethernet Verkabelung gewünscht wurde oder nicht (die meisten haben nur WLAN) wurde ein FS.com PoE Medienconverter oder ein Zyxel GS1350-6HP verwendet um die Access Points in den Wohnungen anzubinden.

Status:

Wie erwartet reicht es großteils aus, nur jede 2te Wohnung mit WLAN zu versorgen um trotzdem Flächendeckend Empfang zu haben.

OPNsense Firewall funktioniert mit 10Gbit SFP+ Modulen, aber nicht mit 25Gbit DAC Kabel von FS.com (Core Switch hat ein 100Gbit->4x25Gbit DAC Breakout Kabel und Server und Leaf Switch funktionieren damit auch, nur die Firewall Hardware erkennt es nicht - vielleicht auch ein Treiber Problem von FreeBSD..).
Das High Availability Setup empfinde ich etwas "shaky", aber für minimale bis keine downtime auch bei firmware upgrades dann doch sinnvoll.

Die Edgecore Switches mit SONiC brauchen schon eine gewisse Einarbeitungszeit damit alles halbwegs so läuft wie gewünscht. Vor allem Multi Chassis Link Aggregation lief nicht auf Anhieb und die CARP IPs von der Firewall brauchten spezielle Einstellungen auf den Switches.

Bezüglich Software Architektur habe ich mich gegen Layer 3 entschieden und alles auf Layer 2 gemacht (weniger robust im Fehlerfall, aber einfacher in der Konfiguration und mehr Kontrolle über die VLANs auf der Firewall).
Die Firewall hat ~80 VLANs (mit 80 CARP IPs, 80 DHCP Server, 80 Firewall Rules, etc ). Da ich nicht alles händisch konfigurieren wollte, habe ich die config.xml exportiert , mit python scripts die snippets erzeugt, in die config eingefügt (https://github.com/nett-media/opnsense-config-generator) und dann die config.xml wieder importiert.

Bei Unifi habe ich auch die VLANs automatisiert erzeugt (https://gist.github.com/stif/7530c9234fd5b1343539e840b8d2eeb2) bin aber auf ein 64 VLAN Limit gestoßen, welches sich mit einem Eintrag in die system.properties umgehen lies (https://community.ui.com/questions/No-more-than-63-VLANs-possible/14f339 ..)

Es gibt 3 verschiedene WLAN SSIDs im ganzen Haus (Member, Guest und IoT).
Die Authentifizierung und VLAN Zuordnung passiert beim "Member" WLAN über WPA2 Enterprise mit Radius.
Beim "IoT" WLAN passiert die Authentifizierung über Standard WPA2 mit Passwort und die VLAN Zuordnung wird anhand der MAC Adressen über Radius gemacht.

Über Ethernet Kabel passiert die VLAN Zuordnung noch händisch per Port (auch hier ist bei den "öffentlichen" RJ45 Ports im CoWorking 801.x angedacht aber noch nicht implementiert).
Somit kommt jeder User im ganzen Haus in sein persönliches VLAN.

Was noch wichtig war/ist: ich muss im Unifi Controller Wifi Meshing deaktivieren, da sonst trotz aktivierten "Rapid Spanning Tree" schleifen im Netzwerk entstehen und dann alles steht (der große Nachteil des Layer 2 Ansatzes..)

Die Geschwindigkeit unseres symetrischen 500Mbit Uplinks ist eigentlich sehr gut

Die Hardware ist aber trotzdem vorbereitet auf einen 10Gbit uplink, obwohl der vermutlich nicht so schnell kommen wird.
Multiple Zoom/Teams/etc Meetings funktionieren problemlos, Netflix&Co auch.

Neben den ganzen physischen Problemen (Netzwerk Rack zu wenig tief, kein Platz wegen zuviel Kabel Überlängen, etc) die ich hatte, gibt es aber auch Software technisch noch einige Baustellen:

Grundsätzlich läuft das Netzwerk sehr gut und die Leute sind auch sehr zufrieden, aber manchmal läuft ein Client Device Amok und bombardiert die Firewall mit DHCP Requests. Dann kann es passieren dass neue Clients zeitweise keine IP bekommen. Da bin ich am abklären mit dem Support von OPNsense und Edgecore, aber im Moment ist noch keine Lösung in Sicht 😢

Die zweite Baustelle ist VPN. Bis jetzt habe ich immer mit OpenVPN gearbeitet, aber nach dem input von @aqui:

Das ist auch generell möglich aber bitte NICHT mit dem schlecht performenden OpenVPN

Habe ich IPsec /IKEv2 mit dem neuen "connections" Ansatz probiert: https://docs.opnsense.org/manual/how-tos/ipsec-swanctl-rw-ikev2-eap-msch ...
Als Abwandlung vom obigen Tutorial habe ich unter Remote Authentication von "EAP-MSCHAPv2" auf "EAP RADIUS" umgestellt.
Hat auch prinzipiell geklappt, aber der Teufel steckt im Detail. Wenn ich Methode2 (statische IP pro User also kein "EAP id=%any") verwenden möchte um jeden User nur in sein VLAN zu lassen, geht das zumindest mit den Windows Boardmitteln nicht mehr und muss erst wieder auf externe VPN Clients wechseln. Außerdem habe ich noch Probleme mit Routing und mehreren "Connections" auf die gleiche WAN URL und irgendwie bin ich bei IPsec noch nicht wirklich zuhause (obwohl ich mir alle wirklich tollen Tutorials von @aqui durchgelesenen habe 👏😆)

Naja soviel zu dem doch nicht so kurzen Update.
Hoffentlich kann ich die letzten Punkte auch bald beheben und das Projekt bald abschließen.

Trotzdem werde ich mal einen Zwischenbericht liefern

Vielen Dank dafür! 👍

Was die Radius Vergabe anbetrifft kann ich im Detail zur OPNsense nichts sagen aber auf einem Strongswan Server rennt es zumindestens absolut problemlos und stabil und das mit allen üblichen Clients! Guckst du HIER!
Da auf der OPNsense ja auch ein Strongswan werkelt wäre eigentlich die Erwartung das es dort identisch ist. 🤔
Man hätte fast gesagt als Alternative bleibt dir ja noch L2TP für die onboard Clients aber im Gegensatz zur pfSense kann die OPNsense das leider nicht. ☹️

Es bleibt also noch spannend! 😉

Hi Aqui,

Danke für deine Einschätzung!

Guckst du HIER!

Deine Anleitung zum Thema hab ich mir natürlich schon angesehen und getestet und hatte auch große Hoffnung dass es klappen wird.
Leider wird die IP aber nicht übernommen, sondern holt sich die erste freie IP aus dem Pool. Und wenn ich den Pool deaktiviere klappt die Verbindung gar nicht.
Wie es aussieht geht das nur mit den legacy Tunnel settings und nicht mehr mit "Connections/Pools"..

Und auch wenn es klappen würde, habe ich immer noch das Problem das sich jeder Radius User anmelden könnte (wegen %any) und erst durch die Firewall der Zugriff auf die anderen VLANs verhindert wird. Irgendwie nicht schön, ganz abgesehen davon, dass ich dann pro Radius User VLAN ID und IP spezifiziert habe, was auch potenziell zu Problemen führen könnte bei manchen WLAN clients (bei Linux Clients hat der DHCP Server Vorrang gegenüber der Radius IP, andere hab ich nicht getestet..)

Bin also am überlegen, Radius wieder rauszunehmen und auf EAP-MSCHAPv2 mit Pre-Shared-Keys zurückzuwechseln und den NCP client zu nutzten wie in Methode 2 der offiziellen Dokumentation angegeben. Dann müsste ich aber wiederum debuggen warum mehrere "Connections" mit dem gleichen Endpoint "vpn.example.com" nicht funktionieren und warum manche Hosts erreichbar sind und andere nicht.

Oder wirklich zurück zum Start und mit den legacy "Tunnels" mit PhaseI&II aufbauen und testen oder zurück zu OpenVPN..

Viele Möglichkeiten die alle viel Zeit benötigen 🙈

Leider wird die IP aber nicht übernommen, sondern holt sich die erste freie IP aus dem Pool.

Du meinst wenn du es ohne Radius löst, oder? Das ist dann aber normales und erwartbares Verhalten wenn man einen Pool hat.

Bei der Radius Lösung bindest du ja einen Benutzernamen immer fest an eine IP Adresse

user1        Cleartext-Password := "GeheiM123!"  
             Framed-IP-Address = 172.16.1.1, 

Hier bekommt also dediziert jeder User die ihm fest zugewiesen IP und das klappt auch absolut wasserdicht und stabil mit allen mobilen IKEv2 VPN Clients.

habe ich immer noch das Problem das sich jeder Radius User anmelden könnte

Ja, das ist üblicherweise so wenn User ihren Namen und Passwort für Zugänge unkontrolliert verbreiten. Dagegen gibt es aber dann nur 2FA z.B. mit https://duo.com indem du das an deinen Radius bindest was aber dann bei Usern ein Smartphone erzwingt. Oder der Klassiker eben mit User Zertifikaten.

bei Linux Clients hat der DHCP Server Vorrang gegenüber der Radius IP

Na ja, das ist ja zumindestens bei VPNs nicht relevant, denn 98% der VPN Protokolle nutzen virtuelle Tunnel Interfaces an denen DHCP keinerlei Rolle spielt. Ein Argument also was wenig greift.

Du meinst wenn du es ohne Radius löst, oder? Das ist dann aber normales und erwartbares Verhalten wenn man einen Pool hat.

Nein, schon mit Radius.

Ich verwende ja den Radius Server auch für die WLAN Authentifizierung mittels WPA2 Enterprise.

Also im Moment sehen die User Einträge im Radius so aus:

user1  Cleartext-Password := "pass1"  
       Tunnel-Type = VLAN,
       Tunnel-Medium-Type = IEEE-802,
       Tunnel-Private-Group-Id = 11,
       Framed-Protocol = PPP

Für den Test mit Radius VPN habe ich "Framed-IP-Address" hinzugefügt mit einer gültigen IP aus dem VPN Address Pool ((VPN->IPsec->Connections->Pool):

user1  Cleartext-Password := "pass1"  
       Framed-IP-Address = 172.16.203.33,
       Tunnel-Type = VLAN,
       Tunnel-Medium-Type = IEEE-802,
       Tunnel-Private-Group-Id = 11,
       Framed-Protocol = PPP

und auch ohne der VLAN ID getestet:

user1  Cleartext-Password := "pass1"  
       Framed-IP-Address = 172.16.203.33

Reagiert aber nicht darauf, sondern nimmt immer die erste freie IP aus dem Pool

habe ich immer noch das Problem das sich jeder Radius User anmelden könnte

Ja, das ist üblicherweise so wenn User ihren Namen und Passwort für Zugänge unkontrolliert verbreiten. Dagegen gibt es aber dann nur 2FA

Das war eher so gemeint, dass jeder Bewohner einen Radius User für das WLAN hat, auch wenn er kein VPN benötigt und außerdem gibt es noch die IoT Geräte bei welchen die MAC Adresse als Radius User und Pass hinterlegt sind..

Daher tendiere ich gerade dazu VPN ohne Radius zu implementieren oder einen weiteren externen Radius nur für VPN aufsetze..

bei Linux Clients hat der DHCP Server Vorrang gegenüber der Radius IP

Na ja, das ist ja zumindestens bei VPNs nicht relevant

Bei VPN alleine nicht, aber wenn es der selber Radius User für WLAN und VPN ist, ist es sehr wohl relevant. Will nicht dass die User im WLAN die IP welche für VPN gedacht ist bekommen ;)

Zusammenfassend: Werde es nochmal ohne Radius mit EAP-MSCHAPv2 versuchen (VPN->IPsec->Pre-Shared-Key), und wenn ich es nicht schaffe auf OpenVPN wechseln. Ich glaub mit pfsense und openvpn hatte ich mal erfolgreich getestet dass ich keine IP beim Radius User eintragen musste, sondern nur die VLAN ID brauchte um über VPN in das richtige Subnetz zu kommen..

Reagiert aber nicht darauf, sondern nimmt immer die erste freie IP aus dem Pool

Shame on me, wenn man unter Pools "Radius" einstellt, wird natürlich die IP von Radius übernommen 🙈

Das ändert aber wenig an meinen generellen Bedenken bezüglich zu viele Radius User, MAC Address User und ob irgendwelche Clients komisch reagieren wenn sie sich über WLAN anmelden..

generellen Bedenken bezüglich zu viele Radius User, MAC Address User

Inwiefern?? Für den Radius selber ist das ja kein Problem, der wuppt auch 1 Mio an Usern und Adressen und mit einem WebGUI ist das Management ja auch für Laien nicht allzu schwer, zumal man bestimmten Usern auch die Eigenverwaltung einräumen kann.

ob irgendwelche Clients komisch reagieren wenn sie sich über WLAN anmelden..

Warum sollte das der Fall sein?? Der Username/Passwort ist doch immer und überall gleich? 🤔

generellen Bedenken bezüglich zu viele Radius User, MAC Address User

Inwiefern?? Für den Radius selber ist das ja kein Problem, der wuppt auch 1 Mio an Usern und Adressen [..].

Hatte ein Missverständnis, dachte es könnten sich dann alle Radius User über VPN anmelden (also auch die welche kein VPN benötigen und auch die MAC Address User+Pass Radius Einträge für IoT Wlan) und die Verbindung dann erst über eine Firewall Rule geblockt wird.
Stimmt aber nicht. Es können sich nur die Radius User über VPN anmelden, welche auch eine IP eingetragen haben. Alles Gut hier 👍

ob irgendwelche Clients komisch reagieren wenn sie sich über WLAN anmelden..

Warum sollte das der Fall sein?? Der Username/Passwort ist doch immer und überall gleich? 🤔

Die IP für VPN und die IP im LAN sind ja nicht die gleichen (zB 10.5.33.33/24 für VLAN und 172.16.203.33/32 für VPN).
Wenn die Radius Zugangsdaten für die WLAN Anmeldung verwendet werden, soll der DHCP Server die IP Adresse hergeben. Wenn die Radius Zugangsdaten für VPN verwendet werden, soll die Radius IP verwendet werden.
Muss mal verschiedene Clients durchtesten wie sich die verhalten..