donten216
Goto Top

Netzwerkplan für den kleinen Betrieb

Hallo zusammen,

ich stelle aktuell einen Netzwerkplan für einen kleinen Handwerksbetrieb (10 Büro-Mitarbeiter, der Rest erzeugt nicht wirklich traffic) in der Familie auf. Anforderungen sind nicht all zu hoch, zu komplex sollte das Netz also eigentlich nicht werden. Trotzdem würde ich mich hier um Feedback von euch freuen, da ich im Netzwerkbereich noch viel zu lernen habe und grobe Fehler vermeiden möchte.

Netzwerk besteht aus:

2 Hypervisor mit:
- Windows Server AD mit Dateifreigaben, ERP Software, Druckermanagement, 2 DCs, DNS, DHCP
- VOIP Software lokal gehostet
- Veeam Backup Server
Sowie eine Synology für Offsite Backup-Spiegelung & Kameras.

Dazu dann ca. 20 Client PCs, 5-6 Drucker, 5 VOIP Telefone, 1-2 APs, 2-3 Remote Worker via VPN, 2 Kameras und ein abgeschottetes Netz aus legacy Geräten und Maschinen die nicht ans Internet müssen. Grobe Aufstellung im Bild anbei.

netzwerkplan

Meine Fragen wären jetzt hinsichtlich allgemeiner Netzwerktopologie und zum Routing zwischen den VLANs.

1. Ist die Aufstellung wie dargestellt halbwegs sinnvoll? Stand heute ist nur VOIP in einem seperaten VLAN über einen Lancom 883+ (der fliegt raus), es ist ja immer noch ein kleiner Betrieb, d.h. alleine mit den VLANs erhoffe ich mir schon mehr Ordnung.

2. Die Virtualisierungs-Hosts sollten untereinander für die Backups 10gbit Verbindungen haben. Das wird aktuell über den Mikrotik CSS326 erledigt, beide Server hängen hier mit je einem SFP+. Den CRS328 würde ich wegen Netz-Ausbau neu besorgen. Kann ich die beiden Hosts dann an beiden Mikrotiks mit je einer SFP+ Verbindung anschließen, um die Erreichbarkeit aus dem lokalen Netz zu verbessern? Ist das in diesem Szenario sinnvoll, um auch aus den anderen VLANs "schneller" auf die Server zugreifen zu können? Oder laufen in der Aufstellung trotzdem alle Anfragen der lokalen Clients durch bis zur OPNSense und wieder zurück auf die Server?
Die OPNSense Kiste ist relativ schwach und potenziell ein Bottleneck mit ihren 1Gbit Verbindungen, daher die Überlegung.

Habe hier irgendwie gerade einen Knoten im Kopf. Wenn die VLANs im SwitchOS eingetragen sind, dann sollte das direkte Umleiten der Switch ja auch hinbekommen, ohne auf die OPNSense zurück zu gehen, oder? Würde mich über Input hierzu und zum Aufbau allgemein freuen.

Liebe Grüße

Content-Key: 6074153065

Url: https://administrator.de/contentid/6074153065

Printed on: May 9, 2024 at 13:05 o'clock

Member: aqui
Solution aqui Feb 21, 2023, updated at Feb 22, 2023 at 09:31:26 (UTC)
Goto Top
1.)
Besser hätte man es nicht machen können! 👍
2.)
Kann ich die beiden Hosts dann an beiden Mikrotiks mit je einer SFP+ Verbindung anschließen
Ja das kannst du problemlos mit dem normalen Standard Link Sharing machen oder auch mit MLAGs, denn die MTs supporten auch MLAGs.
Ist das in diesem Szenario sinnvoll
Das ist sogar sehr sinnvoll eben aus den von dir genannten Redundanz Gründen.
Oder laufen in der Aufstellung trotzdem alle Anfragen der lokalen Clients durch bis zur OPNSense und wieder zurück auf die Server?
Das tun sie nur dann wenn du mit der Firewall zentral VLAN übergreifend routest und das NICHT über die Switches erledigst.
Logisch, denn von einem IP Netz ins andere müsste der Traffic dann immer über einen Router, sprich die Firewall.
Lokaler Traffic innerhalb eines IP Netzes, also innerhalb einer L2 Broadcast Domain, hat mit der Firewall nichts zu tun. Die wird immer nur involviert wenn Traffic in andere IP Netze muss. Guckst du dazu auch HIER. In dem Falle wäre es sinnvoll die Firewall auch mit einem 2 Port 10Gig MLAG anzubinden um die Last zu verteilen und aus Redundanz. Wenn sie kein 10G hat dann immer mit einem LACP LAG. Ohne LAG solltest du die FW dann abgesehen von der Last Problematik allein schon aus Redundanz Gründen nie betreiben! Das gilt auch bei einem L3 Konzept.

Alternativ setzt du ein Layer 3 Konzept um auf dem Switches und routest mit denen. Das passiert dann auf deren Backplane in Wirespeed.
Hätte dann auch den großen Vorteil das du im Netz zusätzlich eine Layer 3 Redundanz mit VRRP umsetzen kannst um zumindestens das lokale VLAN Routing auch redundant auszulegen!
Das solltest du dir also immer VORHER genau überlegen wie du das umsetzt!!
Die OPNSense Kiste ist relativ schwach und potenziell ein Bottleneck mit ihren 1Gbit Verbindungen
Dann hast du dir die Entscheidung ja schon selbst beantwortet... 😉
Wenn die VLANs im SwitchOS eingetragen sind
SwitchOS bedeutet dann zwingend Layer 2 only! Damit ist ein L3 Konzept, Port Security und solche Dinge dann unmöglich. RouterOS ist auch erforderlich wenn du deine APs z.B. zentral per CapsMan managen willst und dein Gästenetz mit einem Captive Portal betreiben willst. (Siehe dazu hier).
Zumindest Letzteres wäre aber auch problemlos auf der OPNsense möglich.
Das o.a. L3 Konzept erfordert immer L3 fähiges Switches und bei Mikrotik Hardware damit RouterOS. Für dich ja letztlich keine Hürde, denn deine beiden Switches supporten das! (siehe unten)
Member: commodity
Solution commodity Feb 21, 2023 updated at 19:09:09 (UTC)
Goto Top
Besser hätte man es nicht machen können!
Ich dachte auch gleich: Hui, wenn die Planungen mancher ausgebildeter Kollegen so aussehen würden...
Gerade im KMU-Umfeld ist eine solche Herangehensweise herausragend. Großes Lob!

Ein paar kleine Anmerkungen:
Wie Kollege @aqui ja schon schreibt, wird der Verkehr zwischen verschiedenen VLANs geroutet, läuft also über die OPNsense. Auf den Switchen würde ich nicht routen. Davon abgesehen, dass der CSS das nicht kann, sind die Mikrotik-Switche dafür zu langsam (wenn man 10GB-Serveranbindung hat, jedenfalls). Kurz gesagt, die OPNsense muss vielleicht stärker werden.

Aber: Ich würde mir zunächst mal den Traffic angucken. Deine ganzen Nutz-VLANs machen wahrscheinlich gar nicht so viel Traffic und die Server stehen bei Dir ja alle im selben VLAN. Solange Du das so belässt, läuft das Backup ja nicht über den Router (OPNsense), mithin wird da auch keine Power dafür gebraucht.

Allerdings finde ich die Gestaltung des umfassenden Server-VLANs auch nicht so glücklich. Meinetwegen können alle produktiven Server in ein VLAN (wobei ich VOIP immer exkludieren würde, zumal Du ein VOIP-Netz hast). Das Backup gehört für mich aber in einen abgeschotteten Bereich, der möglichst nicht aus den übrigen Netzen erreichbar ist (Pull-Backup) oder auf eine besonders gesicherte Maschine, auf die die Backup-Clients nur das jeweils neueste Backup schreiben können, nicht jedoch an die älteren herankommen. Jedenfalls, wenn kein (weiteres) Offsite-Backup existiert. Kommt der böse Bube zu Euch ins Netz, vernichtet er auch im Server-VLAN gleich alle Backups mit. Da solltest Du evtl. nochmal in Dich kehren.

Produktiv-WLAN muss nicht in ein eigenes VLAN, es kann auch zu den Produktiv-PCs - wenn es für vergleichbare Zugänge dient (z.B. Notebooks). Gäste-WLAN natürlich im eigenen VLAN, das hast Du ja vorgesehen.

Viele Grüße, commodity
Member: donten216
donten216 Feb 21, 2023 at 22:16:21 (UTC)
Goto Top
Vielen Dank euch beiden für die ausführlichen Antworten. In ein paar der verlinkten Anleitungen habe ich mich jetzt schon eingelesen, vor allem die MLAGs und die VLAN Installationsanleitung passen gut für die anstehende Testinstallation.

Ich musste nach aquis Antwort auch erst noch mal ins Datenblatt schauen, der CSS kann wohl leider wirklich kein RouterOS. Das wäre ja sonst eine top Lösung gewesen. Ich war jetzt schon am überlegen, den CRS dann mit RouterOS zwischen OPNSense und den CSS zu klemmen, um die 10Gig Anschlüsse mit Routing nutzen zu können. Dann hätte ich zwar keine Redundanz mehr, aber immerhin die Funktion, die ich wollte, richtig?... aber so ganz lacht mich das nicht an. Höchstens den CSS loswerden und einen nicht-POE CSR besorgen wäre noch denkbar.

Aber vermutlich ist eine stärkere OPNSense dann die "einfachere" und zukunftsfähigere Möglichkeit. Dann dort die beiden Mikrotiks mit 10Gig dran und weiter wie geplant. Einziger Punkt wären für mich hier nur die Kosten, die Preise der offiziellen Hardware lassen mich zumindest ahnen, dass das für den Betrieb hier fast eine Hausnummer zu groß werden könnte. Für 10Gig hab ich auch keine APU Boards mehr gefunden, da muss ich mich dann noch mal schlau machen.

Das mit den VLANs für die einzelnen Server(-Dienste) ist auf jeden Fall ein guter Punkt. Ich lese mich da nochmal in sinnvolle Aufteilungen ein und versuche das vorgeschlagene weitestgehend zu übernehmen. Danke für den Hinweis!

Liebe Grüße
Member: Visucius
Visucius Feb 22, 2023 updated at 05:51:52 (UTC)
Goto Top
Hört APU nicht eh mit der Entwicklung dieser HW auf?

https://homenetworkguy.com/review/opnsense-hardware-recommendations/
https://www.servethehome.com/?s=opnsense
Da wird sich doch was finden.

Ich hab mir ne ausrangierte Sophos für OPNsense geholt. Da sollte man aber auch auf die CPU achten.

Viele Grüße

PS: Mikrotik im Switchmode und OPNsense als „Hirn“ ist deutlich übersichtlicher in der Verwaltung. Dazu kommt, dass die CPU im CRS nicht so dolle ist. D.h. sobald Du beim Routing auf die CPU zugreifst, bricht die Performance ein. Ich habe da schon Werte um 160 Mbit/s mit iperf gehabt.
Member: commodity
Solution commodity Feb 22, 2023 updated at 09:29:13 (UTC)
Goto Top
... aber immerhin die Funktion, die ich wollte, richtig?
Nein. Nur in der Theorie.

Wie Kollege @Visucius völlig richtig bemerkt, sind die CPUs in den Switchenvon Mikrotik eher schwach ausgelegt. Es ist der Traum vieler Laien, für den Preis der Hälfte einer Fritzbox ein 10Gbit- Routing hinzubekommen. Nur weil ein 10 Gbit-Port dran ist und "Router" im Namen steht, wird es noch kein 10 Gbit-Router. Mikrotik veröffentlicht dazu zu jedem Gerät sehr transparente (und zutreffende) technische Testdaten (die man aber auch für sich interpretieren muss).

Wenn Du wirklich massig Daten schaufeln willst, ist ein RB 5009 oder CCR2004 im KMU eine gute und preiswerte Wahl. Allerdings immer noch weit von den 10 Gbit weg. Der Wunsch, jedenfalls 10 Gbit zu routen, weil das Netzwerk das hergibt, geht aber meistens am Ziel vorbei und führt zu erheblichen unnötigen Kosten und/oder Frustration. Deshalb schrieb ich oben bereits: Erstmal anschauen, was da real fließt. Wenn Du Deine Sicherung z.B. mit den Standardprotokollen auf normale Festplatten machst, wirst Du staunen, wie viel (wenig) da tatsächlich durchgeht. Und: Nachrüsten kannst Du immer.

Wenn Du (wie viele auf ihren "Firewalls") auf der OPNsense nicht mehr machst, als SPI und Routing, kann der Mikrotik auch gleich die Firewall ersetzen. Dort, wo ich heute Fritzboxen austausche, setze ich in aller Regel als Router einen hAP xyn und alle sind glücklich. Sind aber auch kleine Unternehmen. Wenn Du (Hand aufs Herz) wirklich mehr machst, mit der Sense, dann belass es bei dem bestehenden Aufbau.

Du hast ja so schön am grünen Tisch geplant. An diese Erst-Planung sollten sich Tests/Monitoring anschließen, um verlässliche Daten über den Bedarf zu bekommen. Danach kann die konkrete HW-Planung losgehen. Ob das allerdings andere Dienstleister im KMU-Umfeld so machen, ist fraglich. Ich kenne bislang jedenfalls nur solche, die Pi*Daumen+Erfahrungswerte nehmen, dann bei ihrem Distributor (viel zu oft: Terra face-plain) in den Katalog gucken - und das muss dann reichen. Ansonsten wird auf Kosten des Kunden eben nachgerüstet face-wink

Viele Grüße, commodity
Member: aqui
aqui Feb 22, 2023 updated at 09:44:59 (UTC)
Goto Top
der CSS kann wohl leider wirklich kein RouterOS
Sorry, den hatte ich oben mit einem CRS verwechselt. Wer lesen kann... 😉
Der CSS326 ist laut Datenblatt in der Tat ein SwitchOS only Switch. Mit dieser Hardware scheitert dann so ein Redundanzvorhaben. Du brauchst 2 RouterOS Switches für die L2 und L3 Redundanz mit MLAGs und VRRP.
vermutlich ist eine stärkere OPNSense dann die "einfachere" und zukunftsfähigere Möglichkeit.
Nein, das wäre immer ein L3 Switching über die Infrastruktur da die in der Regel performanter ist. Ein Router "on the stick" für alles ist per se ok aber oft keine skalierbare Lösung. Es hängt eben von den Ansprüchen ab. Bei einem one armed Design muss inter VLAN Traffic immer 2mal über so einen Trunk, also eine Traffic verdopplung.
Wie immer gibt es Pros und Cons und das Optimum liegt in der Mitte so das du VLANs mit wenig Security und hohen Traffic Volumina immer lokal per L3 über den Switch bedienst und ausschliesslich nur die VLANs mit wenig Traffic und hohen Sicherheitsanforderungen bzw. Sonderfunktionen wie Captive Portal usw. über die FW schickst. Das erspart dir dann auch das unnötige Aufrüsten der Firewall.
Man muss das aber immer im Einzelfall entscheiden, denn jeder hat dort unterschiedliche Anforderungen. Bei einem hohen Security Anspruch wäre dann wieder die one armed Firewall im Vorteil mit entsprechender Trunk Performance. Obwohl Mikrotik hier wieder etwas ausgenommen ist, da zumindestens RouterOS auch eine SPI Firewall mit an Bord hat was L3 Switches mit non SPI Accesslisten in der Regel so nicht haben. Ob das bei einem Switch sinnvoll ist oder nicht ist wieder eine ganz andere Frage. Kollege @commodity hat zur Hardware ja schon alles gesagt.
Member: commodity
commodity Feb 22, 2023 at 22:21:23 (UTC)
Goto Top
Bei einem one armed Design...
Das macht man doch auch nicht so. man gibt doch jedem VLAN ein eigenes Ärmchen - oder schickt es über SFP+.
Das Anwendungsfeld eines L3-Switches halte ich für begrenzt. Wenn man Netztrennung zur Absicherung einsetzt, ist Firewalling auch zwischen den Segmenten Pflicht. Oder verstehe ich was falsch?

Um aber wieder zum Ausgang zurückzukehren: Das KU des TO hat wohl kaum den Bedarf, sich hier den Kopf über Layer-Designs zu machen. Zumal noch nicht einmal Lastdaten vorliegen. Die Frage, warum wir hier überhaupt über Routing von 10Gbit/s sprechen, ist völlig offen. Mit dem bisschen ERP-Software des Betriebes laufen wahrscheinlich nicht einmal 10 MBit/s Grundlast und ob die Server mehr als 200 MBit/s rausgeben können, ist auch fraglich. Es wird sich bei den (o.b.) Anforderungen des Betriebes kaum um Hochleistung-Storage mit NVME-RAID o.ä. handeln.

Mit anderen Worten: Diesen Betrieb routet wahrscheinlich ein hEX fast ebenso gut wie ein CCR2116 face-big-smile
Aber tief schlafende Hardware, die nahezu ungenutzt nach Ablauf des Supportzyklus von 3-5 Jahren ausgetauscht wird, ist ja in der IT wahrlich keine Seltenheit...

Viele Grüße, commodity
Member: aqui
Solution aqui Feb 23, 2023 updated at 14:38:00 (UTC)
Goto Top
man gibt doch jedem VLAN ein eigenes Ärmchen
Bei 10 VLANs sieht der "Kabelbaum" dann sicher sehr spannend aus! face-wink War sicher auch nur scherzhaft gemeint?!
oder schickt es über SFP+.
RJ-45 oder QSFP gehen aber auch. Es kommt auch nicht auf die Physik an sondern auf die Bandbreite was du sicher auch so gemeint hast.
Oder verstehe ich was falsch?
Es kommt, wie immer und oben schon gesagt, drauf an.
Bei internen, lokalen VLAN Segmenten und entsprechender Traffic Anforderung macht man aus Performance Sicht immer ein Layer 3 Switching im Core auf den Core Switches. Hier reichen ACLs meist völlig aus wenn man eine Access Begrenzung einrichten möchte.
Anders sieht es immer für Segmente aus die nicht internen Traffic transportieren wie z.B. Gastnetze im LAN oder WLAN, DMZ Segmente bzw. alles was nicht rein Firmen intern ist. Das man diese dann über eine entsprechende Firewall mit Regelwerk routet ist klar. So ergibt sich in den meisten dieser Fälle häufig ein hybrides Design.
Letztendlich ist das aber immer eine Frage der jeweiligen lokalen Security Policy und Performance Anforderung. Pros und Cons haben beide und deshalb ist eine pauschale Aussage dazu auch nicht möglich, weil immer Einzelfall.
Das KU des TO hat wohl kaum den Bedarf, sich hier den Kopf über Layer-Designs zu machen. Zumal noch nicht einmal Lastdaten vorliegen.
Das ist absolut richtig! Raterei im freien Fall... face-wink Da ist dann der TO wieder gefragt.
Member: donten216
donten216 Feb 23, 2023 at 11:17:54 (UTC)
Goto Top
Die Frage, warum wir hier überhaupt über Routing von 10Gbit/s sprechen, ist völlig offen. Mit dem bisschen ERP-Software des Betriebes laufen wahrscheinlich nicht einmal 10 MBit/s Grundlast und ob die Server mehr als 200 MBit/s rausgeben können, ist auch fraglich.

Das ist absolut richtig! Raterei im freien Fall... face-wink Da ist dann der TO wieder gefragt.

Valider Punkt. Ich muss zugeben, dass ich mich vielleicht etwas zu sehr auf die 10Gbit-Verbindung der beiden Server konzentriert habe bei meinen Überlegungen. Notwendig ist das in meinem Anwendungsfall für das Netzwerk nicht, der Traffic erreicht hier keine absurden Level. Das prüfe ich auch noch mal, um sicherzugehen.

Danach teste ich die Performance in einem ersten Aufbau einfach mal, wie vorgeschlagen. Die erwähnte Hardware im ersten Post habe ich bereits - damit bekomme ich bestimmt ein halbwegs vernünftig Netzwerk auf die Beine gestellt. Wie schon öfter von euch erwähnt: Aufrüsten kann ich dann immer noch. Und schlechter als der Status Quo wird das neue Netzwerk eh nicht, allein durch die Redundanz und LAG sollte es schon besser und sicherer werden. Auch ohne 10Gbit/s Routing. Mit diesem "kleinen" Sieg kann ich wahrscheinlich auch schon glücklich sein.

Abschließende Überlegungen, die jetzt mit einfließen:

  • VLANs sinnvoll segmentieren (maßgeblich: Backup extra). Habe dazu auch gute Beiträge hier gefunden, da orientiere ich mich mal dran.
  • Anbindung der Switche an die FW mit je 2x1Gbit und LACP LAG
  • Anbindung der Server an beide Switche

Danke euch noch einmal für die wertvollen Tipps. Ich würde den Thread noch bis zum Wochenende offen lassen und falls keine dramatischen Änderungen passieren als erledigt markieren.

Beste Grüße
Member: commodity
commodity Feb 23, 2023 at 12:27:20 (UTC)
Goto Top
Na dann, gutes Gelingen!
Und an @aqui wieder einmal Danke für die unersetzbaren Hintergrundinfos!

Viele Grüße, commodity
Member: Kuemmel
Kuemmel Feb 23, 2023 at 18:35:32 (UTC)
Goto Top
Zitat von @Visucius:

Hört APU nicht eh mit der Entwicklung dieser HW auf?

@Visucius,
wie kommst du zu der Annahme?

Gruß
Kümmel
Member: aqui
aqui Feb 24, 2023 updated at 09:40:15 (UTC)
Goto Top
Und wenn überhaupt, dann wäre es auch PC Engines! face-wink
Member: Visucius
Visucius Feb 24, 2023 at 10:35:21 (UTC)
Goto Top
Jaja, ich finds auch nicht mehr. Ich bilde mir ein, das irgendwo im Kontext zu meiner HW-Suche für die OPNsense gelesen zu haben. Hm, auf der Homepage sehe ich auch nur den Hinweis auf die EOL des APU2/3 für vorr. 2024:
https://www.pcengines.ch/eol.htm

Aber das kann man ja bei Bedarf auch direkt klären.
Member: aqui
aqui Feb 24, 2023 at 11:37:05 (UTC)
Goto Top
Ein Glück das heute Freitag ist... 🐟 😄
Member: Visucius
Visucius Feb 24, 2023 at 11:39:18 (UTC)
Goto Top
Ja, ich hab extra auf Heute gewartet mit der Antwort face-wink