Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

LAG Bonding mit VLAN Routing Centos7

Mitglied: OIOOIOOIOIIOOOIIOIIOIOOO

OIOOIOOIOIIOOOIIOIIOIOOO (Level 1) - Jetzt verbinden

30.07.2016, aktualisiert 02.08.2016, 3392 Aufrufe, 20 Kommentare

Hallo zusammen,

da ich vom Microsoft mich verabschieden möchte, habe ich mir zum üben und kennenlernen einen Centos7 Server aufgebaut. Der Server soll künftig vier über KVM VM mit BitDefender Cloud, IRC, Print-Server und Backupserver betreiben. Außerdem möchten diese VM´s von fünf verschiedenen VLAN über LAG (zwei verschiedene Netzwerkkarten) erreichbar sein. Verwendet werden vier TP-Link Switch TL-SG3424, TL-SG3216 und TL-SG3210. Die Konfiguration von Switches ist kein Problem, diese laufen. Aber ….

Habe vorgestern Informationen gesammelt zur der Bonding-Konfiguration und habe dann gestern einiges davon ausprobiert.

Leider nicht mit dem gewünschtem Ergebnis.

Eins ist Fakt. Die Anleitung für die Konfiguration von Centos6 kann mir leider nicht helfen. Den dies habe ich sehr oft gefunden.

Zum Feierabend habe ich dann noch eine Seite gefunden und mit danach vorgegangen.

https://www.unixmen.com/linux-basics-create-network-bonding-on-centos-76 ...

Edit file /etc/sysconfig/network-scripts/ifcfg-enp0s8,
vi /etc/sysconfig/network-scripts/ifcfg-enp0s8
Modify the file as shown below.
01.
HWADDR="08:00:27:04:03:86"
02.
TYPE="Ethernet"
03.
BOOTPROTO="none"
04.
DEFROUTE="yes"
05.
PEERDNS="yes"
06.
PEERROUTES="yes"
07.
IPV4_FAILURE_FATAL="no"
08.
IPV6INIT="yes"
09.
IPV6_AUTOCONF="yes"
10.
IPV6_DEFROUTE="yes"
11.
IPV6_PEERDNS="yes"
12.
IPV6_PEERROUTES="yes"
13.
IPV6_FAILURE_FATAL="no"
14.
NAME="enp0s8"
15.
UUID="a97b23f2-fa87-49de-ac9b-39661ba9c20f"
16.
ONBOOT="yes"
17.
MASTER=bond0
18.
SLAVE=yes
Then, Edit file /etc/sysconfig/network-scripts/ifcfg-enp0s9,
vi /etc/sysconfig/network-scripts/ifcfg-enp0s9
Modify the file as shown below.
01.
HWADDR=08:00:27:E7:ED:8E
02.
TYPE=Ethernet
03.
BOOTPROTO=none
04.
DEFROUTE=yes
05.
PEERDNS=yes
06.
PEERROUTES=yes
07.
IPV4_FAILURE_FATAL=no
08.
IPV6INIT=yes
09.
IPV6_AUTOCONF=yes
10.
IPV6_DEFROUTE=yes
11.
IPV6_PEERDNS=yes
12.
IPV6_PEERROUTES=yes
13.
IPV6_FAILURE_FATAL=no
14.
NAME=enp0s9
15.
UUID=e2352c46-e1f9-41d2-98f5-af24b127b3e7
16.
ONBOOT=yes
17.
MASTER=bond0
18.
SLAVE=yes
Save and close the files.
Now, activate the Network interfaces.
01.
ifup ifcfg-enp0s8
02.
ifup ifcfg-enp0s9
Now, enter the following command to make Network Manager aware the changes.

(Ich habe jede Variable in Gänsefüßchen gesetzt)

nmcli con reload

Restart network service to take effect the changes.
01.
systemctl restart network
(Doch es wollte nicht starten, bis ich den befehl „systemctl stop NetworkManager.service && systemctl disable NetworkManager.service“ ausgeführt habe)

dann hat auch der Befehl „cat /proc/net/bonding/bond0“ eine ähnliche Ausgabe wie auf der Seite gebracht. Und der Server war von VLAN1 erreichbar. Nach dem Neustart jedoch nicht mehr. Als ich dann über den NetworkManager angefangen einige zuviel erstellte Scripts zu löchen, habe ich die falsche entfernt. Dann musste ich leider Feierabend machen.

Nun bin ich zuhause und es gibt mir einfach nicht die Ruhe, was habe ich übersehen? Hat jemand das Malen nach Zahlen für mich zur dem Thema?

Tut mir leid, wenn mein Text schwer zu lesen ist, bin noch am üben. Ach ja, versteht mich bitte nicht falsch. Die Beträge welche ich hier gefunden habe waren fast alle mit nur halb angeschnittenen Antworten.

Viele Grüße

Ich
Mitglied: aqui
30.07.2016, aktualisiert um 11:50 Uhr
Hier werden sie geholfen:
https://www.administrator.de/wissen/netzwerk-management-server-raspberry ...

Die Syntax und ToDos sollten bei CentOS mehr oder minder identisch sein !
Anmerkungen zur VLAN Konfiguration findest du über dem Link Aggregation Kapitel.
Grundlagen dazu auch hier:
https://www.administrator.de/wissen/vlan-routing-802-1q-trunk-ms-linux-s ...

Dr. Google hat diverse Infos dazu:
http://www.45drives.com/wiki/index.php/Implementing_Network_Bonding_on_ ...
http://aarvik.dk/how-to-setup-lacp-network-bonding-interface-on-rhel-ce ...
usw.
Entscheidend ist das du den Mode auf 4 setzt mit mode=4 im Konfig File wenn du auf einen LAN Switch gehst der Link Aggregation supportet mit LACP.
Auch hier auf der Switchseite MUSS zwingend ein LAG mit LACP konfiguriert sein. LAGs sind immer eine 2seitige Angelegenheit.
Das o.a. Tutorial hat entsprechende Switch Beispielkonfigs.
Bitte warten ..
Mitglied: OIOOIOOIOIIOOOIIOIIOIOOO
01.08.2016 um 15:51 Uhr
Ja, ich mach nichts anderes als zu googlen, und alle Seiten welche du gelinkt hast, selbstverständlich danke ich dir dafür, habe ich auch bereits mir durchgelesen. Nur scheinbar nicht ganz verstanden oder etwas übersehen.

Nun mein heutiger Tag: Bonding scheinbar eingerichtet zu sein. Doch spuckt mir das System ein paar Fehler aus:

01.
[root@server ~]# systemctl status network.service
02.
● network.service - LSB: Bring up/down networking
03.
   Loaded: loaded (/etc/rc.d/init.d/network)
04.
   Active: failed (Result: exit-code) since Mo 2016-08-01 16:38:52 CEST; 4min 22s ago
05.
     Docs: man:systemd-sysv-generator(8)
06.
  Process: 4890 ExecStart=/etc/rc.d/init.d/network start (code=exited, status=1/FAILURE)
07.

08.
Aug 01 16:38:52 server.server.net network[4890]: RTNETLINK answers: File exists
09.
Aug 01 16:38:52 server.server.net network[4890]: RTNETLINK answers: File exists
10.
Aug 01 16:38:52 server.server.net network[4890]: RTNETLINK answers: File exists
11.
Aug 01 16:38:52 server.server.net network[4890]: RTNETLINK answers: File exists
12.
Aug 01 16:38:52 server.server.net network[4890]: RTNETLINK answers: File exists
13.
Aug 01 16:38:52 server.server.net network[4890]: RTNETLINK answers: File exists
14.
Aug 01 16:38:52 server.server.net systemd[1]: network.service: control process exited, code=exited status=1
15.
Aug 01 16:38:52 server.server.net systemd[1]: Failed to start LSB: Bring up/down networking.
16.
Aug 01 16:38:52 server.server.net systemd[1]: Unit network.service entered failed state.
17.
Aug 01 16:38:52 server.server.net systemd[1]: network.service failed.
18.

19.
[root@server ~]# journalctl -xe
20.
Aug 01 16:58:18 server.server.net network[7214]: [FEHLGESCHLAGEN]
21.
Aug 01 16:58:18 server.server.net network[7214]: Schnittstelle bond0 hochfahren:  FEHLER   : [/etc/sysconfig/network-scripts/ifup-eth] Gerät  hat andere MAC-Adresse als erwartet,
22.
Aug 01 16:58:18 server.server.net /etc/sysconfig/network-scripts/ifup-eth[7569]: Gerät  hat andere MAC-Adresse als erwartet, ignorieren.
23.
Aug 01 16:58:18 server.server.net network[7214]: WARN     : [/etc/sysconfig/network-scripts/ifup-eth] Unable to start slave device ifcfg-enp7s0 for master bond0.
24.
Aug 01 16:58:18 server.server.net /etc/sysconfig/network-scripts/ifup-eth[7570]: Unable to start slave device ifcfg-enp7s0 for master bond0.
25.
Aug 01 16:58:18 server.server.net network[7214]: RTNETLINK answers: File exists
26.
Aug 01 16:58:18 server.server.net network[7214]: [  OK  ]
27.
Aug 01 16:58:18 server.server.net network[7214]: RTNETLINK answers: File exists
28.
Aug 01 16:58:18 server.server.net network[7214]: RTNETLINK answers: File exists
29.
Aug 01 16:58:18 server.server.net network[7214]: RTNETLINK answers: File exists
30.
Aug 01 16:58:18 server.server.net network[7214]: RTNETLINK answers: File exists
31.
Aug 01 16:58:18 server.server.net network[7214]: RTNETLINK answers: File exists
32.
Aug 01 16:58:18 server.server.net network[7214]: RTNETLINK answers: File exists
33.
Aug 01 16:58:18 server.server.net network[7214]: RTNETLINK answers: File exists
34.
Aug 01 16:58:18 server.server.net network[7214]: RTNETLINK answers: File exists
35.
Aug 01 16:58:18 server.server.net network[7214]: RTNETLINK answers: File exists
36.
Aug 01 16:58:18 server.server.net systemd[1]: network.service: control process exited, code=exited status=1
37.
Aug 01 16:58:18 server.server.net systemd[1]: Failed to start LSB: Bring up/down networking.
38.
-- Subject: Unit network.service has failed
39.
-- Defined-By: systemd
40.
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
41.
--
42.
-- Unit network.service has failed.
43.
--
44.
-- The result is failed.
45.
Aug 01 16:58:18 server.server.net systemd[1]: Unit network.service entered failed state.
46.
Aug 01 16:58:18 server.server.net systemd[1]: network.service failed.
47.
Aug 01 16:58:18 server.server.net polkitd[2429]: Unregistered Authentication Agent for unix-process:7209:762131 (system bus name :1.322, object path /org/freedesktop/PolicyKit1/Au
48.
Aug 01 17:01:01 server.server.net systemd[1]: Started Session 6 of user root.
49.
-- Subject: Unit session-6.scope has finished start-up
50.
-- Defined-By: systemd
51.
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
52.
--
53.
-- Unit session-6.scope has finished starting up.
54.
--
55.
-- The start-up result is done.
56.
Aug 01 17:01:01 server.server.net systemd[1]: Starting Session 6 of user root.
57.
-- Subject: Unit session-6.scope has begun start-up
58.
-- Defined-By: systemd
59.
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
60.
--
61.
-- Unit session-6.scope has begun starting up.
62.
Aug 01 17:01:01 server.server.net CROND[7676]: (root) CMD (run-parts /etc/cron.hourly)
63.
Aug 01 17:01:01 server.server.net run-parts(/etc/cron.hourly)[7679]: starting 0anacron
64.
Aug 01 17:01:01 server.server.net run-parts(/etc/cron.hourly)[7685]: finished 0anacron
65.
Aug 01 17:01:01 server.server.net run-parts(/etc/cron.hourly)[7687]: starting 0yum-hourly.cron
66.
Aug 01 17:01:01 server.server.net run-parts(/etc/cron.hourly)[7691]: finished 0yum-hourly.cron
Unter ifcfg-VLAN-1 steht

01.
VLAN="yes"
02.
TYPE="Vlan"
03.
PHYSDEV="bond0"
04.
VLAN_ID="1"
05.
REORDER_HDR="0"
06.
BOOTPROTO="none"
07.
DEFROUTE="yes"
08.
PEERDNS="yes"
09.
PEERROUTES="yes"
10.
IPV4_FAILURE_FATAL="no"
11.
IPV6INIT="yes"
12.
IPV6_AUTOCONF="yes"
13.
IPV6_DEFROUTE="yes"
14.
IPV6_PEERDNS="yes"
15.
IPV6_PEERROUTES="yes"
16.
IPV6_FAILURE_FATAL="no"
17.
NAME="VLAN-1"
18.
UUID="6beab5d0-5d6e-4698-b9f3-e3fa1b98650b"
19.
ONBOOT="yes"
so ähnlich auch in ifcfg-VLAN-5

01.
VLAN=yes
02.
TYPE=Vlan
03.
PHYSDEV=bond0
04.
VLAN_ID=5
05.
REORDER_HDR=0
06.
BOOTPROTO=none
07.
DEFROUTE=yes
08.
PEERDNS=yes
09.
PEERROUTES=yes
10.
IPV4_FAILURE_FATAL=no
11.
IPV6INIT=yes
12.
IPV6_AUTOCONF=yes
13.
IPV6_DEFROUTE=yes
14.
IPV6_PEERDNS=yes
15.
IPV6_PEERROUTES=yes
16.
IPV6_FAILURE_FATAL=no
17.
NAME=VLAN-5
18.
UUID=f3da11c6-72f5-4dd2-a046-d25c219b9ba1
19.
ONBOOT=yes
incfg-bond0
01.
DEVICE=bond0
02.
NAME=bond0
03.
TYPE=Bond
04.
BONDING_MASTER=yes
05.
IPADDR=172.19.126.3
06.
PREFIX=24
07.
GATEWAY="172.19.126.1"
08.
DNS1="10.1.1.1"
09.
ONBOOT=yes
10.
BOOTPROTO=none
11.
BONDING_OPTS="mode=4 miimon=100"
ifcfg-enp5s0

01.
HWADDR="10:8d:5a:1b:20:16"
02.
TYPE="Ethernet"
03.
BOOTPROTO="none"
04.
DEFROUTE="yes"
05.
PEERDNS="yes"
06.
PEERROUTES="yes"
07.
IPV4_FAILURE_FATAL="no"
08.
IPV6INIT="yes"
09.
IPV6_AUTOCONF="yes"
10.
IPV6_DEFROUTE="yes"
11.
IPV6_PEERDNS="yes"
12.
IPV6_PEERROUTES="yes"
13.
IPV6_FAILURE_FATAL="no"
14.
NAME="enp5s0"
15.
UUID="26fa4429-cec1-40fd-9c1a-81b4aafff847"
16.
ONBOOT="yes"
17.
MASTER="bond0"
18.
SLAVE="yes"
ifcfg-enp7s0

01.
HWADDR="60:05:c1:3e:6b:15"
02.
TYPE="Ethernet"
03.
BOOTPROTO="none"
04.
DEFROUTE="yes"
05.
PEERDNS="yes"
06.
PEERROUTES="yes"
07.
IPV4_FAILURE_FATAL="no"
08.
IPV6INIT="yes"
09.
IPV6_AUTOCONF="yes"
10.
IPV6_DEFROUTE="yes"
11.
IPV6_PEERDNS="yes"
12.
IPV6_PEERROUTES="yes"
13.
IPV6_FAILURE_FATAL="no"
14.
NAME="enp7s0"
15.
UUID="81de165b-1bc3-4159-a337-26f4a42b3bd0"
16.
ONBOOT="yes"
17.
MASTER="bond0"
18.
SLAVE="yes"
Was ich auch sehr komisch finde ist, dass wenn ich im Switch bei den beiden Ports an welche der Server angeschlossen ist „GENERAL“ einstelle, so kann es von verschiedenen VLAN´s angesprochen werden, von anderem Switch aus auch. Wenn ich jedoch auf „TRUNK“ setze, so kann man es nur von dem Switch aus erreichen an dem der Server angeschlossen ist sonnst nicht.

LAG habe ich wie folgt eingerichtet:

Bitte warten ..
Mitglied: aqui
01.08.2016, aktualisiert um 17:40 Uhr
General ist falsch, denn das ist dann kein Link Aggregation Port. Trunk wäre hier richtig, denn du hast ja ganz klar einen Trunk sprich eine LACP Link Aggregation auf diesen beiden Ports terminiert.
Wenn der Switch kein Cisco ist (denn da heissen LAGs immer "Port Channel") nennt der Rest der Netzwerk Welt LACP aggregierte Links immer TRUNKS.
Von daher ist das richtig.

Wichtig wäre nochmal:
  • was zeigt ein simples ifconfig an ?
  • und ganz wichtig: WAS sagt der Port bzw. Interface Status des Switches zu diesem Trunk ?? Ist der UP ?
  • ein show LACP status usw. wäre auch hilfreich wenn der Switch sowas supportet (Hersteller ?)

Die Fehlermeldung Failed to start LSB: Bring up/down networking. kann was damit zu tun haben das du doppelte definitionen hast sprich das der Network Manager noch rennt und was überschreiben will in statischer Zuordnung.
VMs migrierst du nicht zufällig oder ?:
http://missingsmth.com/failed-to-start-lsb/
Da muss man dann auf die Macs achten.
Alles in allem muss man schon sagen das das recht kryptisch in CentOS ist. Bei Debian / Ubuntu ist das mit 3 Konfigzeilen erledigt.
Poste mal den Switch Status Output und ggf. das Log des Switches wenn der LACP LAG hochkommt.
Bitte warten ..
Mitglied: OIOOIOOIOIIOOOIIOIIOIOOO
02.08.2016, aktualisiert um 10:10 Uhr
Guten Morgen,

ja Debian ist in fast allem deutlich einfacher. Leider nur nicht so stabil wie Centos finde ich.

Fehler „Failed to start LSB: Bring up/down networking.“ behoben. Denn Sind VLAN keine Physische Geräte und dürfen nicht „ifcfg-VLAN“ heißen sondern „route-VLAN“

Nun haben wir:

01.
[root@server ~]# systemctl status network.service
02.
● network.service - LSB: Bring up/down networking
03.
   Loaded: loaded (/etc/rc.d/init.d/network)
04.
   Active: active (exited) since Di 2016-08-02 08:43:52 CEST; 17min ago
05.
     Docs: man:systemd-sysv-generator(8)
06.
  Process: 669 ExecStart=/etc/rc.d/init.d/network start (code=exited, status=0/SUCCESS)
07.

08.
Aug 02 08:43:49 server.server.net systemd[1]: Starting LSB: Bring up/down networking...
09.
Aug 02 08:43:49 server.server.net network[669]: Loopback-Schnittstelle hochfahren:  [  OK  ]
10.
Aug 02 08:43:52 server.server.net network[669]: Schnittstelle bond0 hochfahren:  [  OK  ]
11.
Aug 02 08:43:52 server.server.net systemd[1]: Started LSB: Bring up/down networking.
01.
[root@server ~]# ifconfig
02.
bond0: flags=5187<UP,BROADCAST,RUNNING,MASTER,MULTICAST>  mtu 1500
03.
        inet 172.19.126.3  netmask 255.255.255.0  broadcast 172.19.126.255
04.
        inet6 fe80::428d:5cff:fe1a:2016  prefixlen 64  scopeid 0x20<link>
05.
        ether 30:8d:5a:bd:30:15  txqueuelen 0  (Ethernet)
06.
        RX packets 2228  bytes 180438 (176.2 KiB)
07.
        RX errors 0  dropped 0  overruns 0  frame 0
08.
        TX packets 962  bytes 83958 (81.9 KiB)
09.
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
10.

11.
enp5s0: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST>  mtu 1500
12.
        ether 30:8d:5a:bd:30:15  txqueuelen 1000  (Ethernet)
13.
        RX packets 1059  bytes 73796 (72.0 KiB)
14.
        RX errors 0  dropped 0  overruns 0  frame 0
15.
        TX packets 879  bytes 74802 (73.0 KiB)
16.
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
17.

18.
enp7s0: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST>  mtu 1500
19.
        ether 30:8d:5a:bd:30:15  txqueuelen 1000  (Ethernet)
20.
        RX packets 1171  bytes 106770 (104.2 KiB)
21.
        RX errors 0  dropped 0  overruns 0  frame 0
22.
        TX packets 85  bytes 9712 (9.4 KiB)
23.
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
24.
        device interrupt 19  memory 0xdf0c0000-df0e0000
25.

26.
lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
27.
        inet 127.0.0.1  netmask 255.0.0.0
28.
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
29.
        loop  txqueuelen 0  (Lokale Schleife)
30.
        RX packets 1  bytes 82 (82.0 B)
31.
        RX errors 0  dropped 0  overruns 0  frame 0
32.
        TX packets 1  bytes 82 (82.0 B)
33.
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
34.

35.
[root@main ~]# ifstat
36.
ifstat: history is aged out, resetting
37.
#kernel
38.
Interface        RX Pkts/Rate    TX Pkts/Rate    RX Data/Rate    TX Data/Rate
39.
                 RX Errs/Drop    TX Errs/Drop    RX Over/Rate    TX Coll/Rate
40.
lo                     1 0             1 0            82 0            82 0
41.
                       0 0             0 0             0 0             0 0
42.
enp5s0              1186 0          1157 0         83198 0         98748 0
43.
                       0 0             0 0             0 0             0 0
44.
enp7s0              1517 0            95 0        136522 0         10878 0
45.
                       0 0             0 0             0 0             0 0
46.
bond0               2704 0          1253 0        219784 0        109776 0
47.
                       0 0             0 0             0 0             0 0
Switch LOG nach dem Starten des Servers:

1 2016-08-02 07:44:01 LAG level_6 Added new Link Aggregation Group 1, members: Port 21-22.
2 2016-08-02 07:43:59 Link level_3 port 21, changed state to up.
3 2016-08-02 07:43:58 Link level_3 port 22, changed state to up.

Aber das mit dem TRUNK renne ich gegen die Wand. Es wird grundsätzlich nur dann der Server im Netzwerk angesprochen, wenn die Ports auf „GENERAL“ stehen. Ich habe ja oben meine Konstellation der Hardware aufgelistet. Die Switches sind von TP-Link TL-SG3216, 2x TL-SG3424 und TL-SG3210 das Interface schaut so aus:

1unbenannt - Klicke auf das Bild, um es zu vergrößern
2unbenannt - Klicke auf das Bild, um es zu vergrößern
3unbenannt - Klicke auf das Bild, um es zu vergrößern
4unbenannt - Klicke auf das Bild, um es zu vergrößern
5unbenannt - Klicke auf das Bild, um es zu vergrößern
6unbenannt - Klicke auf das Bild, um es zu vergrößern
Bitte warten ..
Mitglied: aqui
02.08.2016, aktualisiert um 14:11 Uhr
Perfekt ! CentOS sieht gut aus und der Switch auch. Beide Ports auf UP und die Group (LAG1) aktiv sagen klar das LACP und das Bonding bzw. die Link Aggregation sauber funktioniert. !

Egress Rule "UNTAG" an den Switchports ist aber total falsch !
Damit bekommen ausgehende Pakete keinen VLAN Tag ! Damit kann dann der CentOS Host niemals erkennen für welches VLAN die bei ihm eingehenden (vom Switch ausgehenden) Pakete bestimmt sind.
Du machst ja ein Tagging auf dem CentOS.
Setzt du die Ports auf untagged wird einzig nur das Native VLAN, spricht das VLAN 1 übertragen.
21 und 22 müssten aber logischerweise ein Tagged Trunk sein. Trunk = Link Aggregation Tagged = VLAN Tagging.
Alles andere wäre nach Netzwerk Verständnis falsch !

Es sieht aber so aus als ob TP-Link etwas Cisco Sprech nutzt !! Siehe hier:
http://www.tp-link.com/en/faq-328.html
Dort steht ganz klar das TRUNK als "Tagged Uplink" zu verstehen ist. Also ein Port der ein Mitglied mehrerer VLANs ist und das kann er logischerweise dann nur im TAGGED Trunk Mode denn du willst ja VLAN Tags zum CentOS übertragen, richtig ?
Untagged kann ein Port niemals Mitglied mehrerer VLANs sein. Logisch, denn wie soll der Switch dann die Pakete unterscheiden aus welchem VLAN sie kommen. Das kann er immer nur wenn das Paket ein 802.1q VLAN Tag hat !

Die weitere Vorgehnsweise am Switch defiieren die Screenshots eindeutig:
  • Port Nummer selektieren und auf TRUNK setzen
  • VLAN Create oder selektieren, VLAN ID angeben und dort den vorher selktierten Trunk Port bei der Egress Rule auf TAGGED setzen. Apply klicken !
  • Das für alle VLAN IDs wiederholen die Tagged an diesem Port rausgehen sollen !
Das du die Egress Rule nicht auf Tagged gesetzt hast im Trunk Mode ist vermutlich dein Kardinlasfehler ?!
Bitte warten ..
Mitglied: OIOOIOOIOIIOOOIIOIIOIOOO
02.08.2016 um 16:30 Uhr
hi und sorry. Die letzten zwei Screenshots habe ich für TP-LINK Support hochgeladen, da habe ich bereits den Server auf Port 19 und 20 verschoben,

Also Ist die Einstellung GENERAL doch richtig? Bei Trunk kann man auf UNTAG nicht setzen. Mittlerweile glaube ich, dass ich das VLAN am Server nicht konfiguriert habe. Kann man das irgend wie am Server direkt testen oder sehen?
Bitte warten ..
Mitglied: aqui
02.08.2016, aktualisiert um 17:49 Uhr
Also Ist die Einstellung GENERAL doch richtig? Bei Trunk kann man auf UNTAG nicht setzen.
Nein, sie ist falsch !
Es muss ja Trunk sein. Die TP-Link Knowledge Base Screenshots sagen das doch eindeutig.
Für einen Tagged Uplink wird der Mode auf Trunk gesetzt und die Egress Rule auf Tagged.
Wär ja komisch wenn TP-Link dort selber was beschreibt was dann auf ihren Produkten nicht geht. Wär ja hochgradig unlogisch, oder ?
Mittlerweile glaube ich, dass ich das VLAN am Server nicht konfiguriert habe.
Das kann sein....und wäre auch einen Erklärung für das Tohuwabohu.
Du musst am Bond Interface Subinterfaces haben für jedes VLAN z.B. hier für VLAN 2:
bond0.2    Link encap:Ethernet  HWaddr 00:00:00:00:00:00
          inet addr:192.168.2.1  Bcast:192.168.2.255  Mask:255.255.255.0
          UP BROADCAST MULTICAST  MTU:1500 Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b) 
Mit lsmod | grep 8021q solltest du checken ob der Kernel vlan Support hat.
Ansonsten kann man das nachladen mit modprobe 8021q.
Das geht dann bei CentOS mit diesen Scripts (z.B. vlan 2 und 3):
/etc/sysconfig/network-scripts/ifcfg-bond0.2:

VLAN=yes
DEVICE=bond0.2
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.2.1
NETMASK=255.255.255.0

/etc/sysconfig/network-scripts/ifcfg-bond0.3:

VLAN=yes
DEVICE=bond0.3
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.3.1
NETMASK=255.255.255.0


Ein Debian Beispiel hier:
http://www.microhowto.info/howto/configure_an_ethernet_interface_as_a_v ...
https://www.administrator.de/wissen/netzwerk-management-server-raspberry ...
Bitte warten ..
Mitglied: OIOOIOOIOIIOOOIIOIIOIOOO
03.08.2016 um 16:15 Uhr
Vielen Dank. Bei mir haben ja alle VLANS die gleiche IP Adresse. Ich hoffe, dass das nicht den Konflikt veruhrsacht. VLAN sind am Server eingerichtet. Muss man da nicht noch einen ROUTE einbinden?

In jedem Fall habe ich nun herrausgefunden, dass der Server nicht mehr ansprechbar ist sobald ich die Ports auf TAG settze. Auch kann es dann nicht mehr an das internet und keinen Clienten mehr erreichen.

Habe diesen Link hier gefunden.

https://www.centos.org/forums/viewtopic.php?t=7782

Hier wird es beschriben, mach möchte die Datein in meinem Fall wie folgt erstellen.

/etc/sysconfig/network-scripts/route-vlan1
01.
ip route add default via 172.19.126.3 dev vlan1 table 1
/etc/sysconfig/network-scripts/route-vlan2
01.
ip route add default via 172.19.126.3 dev vlan2 table 2
/etc/sysconfig/network-scripts/route-vlan3
01.
ip route add default via 172.19.126.3 dev vlan3 table 3
/etc/sysconfig/network-scripts/route-vlan4
01.
ip route add default via 172.19.126.3 dev vlan4 table 4
/etc/sysconfig/network-scripts/route-vlan5
01.
ip route add default via 172.19.126.3 dev vlan5 table 5
Leider keine Besserung.

Also ich glaube auch nciht mehr, dass es an der Konfiguration der Switches liegt. Denn hier wird es deutlich.

UNTAG:

01.
[root@server network-scripts]# ifstat
02.
#kernel
03.
Interface        RX Pkts/Rate    TX Pkts/Rate    RX Data/Rate    TX Data/Rate
04.
                 RX Errs/Drop    TX Errs/Drop    RX Over/Rate    TX Coll/Rate
05.
lo                     0 0             0 0             0 0             0 0
06.
                       0 0             0 0             0 0             0 0
07.
enp5s0               143 0           309 0          9882 0         37087 0
08.
                       0 0             0 0             0 0             0 0
09.
enp7s0               475 0           102 0         50199 0         10294 0
10.
                       0 0             0 0             0 0             0 0
11.
bond0                618 0           411 0         60081 0         47381 0
12.
                       0 0             0 0             0 0             0 0
13.
bond0.1                0 0             0 0             0 0             0 0
14.
                       0 0             0 0             0 0             0 0
15.
bond0.2                0 0             0 0             0 0             0 0
16.
                       0 0             0 0             0 0             0 0
17.
bond0.3                0 0             0 0             0 0             0 0
18.
                       0 0             0 0             0 0             0 0
19.
bond0.4                0 0             0 0             0 0             0 0
20.
                       0 0             0 0             0 0             0 0
21.
bond0.5                0 0             0 0             0 0             0 0
22.
                       0 0             0 0             0 0             0 0
TAG:

01.
[root@server ~]# ifstat
02.
#kernel
03.
Interface        RX Pkts/Rate    TX Pkts/Rate    RX Data/Rate    TX Data/Rate
04.
                 RX Errs/Drop    TX Errs/Drop    RX Over/Rate    TX Coll/Rate
05.
lo                     0 0             0 0             0 0             0 0
06.
                       0 0             0 0             0 0             0 0
07.
enp5s0                85 0            54 0          7039 0          8042 0
08.
                       0 0             0 0             0 0             0 0
09.
enp7s0                95 0            20 0         11120 0          1952 0
10.
                       0 0             0 0             0 0             0 0
11.
bond0                180 0            74 0         18159 0          9994 0
12.
                       0 0             0 0             0 0             0 0
13.
bond0.1               37 0             0 0          2225 0             0 0
14.
                       0 0             0 0             0 0             0 0
15.
bond0.2               15 0             0 0           690 0             0 0
16.
                       0 0             0 0             0 0             0 0
17.
bond0.3                0 0             0 0             0 0             0 0
18.
                       0 0             0 0             0 0             0 0
19.
bond0.4                0 0             0 0             0 0             0 0
20.
                       0 0             0 0             0 0             0 0
21.
bond0.5                0 0             0 0             0 0             0 0
22.
                       0 0             0 0             0 0             0 0
Grundsätzlich gehen scheinbar die vlan1 und vlan2 pakete am Server an, nur kann er diese nicht ververten.

Links sind jedoch alle gesetzt:

01.
[root@server ~]# ip -d link show
02.
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT
03.
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 promiscuity 0 addrgenmode eui64
04.
2: enp5s0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master bond0 state UP mode DEFAULT qlen 1000
05.
    link/ether 30:8d:5a:bd:30:15 brd ff:ff:ff:ff:ff:ff promiscuity 0 addrgenmode eui64
06.
3: enp7s0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master bond0 state UP mode DEFAULT qlen 1000
07.
    link/ether 30:8d:5a:bd:30:15 brd ff:ff:ff:ff:ff:ff promiscuity 0 addrgenmode eui64
08.
4: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT
09.
    link/ether 30:8d:5a:bd:30:15 brd ff:ff:ff:ff:ff:ff promiscuity 0
10.
    bond addrgenmode eui64
11.
5: bond0.1@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT
12.
    link/ether 30:8d:5a:bd:30:15 brd ff:ff:ff:ff:ff:ff promiscuity 0
13.
    vlan protocol 802.1Q id 1 <REORDER_HDR> addrgenmode eui64
14.
6: bond0.2@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT
15.
    link/ether 30:8d:5a:bd:30:15 brd ff:ff:ff:ff:ff:ff promiscuity 0
16.
    vlan protocol 802.1Q id 2 <REORDER_HDR> addrgenmode eui64
17.
7: bond0.3@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT
18.
    link/ether 30:8d:5a:bd:30:15 brd ff:ff:ff:ff:ff:ff promiscuity 0
19.
    vlan protocol 802.1Q id 3 <REORDER_HDR> addrgenmode eui64
20.
8: bond0.4@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT
21.
    link/ether 30:8d:5a:bd:30:15 brd ff:ff:ff:ff:ff:ff promiscuity 0
22.
    vlan protocol 802.1Q id 4 <REORDER_HDR> addrgenmode eui64
23.
9: bond0.5@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT
24.
    link/ether 30:8d:5a:bd:30:15 brd ff:ff:ff:ff:ff:ff promiscuity 0
25.
    vlan protocol 802.1Q id 5 <REORDER_HDR> addrgenmode eui64
Und was mich noch stört sind zwei folgende Zeilen beim restarten vom Netzwerk oder Runter Fahren vom Centos
01.
bond0: no command found in slaves file - use +ifname ifstat
02.
bond0: no command found in slaves file - use +ifname ifstat
Bitte warten ..
Mitglied: aqui
03.08.2016 um 18:46 Uhr
Bei mir haben ja alle VLANS die gleiche IP Adresse.
Uuuuhhh, nicht dein Ernst, oder ??
Das ist natürlich ein fataler Fehler und zeigt erhebliche Defizite im Netzwerk Wissen !! Sorry, aber bitte erstmal die Grundlagen zu VLANs lesen bevor wir hier weitermachen:
http://www.schulnetz.info/vlan-einstieg-was-ist-ein-vlan/ (alle Teile)
https://www.administrator.de/wissen/vlan-routing-802-1q-trunk-ms-linux-s ...
https://www.administrator.de/wissen/vlan-installation-routing-pfsense-mi ...
Bitte warten ..
Mitglied: OIOOIOOIOIIOOOIIOIIOIOOO
04.08.2016, aktualisiert um 11:10 Uhr
All das habe ich doch bereits gelesen. Scheinbar nicht ganz verstanden. Und das mit den verschiedenen IP Adressen habe ich zwar gesehen, jedoch ignoriert, da es nirgendwo steht, dass man das so machen muss. Bei mir zuhause mit der Digitalisierungsbox habe ich auch alle VLAN in einem IP Bereich gelegt und es funktioniert.

Naja wie dem auch sei. Danke dir aqui, dass du mit mir soviel Geduld gehabt hast.

Ich habe es nun wie folgt gebildet:



Port 1-5 = Vlan 1-5

11unbenannt - Klicke auf das Bild, um es zu vergrößern

12unbenannt - Klicke auf das Bild, um es zu vergrößern

13unbenannt - Klicke auf das Bild, um es zu vergrößern

/etc/sysconfig/network-scripts/ifcfg-enp5s0
01.
HWADDR="10:8d:5a:1b:20:16"
02.
TYPE="Ethernet"
03.
BOOTPROTO="none"
04.
DEFROUTE="yes"
05.
PEERDNS="yes"
06.
PEERROUTES="yes"
07.
IPV4_FAILURE_FATAL="no"
08.
IPV6INIT="yes"
09.
IPV6_AUTOCONF="yes"
10.
IPV6_DEFROUTE="yes"
11.
IPV6_PEERDNS="yes"
12.
IPV6_PEERROUTES="yes"
13.
IPV6_FAILURE_FATAL="no"
14.
NAME="enp5s0"
15.
UUID="26fa4429-cec1-40fd-9c1a-81b4aafff847"
16.
ONBOOT="yes"
17.
MASTER="bond0"
18.
SLAVE="yes"
/etc/sysconfig/network-scripts/ifcfg-enp7s0
01.
HWADDR="60:05:c1:3e:6b:15"
02.
TYPE="Ethernet"
03.
BOOTPROTO="none"
04.
DEFROUTE="yes"
05.
PEERDNS="yes"
06.
PEERROUTES="yes"
07.
IPV4_FAILURE_FATAL="no"
08.
IPV6INIT="yes"
09.
IPV6_AUTOCONF="yes"
10.
IPV6_DEFROUTE="yes"
11.
IPV6_PEERDNS="yes"
12.
IPV6_PEERROUTES="yes"
13.
IPV6_FAILURE_FATAL="no"
14.
NAME="enp7s0"
15.
UUID="81de165b-1bc3-4159-a337-26f4a42b3bd0"
16.
ONBOOT="yes"
17.
MASTER="bond0"
18.
SLAVE="yes"
/etc/sysconfig/network-scripts/ifcfg-bond0
01.
DEVICE=bond0
02.
NAME=bond0
03.
TYPE=Bond
04.
BONDING_MASTER=yes
05.
IPADDR=172.19.126.3
06.
PREFIX=24
07.
GATEWAY="172.19.126.1"
08.
DNS1="10.1.1.1"
09.
ONBOOT=yes
10.
BOOTPROTO=static
11.
BONDING_OPTS="mode=4 miimon=100"
Soviel zur Bonding. Das funktioniert.

Jetzt VLAN:

Ich habe jetzt folgende Datein erstellt mit dem folgendem Inhalt:

/etc/sysconfig/network-scripts/ifcfg-bond0.1
01.
DEVICE=bond0.1
02.
BOOTPROTO=static
03.
ONBOOT=yes
04.
IPADDR=172.19.131.3
05.
PREFIX=24
06.
NETWORK=172.19.131.0
07.
VLAN=yes
/etc/sysconfig/network-scripts/ifcfg-bond0.2
01.
DEVICE=bond0.2
02.
BOOTPROTO=static
03.
ONBOOT=yes
04.
IPADDR=172.19.127.3
05.
PREFIX=24
06.
NETWORK=172.19.127.0
07.
VLAN=yes
/etc/sysconfig/network-scripts/ifcfg-bond0.3
01.
DEVICE=bond0.3
02.
BOOTPROTO=static
03.
ONBOOT=yes
04.
IPADDR=172.19.128.3
05.
PREFIX=24
06.
NETWORK=172.19.128.0
07.
VLAN=yes
/etc/sysconfig/network-scripts/ifcfg-bond0.4
01.
DEVICE=bond0.4
02.
BOOTPROTO=static
03.
ONBOOT=yes
04.
IPADDR=172.19.129.3
05.
PREFIX=24
06.
NETWORK=172.19.129.0
07.
VLAN=yes
/etc/sysconfig/network-scripts/ifcfg-bond0.5
01.
DEVICE=bond0.5
02.
BOOTPROTO=static
03.
ONBOOT=yes
04.
IPADDR=172.19.130.3
05.
PREFIX=24
06.
NETWORK=172.19.130.0
07.
VLAN=yes
Außerdem habe ich habe ich noch folgende Dateien angelegt:

/etc/sysconfig/network-scripts/route-vlan1
01.
ip route add default via 172.19.126.3 dev vlan1 table 1
/etc/sysconfig/network-scripts/route-vlan2
01.
ip route add default via 172.19.127.3 dev vlan2 table 2
Spielt aber keine Rolle ob diese da sind oder nicht.

So jetzt habe ich folgende Situation.
Der Server wird nun von VLAN 1-5 erreicht.
Der Server erreicht alle Clienten im VLAN 1-5.
Der Server google nicht anpingen. (keine Internet Verbindung)
Bitte warten ..
Mitglied: aqui
05.08.2016, aktualisiert um 18:37 Uhr
Bei mir zuhause mit der Digitalisierungsbox habe ich auch alle VLAN in einem IP Bereich gelegt und es funktioniert.
Uuuhhhrgh...
Na ja...wenn man die L2 Collision Doamins komplett getrennt lässt in den VLANs und sie NIEMALS irgendwo koppelt, dann geht das.
Das ist aber russisch Roulette und konterkariert den tieferen Sinn von VLANs natürlich.
Zeigt eher das du das Konzept VLANs nicht wirklich verstanden hast, sorry.
Theoretisch hast du Recht und mit den o.a. harten Einschränkungen geht das. Aber so ein Design hat nichts mit der Praxis zu tun, denn koppelt du die mal aus Versehen bist du nicht mehr standardkonform...
Der Server google nicht anpingen.
Wie lautet die Default Route auf dem Server ?? netstat -r -n
Was du machst mit 2 Default Routen ist routingtechnischer Blödsinn !
Wie bitte soll der Server denn nun wissen welche der Default Routen er nehmen soll ?? OSe können mit sowas nicht umgehen. Es gilt immer nur eine Route... vermutlich hat die dann keinen Internet Zugriff und daher der Fehler...?!
Was sagt also netstat oder ip route show ??
Bitte warten ..
Mitglied: OIOOIOOIOIIOOOIIOIIOIOOO
07.08.2016 um 08:30 Uhr
Ich komme jetzt leider die Woche nicht mehr an die Struktur.

Ok, natürlich muss ich dir jetzt Recht geben. Habe gestern noch mal nach dem selben Prinzip auch zu Hause versucht für die Media Reciver VLAN einzurichten. Und habe auch bemerkt, dass ich von Switch aus keine Verbindung zum Drucker habe, welches an der Digibox hängt. *schähm* „Ganz viel lernen muss ich da noch.“

Eigentlich ist zwischen den folgenden Zeilen in meinem letztem Beitrag noch eine Grafik mit eine Netzwerktopographie gewesen.

Ich habe es nun wie folgt gebildet:

image 4c39968a9265159ac32e22892cee2fe1

Port 1-5 = Vlan 1-5

Warum auch immer kann man es nicht sehen, daher jetzt nun ein Link dazu:

https://www.administrator.de/images/c/1/3/4c39968a9265159ac32e22892cee2f ...

Ein Bekannter hat mir gesagt, dass das was ich eigentlich vor habe, gar nicht funktionieren kann.

Und schickte mir folgenden Aufbau.

aajeieijpcblnbgc - Klicke auf das Bild, um es zu vergrößern

Leider musste ich dann die Kinder ins Bett bringen und kam ihn nicht mehr dazu ihn zu fragen was genau ich an den Switches einstellen muss.

Kannst du es mir vielleicht sagen, eventuell verstehe ich dann die Logik. Denn bis jetzt hat mit TP-Link auch nicht sagen können was die einzelnen Punkte GENERAL TRUNK ACCESS zu bedeuten haben.
Bitte warten ..
Mitglied: aqui
07.08.2016, aktualisiert um 14:48 Uhr
Ich habe es nun wie folgt gebildet:
image 4c39968a9265159ac32e22892cee2fe1
Da fehlte jetzt das Bild dazu ?! Hast du das ggf. gelöscht und vergessen den Tag im Text ebenfalls zu löschen ??
Warum auch immer kann man es nicht sehen, daher jetzt nun ein Link dazu:
Nicht auf "+" geklickt beim Bild ??
Warum auch immer kann man es nicht sehen, daher jetzt nun ein Link dazu:
OK, umständlich aber damit kommt das Bild dann zum Vorschein...
Kein sehr gutes Netzwerk Design Solche Switchketten sollte man generell vermeiden im Ethernet. Sternförmig ist die Devise. Aber mit 3 Hops bist du grad noch so am Limit.
Ein Bekannter hat mir gesagt, dass das was ich eigentlich vor habe, gar nicht funktionieren kann.
So so und warum ? Hat er das mal begründet ??
OK, ganz Unrecht hat er nicht, denn dein Design ist nicht gerade gut aber auch nicht falsch das es nicht klappen würde.
Die Kardinalsfrage die man stellen muss und die leider nicht in der Grafik klar dokumentiert ist, ist die der IP Adressierung ??
Sind die .126.0 /24, .127.0 /24 und .128.0 /24 er Netze jetzt eingene VLANs z.B. VLAN 1 bis 3 ?
Vermutlich ja aber dann gleich die 2te Frage: WO sind die Tagged Uplinks die diese VLANs im zw. den Switches übertragen ?
Normal müssten das die Uplinks zwischen den Switches sein. Ist dem so ?
Dritte Frage: WO werden diese VLANs geroutet ? L3 Switch ? Gateway ? CentOS Server ?
OK die 3te Frage ist natürlich nur relevant wenn du auch einen Kommunikation zw. den VLANs anstrebst.
Und schickte mir folgenden Aufbau.
Ja, kann man so machen muss man aber nicht. Du kannst ja auch mit dem CentOS Server routen statt der pfSense Firewall. Es gibt eben viele Wege nach Rom...
Leider musste ich dann die Kinder ins Bett bringen...
Kein Thema... Familie geht vor !!
Kannst du es mir vielleicht sagen, eventuell verstehe ich dann die Logik.
Versuchen wir es mal....
Erste Anlaufstelle ist immer das Handbuch und siehe da...dort steht eine 1A Erklärung auf Seite 67 und 68 inkl. Diagram: !!
http://www.tp-link.com/res/down/doc/TL-SG3216(UN)_V2_UG.pdf
Dort ist genau der Unterschied zw. TRUNK und GENERAL erklärt !
Die Funktion unterscheidet sich lediglich in dem Punkt das General dich mit einer Egress Rule (Regel für ausgehende Pakete) bestimmen lässt ob die ausgehenden Packete Tagged oder Untagged sind.
Diese Funktion ist banal gesagt eigentlich Schwachsinn, denn sie macht eigentlich genau dasselbe wie der Trunk.
Einzige Ausnahme ist das ein "TRUNK" Port immer den VLAN Tag mit aussendet ausgehend.
Eine "GENERAL" Port sendet ihn aus wenn die EGRESS RULE Tagged ist aber wenn die EG RULE Untagged ist dann wird das Paket ohne VLAN ID untagged ausgesendet.
Hier stellt sich jetzt die Gretchenfrage wie sich dieser Port verhält wenn die EG RULE Untagged ist. Was passiert wenn es irgendwo ein General Port gibt der die VLANs 1-5 annimmt, intern auch in diese VLANs forwardet aber einen GENERAL Port hat der dann die EG RULE Untagged hat.
Forwardet der jetzt an dem Port ALLE Pakets ohne VLAN Tag aus allen VLANs ??
Technisch gesehen wäre das ein SuperGAU denn das würde ein Netzwerk logischerweise zum kollabieren bringen wenn so eigentlich getrennte Layer 2 Collision Domains zusammengeführt werden. Eine Katastrofe würde das so sein...
Annahme ist aber das es vermutlich nur Pakete sind die Untagged geforwardet werden dessen PVID am Port konfiguriert ist und das NUR diese dann dort untagged rauskommen. Seite 72 erklärt es wenigstens so.
Sichere Gewissheit wird dir aber nur ein Wireshark Trace bringen an dem Port indem man dort mal mit den EG Rules etwas spielt.
Solltest du mal machen um sicherzugehen.

Etwas schwachsinnige Konfig Logik aber das ist wohl so bei billigen China Böllern...
Als Fazit kann man sagen das man dann sowohl GENERAL als auch TRUNK verwenden kann. Bei den Switchlinks untereinander und auf den Servern macht dann TRUNK eigentlich am meisten Sinn, denn man will ja explizit immer Tagged Frames ausgehend haben um die VLAN ID ans angeschlossenen Endgerät zu senden damit das VLAN zu erkennen ist und zuordbar ist.
GENERAL geht aber auch, nur das man dort eben dann höllisch aufpassen muss wie man die die Egress Role UND im Falle von Untaged, die PVID setzt !
Wenn man das beachtet ist das OK.
Genau so ein Blödsinn wie bei NetGear. Die machen auch aus einer simplen Sache eine megakomplizierte Konfig Logik.
Grund von NetGear und TP-Link bei VLANs die Finger zu lassen.
Bitte warten ..
Mitglied: OIOOIOOIOIIOOOIIOIIOIOOO
16.08.2016 um 16:06 Uhr
Vielen Dank für die Erklärung. Billig willich. :/

Ja den Super-SAU habe ich des öfteren gehabt, und dabei das gesamte Netzwerk lahm gelegt.

Ich habe jetzt mal zum üben mich erstmal auf drei Switches beschränkt.

Und die Switches wie folgt konfiguriert.

Switch-A:

Port 1 ACCESS VLAN1
Port 2 ACCESS VLAN2
Port 17 GENERAL Active-LACP VLAN1 UNTAG; VLAN2 TAG SERVER
Port 18 GENERAL Active-LACP VLAN1 UNTAG; VLAN2 TAG SERVER
Port 21 TRUNK LAG3 SWITCH-C
Port 22 TRUNK LAG3 SWITCH-C
Port 21 TRUNK LAG2 SWITCH-B
Port 22 TRUNK LAG2 SWITCH-B
Port 23 TRUNK LAG2 SWITCH-B
Port 24 GENERAL VLAN1 UNTAG; VLAN2 TAG GATEWAY

Switch-B:

Port 1 ACCESS VLAN1
Port 2 ACCESS VLAN2
Port 22 TRUNK Static-LAG2 SWITCH-A
Port 23 TRUNK Static-LAG2 SWITCH-A
Port 24 TRUNK Static-LAG2 SWITCH-A

Switch-C:

Port 1 ACCESS VLAN1
Port 2 ACCESS VLAN2
Port 15 TRUNK Static-LAG3 SWITCH-A
Port 16 TRUNK Static-LAG3 SWITCH-A

Laut TP-Link ist es auch richtig. :/

Der Server kommt ins internet, die Clients erreichen den Server, der Server erreicht die Clients. Nun habe ich das Problem, dass die Clients im VLAN2 nicht ins Internet kommen. Jetzt fehlt der route zum Gateway „172.19.126.1“

VLAN1 hat 172.19.126.0/24
VLAN2 hat 172.19.127.0/24

01.
[root@server ~]# route -n
02.
Kernel IP Routentabelle
03.
Ziel            Router          Genmask         Flags Metric Ref    Use Iface
04.
0.0.0.0         172.19.126.1    0.0.0.0         UG    0      0        0 bond0
05.
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 enp6s0
06.
169.254.0.0     0.0.0.0         255.255.0.0     U     1005   0        0 bond0
07.
169.254.0.0     0.0.0.0         255.255.0.0     U     1006   0        0 virbr0
08.
169.254.0.0     0.0.0.0         255.255.0.0     U     1193   0        0 bond0.1
09.
169.254.0.0     0.0.0.0         255.255.0.0     U     1195   0        0 bond0.2
10.
169.254.0.0     0.0.0.0         255.255.0.0     U     1196   0        0 bond0.3
11.
169.254.0.0     0.0.0.0         255.255.0.0     U     1197   0        0 bond0.4
12.
169.254.0.0     0.0.0.0         255.255.0.0     U     1198   0        0 bond0.5
13.
172.19.126.0    0.0.0.0         255.255.255.0   U     0      0        0 bond0
14.
172.19.126.0    0.0.0.0         255.255.255.0   U     0      0        0 enp6s0
15.
172.19.127.0    0.0.0.0         255.255.255.0   U     0      0        0 bond0.2
16.
172.19.128.0    0.0.0.0         255.255.255.0   U     0      0        0 bond0.3
17.
172.19.129.0    0.0.0.0         255.255.255.0   U     0      0        0 bond0.4
18.
172.19.130.0    0.0.0.0         255.255.255.0   U     0      0        0 bond0.5
19.
172.19.131.0    0.0.0.0         255.255.255.0   U     0      0        0 bond0.1
20.
172.19.132.0    0.0.0.0         255.255.255.0   U     0      0        0 virbr0
21.
[root@server ~]# ip route show
22.
default via 172.19.126.1 dev bond0
23.
169.254.0.0/16 dev enp6s0  scope link  metric 1002
24.
169.254.0.0/16 dev bond0  scope link  metric 1005
25.
169.254.0.0/16 dev virbr0  scope link  metric 1006
26.
169.254.0.0/16 dev bond0.1  scope link  metric 1193
27.
169.254.0.0/16 dev bond0.2  scope link  metric 1195
28.
169.254.0.0/16 dev bond0.3  scope link  metric 1196
29.
169.254.0.0/16 dev bond0.4  scope link  metric 1197
30.
169.254.0.0/16 dev bond0.5  scope link  metric 1198
31.
172.19.126.0/24 dev bond0  proto kernel  scope link  src 172.19.126.104
32.
172.19.126.0/24 dev enp6s0  proto kernel  scope link  src 172.19.126.3
33.
172.19.127.0/24 dev bond0.2  proto kernel  scope link  src 172.19.127.1
34.
172.19.128.0/24 dev bond0.3  proto kernel  scope link  src 172.19.128.1
35.
172.19.129.0/24 dev bond0.4  proto kernel  scope link  src 172.19.129.1
36.
172.19.130.0/24 dev bond0.5  proto kernel  scope link  src 172.19.130.1
37.
172.19.131.0/24 dev bond0.1  proto kernel  scope link  src 172.19.131.1
38.
172.19.132.0/24 dev virbr0  proto kernel  scope link  src 172.19.132.3
Bitte warten ..
Mitglied: aqui
17.08.2016, aktualisiert um 10:59 Uhr
Laut TP-Link ist es auch richtig. :/
Sieht auch soweit richtig aus !
Auf den Trunk Uplinks der Switches untereinader hast du hoffentlich alle VLANs tagged konfiguriert ?? (Außer VLAN 1, das ist immer untagged)
Der Server kommt ins internet, die Clients erreichen den Server, der Server erreicht die Clients.
Sehr gut !!
Bedeutet das die Infrastruktur mit den VLANs sauber rennt !
Nun habe ich das Problem, dass die Clients im VLAN2 nicht ins Internet kommen. Jetzt fehlt der route zum Gateway „172.19.126.1“
OK, ich rate mal das du über den CentOS Server, routest, richtig ?? Ja, muss ja, denn die Switches sind allesamt Layer 2 only Switches und können nicht routen...
OK...hier die ToDos um das zum Fliegen zu bringen:
  • Auf dem CentOS Server muss IPv4 Forwarding aktiviert sein (Routing). Be Debian basierten Maschinen geht das über das Entkommentieren der Zeile #net.ipv4.ip_forward=1 in der Datei /etc/sysctl.conf .
Dürfte bei CentOS ähnlich sein ?!
  • Im VLAN 1 bekommen alle Endgeräte die IP Adresse des CentOS Servers als Default Gateway
  • Im VLAN 2 bekommen alle Endgeräte die IP Adresse des CentOS Servers als Default Gateway
  • Dein Internet Router ist sicher im VLAN 1, richtig ?? Der muss jetzt zwingend eine statische Route konfiguriert bekommen: Zielnetz: 172.19.127.0, Maske: 255.255.255.0, Gateway: 172.19.126.3 (Letzte IP ist die IP Adresse des CentOS Servers im VLAN 1 !!
  • Der CentOS Server bekommt eine Default Route auf den Internet Router .126.1
  • Fertisch.

Die Grundlagen und Funktionsweise zu genau diesem Setup zeigt dir dieses Routing Tutorial:
https://www.administrator.de/wissen/routing-2-netzwerkkarten-windows-u-l ...
und speziell im VLAN Umfeld hier:
https://www.administrator.de/wissen/vlan-installation-routing-pfsense-mi ...
https://www.administrator.de/wissen/vlan-routing-802-1q-trunk-ms-linux-s ...

Damit sollte das sofort zum Fliegen kommen !!
Bitte warten ..
Mitglied: OIOOIOOIOIIOOOIIOIIOIOOO
17.08.2016 um 14:33 Uhr
Auf den Trunk Uplinks der Switches untereinader hast du hoffentlich alle VLANs tagged konfiguriert ?? (Außer VLAN 1, das ist immer untagged)

Nein die Switches sind alle mit TRUNK miteinander verbunden, dann kann man VLAN getrennt nicht konfigurieren. Diese sind dann alle TAG bei TP-Link. Das würde nur mit GENERAL gehen, dann kann man auch verschiedene VLAN unterschiedlich einstellen TAG oder UNTAG.

Ich weiß, du wirst mich jetzt hassen, ich habe jedoch die IP Adressen etwas den VLAN angepasst also der Server ist nicht mehr unter 172.19.126.3 sondern unter 172.19.255.104 erreichbar. Gateway habe ich auch neu bekommen 172.19.255.1

VLAN1 172.19.1.1
VLAN2 172.19.2.1
VLAN3 172.19.3.1

ich rate mal das du über den CentOS Server, routest, richtig ?? Ja, muss ja, denn die Switches sind allesamt Layer 2 only Switches und können nicht routen...

JA und JA

Zeile #net.ipv4.ip_forward=1 in der Datei /etc/sysctl.conf .

Wurde so auf einigen Seiten beschrieben. Wurde in die bestehende, leerere Datei eingefügt.

Im VLAN 2 bekommen alle Endgeräte die IP Adresse des CentOS Servers als Default Gateway

Verstehe ich es jetzt richtig? Da der Server mit der IP Adresse 172.19.2.1 zu erreichen ist bekommen die Clients aus dem VLAN2 unter Gateway 172.19.2.1 eingetragen?

Dein Internet Router ist sicher im VLAN 1, richtig ?? Der muss jetzt zwingend eine statische Route konfiguriert bekommen: Zielnetz: 172.19.127.0, Maske: 255.255.255.0, Gateway: 172.19.126.3 (Letzte IP ist die IP Adresse des CentOS Servers im VLAN 1 !!

Wir haben keinen Router, wir haben kein Zugriff darauf. DNS ist 10.1.2.1

Fertisch.

Läuft nicht

Muss auf dem Server nicht die Umleitung der einzelnen IP-Bäumen noch eingerichtet werden so ähnlich wie das hier?

01.
[root@server ~]# ip route add 172.19.0.0/16 via 172.19.255.1 dev bond0
02.
RTNETLINK answers: File exists
Bitte warten ..
Mitglied: aqui
18.08.2016, aktualisiert um 10:04 Uhr
Nein die Switches sind alle mit TRUNK miteinander verbunden, dann kann man VLAN getrennt nicht konfigurieren.
Sorry, aber das ist technischer Unsinn !
Du musst und willst doch auch die VLANs transparent über die gesamten 3 Switches bringen !!!
Folglich müssen die einzelnen Trunk Links ja tagged konfigriert sein (General oben) um so die VLAN Information zwischen den Switches zu übertragen.
Alles andere wäre schlicht falsch.
Das du mehrere Tagged Uplinks dann als Trunks (Link Aggregation) bündelst ist davon ja erstmal nicht abhängig.
Wichtig ist das sie getagged sind, so das die VLANs an alles 3 Switches verfügbar sind.
Ich weiß, du wirst mich jetzt hassen, ich habe jedoch die IP Adressen etwas den VLAN angepasst also der Server ist nicht mehr unter 172.19.126.3 sondern unter 172.19.255.104 erreichbar.
Nööö, tu ich nicht. Es ist ja nur kosmetisch welche IP du in welchem Segment verwendest. In so fern...Latte !
Allerdings mit .255 in den Adressen solltest du immer sehr vorsichtig sein !!! Manche Billigheimer können damit nicht richtig umgehen (Broadcast).
Was aber unverständlich ist ist die Frage in WELCHEM VLAN du jetzt das .255.0er Netz verwendest ???
Oben hast du ja sehr richtig und vorbildlich immer die VLAN ID im dritten Byte der Netzwerkadresse kodiert.
Fragt sich jetzt in welchem VLAN denn nun .255.0 /24 ist ?? Im VLAN 4 oder wo ???
Verstehe ich es jetzt richtig? Da der Server mit der IP Adresse 172.19.2.1 zu erreichen ist bekommen die Clients aus dem VLAN2 unter Gateway 172.19.2.1 eingetragen?
Ja, richtig verstanden !!
Stell dir deinen Server als Router vor der in jedem VLAN ein Bein hat....
Logisch das die Endgeräte in den jeweiligen VLANs, dann sein "Bein" bzw. die IP Adresse darauf als Default Gateway eingetragen haben müssen, denn der Server fungiert ja als Router zw. den VLANs !
Sprich alle im Netz 192.168.2.x /24 haben dann die 192.168.2.1 (Server IP) als Gateway Adresse.
Alle im Netz 192.168.1.x /24 haben dann die 192.168.1.1 und last but not least...
Alle im Netz 192.168.3.x /24 dann die 192.168.3.1
Der Server selber dann die Default Route auf den Internet Router...
Der Internet Router dann die statischen Routen auf die VLAN Netze..
Fertisch !
So einfach ist das...
Wir haben keinen Router, wir haben kein Zugriff darauf. DNS ist 10.1.2.1
Oha...dann hast du keine Chance das umzusetzen ! Dann kannst du rein nur zw. den VLANs routen und mehr nicht.
Wenn du keine Route auf dem Internet Router konfigurieren kannst, dann ist dein einziger Ausweg nur Masquerading auf deinem Server zu verwenden !
Siehe o.a. 2er NIC Tutorial ICS / NAT Thema !!! Bitte nochmal genau lesen !
https://www.administrator.de/wissen/routing-2-netzwerkkarten-windows-u-l ...
Läuft nicht
Ja das ist dann klar. !
Wenigstens aber das lokale Routing zwischen den VLANs, das sollte dann aber fehlerfrei funktionieren !!!
Wenn du dann nochmal das Mysterium mit dem .255.0er /24 Subnetz aufklären könntest ???
Muss auf dem Server nicht die Umleitung der einzelnen IP-Bäumen noch eingerichtet werden so ähnlich wie das hier?
Nein, das wäre Schwachsinn !
Sorry, aber der Server "kennt"" ja seine IP Netze ganz genau, da diese ja direkt an ihm angeschlossen sind. Routen in diese Netze sind damit vollkommen überflüssig.
Kommen Pakete an für diese Netze kann der Server sie direkt forwarden, da wie gesagt direkt an ihm angeschlossen.
Er bräuchte also lediglich eine Default Route im Pakete forwarden zu können die Zieladressen haben die NICHT in diesen 3 Netzen liegen die er selber kennt.
Siehe auch Tutorial. dort ist ein Packet Walk genau beschrieben...bitte lesen !
Solche unsinnigen Routen also immer entfernen, denn die machen alles schlimmer da grundfalsch.
Bitte warten ..
Mitglied: OIOOIOOIOIIOOOIIOIIOIOOO
18.08.2016 um 10:19 Uhr
Wichtig ist das sie getagged sind, so das die VLANs an alles 3 Switches verfügbar sind.

Dann muss ich es auf GENERAL stellen. Ist ja in prezip das gleiche, wenn ich die anderen Vlans auf TAG stelle.

Fragt sich jetzt in welchem VLAN denn nun .255.0 /24 ist ?? Im VLAN 4 oder wo ???

Ähm das ist bond0 das ist in keinem VLAN. :/ sollte ich VLAN 1 damit bestücken?

Ich lese noch mal was du mir gelinkt hast durch. Danke dir!
Bitte warten ..
Mitglied: aqui
18.08.2016, aktualisiert um 11:08 Uhr
Ja, das war die leidige Diskussion und der TP-Link Nomenklatur Unsinn mit General und Trunk oben.
Wie auch immer...es muss tagged sein. General dann eben.
Ähm das ist bond0 das ist in keinem VLAN.
Das ist Unsinn...sorry.
Die IP direkt auf dem Interface ist der untagged Traffic und der wird immer ins Default VLAN, sprich also VLAN 1 geforwardet !!!
In so fern hättest du dann einen IP Adress Mismatch in deinem VLAN 1 !!!
Laut deiner Liste ist da das .1.0 /24 Netzwerk und eben nicht das .255.0 /24.
Die bond x IP Adressen müssen also .1.x /24 lauten. Kannst du auch ganz einfach mal testen wenn du einen Laptop mit statischer IP im VLAN 1 hast , der muss pingbar sein vom CentOS Server und auch andersrum !!
Übrigens kann man so auch die IP Erreichbarkeit aller VLAN Segmente testen !!
Korrigier das bitte !
https://www.administrator.de/wissen/vlan-routing-802-1q-trunk-ms-linux-s ...
Schlau wäre es auch einen DHCP Server auf dem CentOS Server für jedes VLAN zu konfigurieren:
https://www.administrator.de/wissen/netzwerk-management-server-raspberry ...
Dann würdest du am Client immer sofort anhand der IP sehen in welchem VLAN dieser arbeitet und ob alles korrekt konfiguriert ist mit den Tagged Ulinks und Trunks (LAGs) !!
Bitte warten ..
Mitglied: OIOOIOOIOIIOOOIIOIIOIOOO
18.08.2016, aktualisiert um 12:24 Uhr
Ok, als habe ich jetzt aus dem Server VLAN1 die Datei ifcnf-bond0.1 entfernt.

Und ich lese weiter

Ok ICS habe ich überlesen. Der Begriff "Masquerading" sate mir so erstmal nichts. Hast du eine andere Lösung (bezahlbar so zwischen 100 - 999 unter 1000 Euro)? Derzeit haben wir nur 30 Clients die da durch müssen. Was brauche ich dann noch damit die einzelnen VLANs ins Internet können und das DNS 10.1.2.1 erreichen können?
Bitte warten ..
Ähnliche Inhalte
LAN, WAN, Wireless
Mikrotik - VLAN, Switching, Bonding
Frage von Alex29LAN, WAN, Wireless21 Kommentare

Hallo zusammen, ich bin zwar neu hier im Forum, lese aber schon einige Zeit mit aber habe noch keine ...

Netzwerkmanagement
Bonding VLAN mit Mikrotik Router
Frage von MadM4xNetzwerkmanagement5 Kommentare

Namd, nachdem ich Erfolgreich mein MT mit Hilfe von aqui eingerichtet habe, versuche ich nun mein Vlan inkl. Bonding ...

Switche und Hubs
Brocade ICX7250 LAG und tagged VLAN
gelöst Frage von Philipp711Switche und Hubs11 Kommentare

Hallo Leute, hätte eine kurze Frage zur Konfiguration eines Brocade ICX7250. Zur Erhöhung der Ausfallsicherheit und verbesserung der Performance ...

SAN, NAS, DAS

Cisco LAG-LACP an Synology RS3614xs+ Bonding Bandbreite zu niedrig

gelöst Frage von Ex0r2k16SAN, NAS, DAS20 Kommentare

Guten Tag zusammen, ich habe hier ein recht starkes Synology Gerät (32TB, 8GB RAM, Intel Xeon E3-1230v2) in mein ...

Neue Wissensbeiträge
Sicherheits-Tools

TrendMicro Worry-Free Business Security 10.0 SP1 - Jetzt in Deutsch verfügbar! (Windows 10 1903 Support)

Tipp von TrinXx vor 20 StundenSicherheits-Tools1 Kommentar

Moin! Nach wochenlangem Warten wird Trend Micro das SP1 für WFBS 10 voraussichtlich am 26.08.19 veröffentlichen. Ich habe das ...

Hyper-V
Setup VM W2016 startet nicht in Hyper-V 2016
Erfahrungsbericht von keine-ahnung vor 2 TagenHyper-V4 Kommentare

Moin, sitze gerade über meinem neuen Server und versuche, die VM auf den Host zu prügeln. Jetzt wollte ich ...

Server-Hardware

HPE Proliant ML350P Gen8 Probleme mit Zugriff auf Raid-Volumes

Erfahrungsbericht von goscho vor 2 TagenServer-Hardware1 Kommentar

Hallo Leute, das Problemgerät: HPE ML350P G8 Windows Server 2012R2 HyperV-Host 8 x 300 GB 10K SAS HDD (1 ...

Humor (lol)

"Linux und 5 Gründe Warum man kein Windows verwenden sollte sondern Ubuntu Linux"

Information von Snowbird vor 4 TagenHumor (lol)9 Kommentare

Gerade gefunden. Ja, ist etwas älter, aber irgendwie lustig?

Heiß diskutierte Inhalte
Audio
SIP Gegensprechstelle Funk
Frage von d4vidh4ll3rAudio11 Kommentare

Hallo! Ich benötige eine alternative zur doorLine TM4 ), sprich eine SIP Gegenstelle die ich unter eine Aluminium-Platte schrauben ...

Windows 10
Windows 10 Backup auf Netzwerk Storage
Frage von Futschel2608Windows 1010 Kommentare

Hallo geehrte Mitstreiter Innen, Wir wollen in unserer Windows 10 Domäne den Einzelnen Usern ermöglichen ihre Desktop PC's zusichern. ...

Backup
Veeam Backup Endpoint Free sichert nicht alle Dateien in AppData
gelöst Frage von speedy26gonzalesBackup10 Kommentare

Hallo, ich sollte ein paar Dateien in C:\Users\xyc\AppData\Local\Microsoft\Outlook wieder herstellen. Auf dem Benutzerkonto ist in Outlook ein IMAP Konto ...

Batch & Shell
Mittels SED Text ersetzen in Anführungszeichen
gelöst Frage von nekronBatch & Shell9 Kommentare

Moin … bin nicht wirklich der SED/regex Mensch, vielleicht kann mir jemand auf die Schnelle Helfen :) ich habe ...