31.10.2012

4907

HP2910 24Port 2Stück über 10GB FC gestacked, neuerdings High Collisions or Drop Frames

Hallo,

neuerdings werfen beide unsere beiden Switche des öfteren auf diversen Ports High Collisions or Drop Frames. Es sind um die 10-30 Clients (HPz800) 1Gbit Intel Pro 1000 und mehrere Server entweder LACP 2x 1Gbit oder 10Gbit CX4 angeschlossen. High Sensity und Loop detection ist an. Was kann es sein und was kann ich tun??

Danke für Hilfe, Tipps, Infos im vorraus.

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 193548

Url: https://administrator.de/contentid/193548

Ausgedruckt am: 23.11.2024 um 01:11 Uhr

53 Kommentare

Neuester Kommentar

Hi Peitsche,

FAQ des Herstellers?
Meinst du echt 10GB FC - Fiberchannel im Stack?
High Collission deutet auf Missmatch hin. Das gibt es auch bei Gigabit.
Zu 10GBaseCX4 - das ist inzwischen proprietär 10GB über Kupfer-Coax.

Wenn selbst Clients Probleme anzeigen kann das natürlcih auf die lebenslange Garantie von HP hindeuten. Also Hardware.

Gruß
Netman

Hi,

also die FC Strecke und die CX4 Verkabelungen keine Probleme, nur die Hosts mit deren 1Gbit copper Anschlüssen produzieren die High Collisions.

Ja die Switche sind mit einer 10Gbit FC Strecke verbunden. Die Server an den Switch mit CX4 und die kleineren Server mit 2x 1Gbit LACP am Switch

Na auf Gigabit ist es einfacher:
Guck nach der Konfiguration:
Der Switch steht vermutlich auf Autosensing.
Die Treiber im Client können neben Autosensing auch Gigabit FDX oder eine andere Einschränkung.
Meistens geht die Kombination gar nicht, aber wer weiss...

D.h.? Ich soll an den Clients Autosensing Umstellen? Und am Switch auch?

erst einmal kontrollieren welche Einstellungen an den relevanten Ports gemacht sind. Dann die Clients identifizieren und dort nachsehen.

Am Switch ist nichts konfiguriert worden, ausgepackt verkabelt verbaut, spielt. Den zweiten Switch genauso behandelt. Danach Switche gestacked, und LACP für die Ports welche an Server gehen eingestellt. Es tritt seit Juli auf. Vorher keine Meldungen. Die Hosts da muss ich wohl die Settings der Adapter mal checken ob Unterschiede vorhanden, da teilweise übernommene Clients hinzugekommen.

Das gehört aber nicht zu den "Best Practices" für das Switchmanagement, besonders wenn man die Leistung braucht.

Nur mal zur Info: Die Procurves sind weder Fibrechannel-Switche noch unterstützen sie echtes Stacking...
Du willst vermutlich nur sagen, dass Du sie per LWL verbunden hast.

die beiden 2910al 24x die wir hier haben je 2 slots hinten, dort ist ein FC 10Gbit Modul verbaut und ein duales CX4 Modul. Das gleiche ist im zweitem 2910al 24x verbaut. Dann sind die Switche mit einem LWL Kabel verbunden und in einem Webinterface des einen Switches sind über das Stacking Menu zu ein HP Virtual Stack verbunden.

Zitat von @Peitsche:

die beiden 2910al 24x die wir hier haben je 2 slots hinten, dort ist ein FC 10Gbit Modul verbaut
und ein duales CX4 Modul.

LWL ist NICHT gleichzusetzen mit FC!
Siehe http://de.wikipedia.org/wiki/Fibre_Channel

Zitat von @Peitsche:

in einem Webinterface des einen Switches sind
über das Stacking Menu zu ein HP Virtual Stack verbunden.

HPs "virtual stacking" der E-Serie (ehem. Procurve) ist eben kein "echtes" stacking. Ersteres dient lediglich dazu, mehrere Switche über eine (Web-)Oberfläche verwalten zu können (http://www.hp.com/rnd/device_help/help/hpwnd/webhelp/HPJ4813A/configura ..). Funktional gesehen bleiben es aber separate Switche! Beim "echten" stacking entsteht ein gemeinsamer logischer Switch, der sich auch funktional wie ein einzelnes Gerät verhält. Dies ist insbesondere bei Redundanz- und Lastverteilungsszenarien relevant. Bei gestackten Switchen kann man bspw. bedenkenlos die einzelnen Links einer Link Aggregation auf die verschiedenen Switches verteilen. Dein "virtual stacking" fängt das hingegen nicht ab! Dafür bedarf es der Implementierung von HPs "distributed trunking", was m.W. allerdings erst ab der 3000er Serie aufwärts unterstützt wird.

Gruß
sk

P.S.
Das soll nur zur wohlwollenden Klarstellung dienen, da die ungenaue Verwendung von Fachbegriffen andere schnell in die Irre führen kann.

Speziell das "FC" ist Unsinn, denn FC ist wie schon richtig bemerkt Fiber Channel was ein Storage Protokoll ist und nun mal rein gar nix mit einem Ethernet Stack zu tun hat. Wenn überhaupt dann ist die Stack Verbindung mit einer Glasfaser Verbindung gemacht oder wenns denn Englisch sein soll "Fiber" aber bitte OHNE das "C" denn das ist technischer Unsinn und verwirrt in der Tat.
Collisions am Port zeigen entweder ein physisches Problem auf Steckverbindung, Kabel oder Port Defekt oder aber könenn ein Indiz für einen Duplex oder Autonegotiation Mismatch sein. Bei Billigheimer HP nicht unüblich.
Stell die Ports testweise mal auf einen statischen Speed und Duplex Mode und schalte vor allen Dingen Flow Control am Port oder besser global am Switch ab- In der Regel löst das das Problem.
Collisions sind immer bedenklich denn sie ziehen die Performance erheblich in die Knie.

Hi, ihr habt ja Recht. Es ist eine LWL Verbindung zwischen den Geräten, beide werden über das nun gemeinsame Web-Interface nur konfiguriert. Auf beiden ist Flow Control aus, Global. Kann high collisions... auch nur ein Hinweis auf massiven Traffic am Port ergo Ports sein?? Ich muss am WE mal alle Clients und deren Settings mal prüfen, an den Switchen steht alles auf Auto-Sensing.

Wenn du Geld "frei" hast, nimm die HP Kisten raus und kauf fürs gleiche(!) Geld bessere Hardware, die 2910al mögen auf den Datenblatt toll aussehen - real sind die es aber nicht. Reale 10Gb liefern die Geräte eh nicht.

Wenn du unbedingt 10Gb und Stack haben willst, dann nimm Cisco, Brocade (ICX Serie ist die günstigste 10G Variante, alternativ FCX Serie) oder was vergleichbares aber kein HP ... 10Gb SFP+ Karten für Server bekommst fast hinterhergeworfen und die stöpselst dann per TWINAX Kabel an (ist billiger wie 2 x SFP 10Gb Modul und Patchkabel)

Die Fehler die du beschrieben hast können nebst den falschen Settings auch einfach defekte Kabel sein (man glaubt stellenweise gar nicht was User so mit Kabel alles machen :| )

Wobei ich mich bei 30 Clients frage "muss es 10Gb sein"? Oder macht Ihr Videobearbeitung?

(OT: Ahjo und FC sowie FCoE und IP auf einem Gerät - kenne ich auf Anhbieb nur die VDX Serien von Brocade die das können, gibt es sicherlich noch weitere /OT)

Hi, ja es handelt sich um Videobearbeitung. Es funktionierte bis dato alles. Diese HP Switche werden empfohlen deswegen wurden diese Eingesetzt. Es sind 2 HP 2910al 24x über Stockwerke verteilt und über eine LWL Verbindung 10GBit verbunden. Ich gehe noch die Netzwerk Einstellungen der Adapter aller Hosts durch.

Was würde eine entsprechende Lösung von Cisco 2x 24Port über LWL Etagenverbindung kosten? Alle Ports 1Gbit und 10Gbit oder 20Gbit LWL (LACP)Etagenverbindung. 2 LWL Stripen liegen ja bereits in Decke.

Wer HP Switches in Video- und Broadcast Umfeld "empfiehlt" hat seinen Job verfehlt... Sorry, aber solche Billigswitches gehören da nie hin.

Mensch es wird von Avid empfohlen, deswegen wurden diese zum Einsatz gebracht. @aqui Das ist auch nichts womit ich jetzt arbeiten kann...

Brocade ICX oder FCX Switche dürften in dem gleichen Preisrahmen liegen (2.000 - 3.000 EUR je nachdem ob man auch PoE haben möchte) - ICX hat den Vorteil, dass du SFP+ 10Gb Module einsetzen kannst, die sind in der Regel günstiger wie die XFP 10Gb Module. Des weiteren kannst in beiden Kisten OEM LWL Module einsetzen was den Preis noch mal reduziert (HP Module kannst da auch reinstecken ... die gehen auch - aber auch jeder andere Anbieter)

.@Peitsche
Bei Avid arbeiten doch Betriebswirtschaftler in der Beratung. Da ist doch dann klar das DIESES Ergebnis dabei rauskommt.
Kein seriöser Netzwerk Consultant wird dir im Multimedia Umfeld HP empfehlen...das ist nun mal Fakt !
Bei den Avid Leuten solltest du deinem Nickname dann mal alle Ehre machen und selbige rausholen und die vom Hof jagen !

Ja weiß ich nun, jedoch funktionierte bis dato alles ich kann es mir nur mit einer defekten Karte oder den neuen Hosts welche hinzukamen ohne groß angepasst worden zu sein erklären. Ich suche leider immer noch den Fehler. Es tritt meist morgens gegen 0800 und 0900 auf. Hier werden die Workstations durchgestartet. Im Tagesgeschäft passiert es sehr vereinzelt. Kann es einfach durch hohen Traffic ausgelöst werden??

Sag mal, weisst du immer noch nicht, an welchen Ports dies auftritt?
Schon mal von SNMP Monitoring gehört.
Nimm mal das Tool http://www.heise.de/download/switch-port-monitor-1174558.html in die Hand und dann ist dir klar, wo diese Fehler auftreten und wer daran angschlossen ist.

Dann kannst du mit der strukturierten Fehlersuche weiter machen.

Gruß Netman

Hi, danke!

Wie gesagt morgens an allen 1x . Später am Tag vereinzelt, selten, auf einem switch ein Port. hab diesen ausfinddig gemacht. Am zweitem Switch auch morgens alle 1x und dann keiner.

Was stört dich an einem Fehler?
Aber du bekommst nur diese Medlugn und hast dich nch nicht darum gesorgt wer beteiltigt ist und warum.
Viel Port-Last, viele Port-Fehler? Switchüberlast?
Und welche Geräte hängen dran? Workstation Typ Konfiguration, Kabel, Last...

Es sind alles HP WS entweder xw8400, xw8600, z400 und z800, Alle win7pro_64bit RJ45 CAT6 ist überall verlegt.

Jeder einzelne der Probleme verursacht und warum und wann und ob gleichzeitig.
Und auch auf die Gefahr, dass ich mich wiederhole:
Wieviel Port-Last, wieviele Port-Fehler? Switchüberlast? Zeitgleich, versetzt?
Und welche Geräte hängen dran? Workstation Typ Konfiguration, Port, Kabel, Last...

Scheint beim Rebooten zu passieren, jeden morgen werden alle WS neugestartet, jeweils alle Workstations 1x diese Fehlermeldung. Während der täglichen Arbeitszeiten vllt. 1 ergo 2 mal nur am Switch02.

Ports am Switch noch alle auf AUTO konfig. gestellt.

Switch01
6x WS 1Gbit,
2x Server über jeweils CX4 10Gbit,
1x Server über 2x1Gbit LACP,
3x Server über 1Gbit,
1x LWL 10Gbit Uplink zum Switch02

Switch02
10x WS 1Gbit,
1x Server über CX4 10Gbit,
1x LWL 10Gbit Uplink zum Switch01

Dieses FLUKE NETWORKS TOOL sagt bis dato nichts aus. Alle scheint im grünem Bereich zu sein. Keinerlei Fehlermeldungen.

das loggt via SNMP alle 2 Minuten und rechnet dann dann die Lastrate. Die Werte selbe werden ja immer nur aufaddiert, was ie manuelle Fehlersuche sonst recht mühsam macht.

Als der "Network Monitor" zeigt keine Fehler und keine hohen Lasten, auch nicht zu den Zeiten, wenn die Workstations hoch gefahren werden. Das ist schon mal ein Zeichen für regulären Betrieb bei den Parametern, die überwacht werden.
Gibt es denn andere Hinweise auf Probleme im Netz. Bandbreiten- oder Verbindungsprobleme.

--

Wenn die Fehler, eigentlich Fehlermeldungen nur im Switch01 passieren: Hat der evtl PoE oder spezielle Portkonfigurationen, die an den Workstations erst einmal Irritiatinen hervorrufen?
Deine ungenaue Typenbezeichnung lässt zwei Typen zu Auswahl:
HP 2910-24G al (J9145A)
HP 2910-14G-PoE+ al (J9145A)

Da gibt es noch etwas ausser PoE:
steht im Handbuch
Webseite (http://h20000.www2.hp.com/bizsupport/TechSupport/DocumentIndex.jsp?cont ..) http://bizsupport1.austin.hp.com/bc/docs/support/SupportManual/c0327892 ...
UDLD kann auch Pakete verwerfen (Uni-Directional Link Detection)
All Traffic Rate-Limiting kann auch Pakete verwerfen
MTU Pakete größer als die MTU werden verworfen. Für 10/100Mbit ist 1522Byte das Limit.
Seite 170 (5-16)
When a port is not a member of any jumbo-enabled VLAN, it drops all
jumbo traffic. If the port is receiving “excessive” inbound jumbo traffic, the port generates an Event Log message to notify you of this condition. This same condition generates a Fault-Finder message in the Alert log of the WebAgent and also increments the switch’s “Giant Rx” counter.
Connection-Rate filtering Seite 374/C-38 Ein netter Wurmschutz, der auch durch das gleichzeitige Booten der WS's ausgelöst werden könnte.

wären Dinge zum Nachsehen - oder?

Gruß
Netman

Hi Netman,

also habe Switch02 neugestartet, bis dato keine Fehlermeldungen, abwarten.

- Alles Clients haben die normale MTU, die Server MTU 9000.
- Connection-Rate filtering Seite 374/C-38 Ein netter Wurmschutz, der auch durch das gleichzeitige Booten der WS's ausgelöst werden könnte. habe ich bnicht gefunden, welches Dokument bitte?

Nachtrag um 13:21
- seit dem Reboot von Switch02 traten bis dato keine weiteren high collisions oder drop frames Meldungen mehr auf.
- Ich habe zusätzlich eine weitere LWL Verbindung zwischen den Etagen in Betrieb genommen, diese läuft nun als Trunk der beiden LWL verbindungen. LACP würde ich gerne einstellen aber hier meldet das Webinterface noch was mit Fehler LACP Dynamisch bei manual ports usw....

Suchstring "Connection-Rate" und Seite 374 vom Dokument aus dem Link (da oben gibt es 2 Links

)

Wenn die Server eine MTU von 9000 haben, was machen sie dann mit den Clients. - Darfst du im selben Dokument nachlesen.

Also entweder haben die Server untereinander ein VLAN, wo alle Teilnehmer 9000 Byte Frames verarbeiten oder du nimmst die Server MTU wieder auf einen normalen Wert.

Gruß
Netman

Na ja wenn die Switches Jumbo Frames auf den GiG Links supporten kann die MTU oder auch eine unterschiedliche MTU so bleiben.
Beim Session Aufbau wird zwischen beiden Partnern immer mit MTU Path Discovery die maximal mögliche MTU dynmaisch ausgehandelt.
Der mit der kleinsten MTU gibt dann den maximal möglichen MTU Wert der Session vor.
Bei Jumbo Frame Support gibt es keinen MTU Standard und Hersteller haben unterschiedliche max. MTUs. Das stört aber nicht denn die MTU Path Discovery sorgt ja dafür das alles in geordneten Bahnen verläuft.
In sofern spielen inkonsistente MTU Werte in einem L2 LAN keine Rolle.

Danke für die Erklärung, dass mit der MTU habe ich im Manual erlesen das dieser Switch unterschiedliche MTU's abhandeln kann.

Nachtrag um 13:21
- seit dem Reboot von Switch02 traten bis dato keine weiteren high collisions oder drop frames Meldungen mehr auf.
- Ich habe zusätzlich eine weitere LWL Verbindung zwischen den Etagen in Betrieb genommen, diese läuft nun als Trunk der beiden LWL verbindungen. LACP würde ich gerne einstellen aber hier meldet das Webinterface noch was mit Fehler LACP Dynamisch bei manual ports usw....

Zitat von @aqui:
In sofern spielen inkonsistente MTU Werte in einem L2 LAN keine Rolle.

naja, im Handbuch steht, dass es bei diesen Switchen nicht geht. Außerdem müssen ja auch die Endgeräte damit umgehen können - Das sind doch die Workstations, die von den Servern die großen Pakete bekommen.
Das Handbuch verspricht dann auch noch nett dropped frames.

Das würde mich schon zu einer eingehenden Untersuchung ermutigen.

Die MTU Negotiation wird von den Endgeräten gemacht also Server und Client. Die nehmen auch nur das was der Switch dann durchlässt. der ist also passiv..... Wenn Endgeräte 9k können, im Switchpfad aber einer nur 4k passieren lääst machen die Endgeräte eben nur 4k.

Dieser Switch macht also nur 4K???

Hi Peitsche,

Theoretisch kann es einem Switch egal sein, wie lange Pakete sind. Das geht ihn eigentlich nichts an.
Aber der Switch braucht Speicher um die großen Pakete zu puffern. Pakete werden ja meist erst weiter geleitet, wenn sie komplett vorliegen.

Der Switch kann 9k Pakete, aber lt. Handbuch werden diese weg geworfen, wenn es keine passenden Ziele gibt. Das könnte zeigleich mit dem Booten deiner WS's passieren. Bitte kontrolliere, teste und zieh die passenden Schlüsse.

Gruß
Netman

Moinsen,

also derzeit doch wie bisher, immer morgens werden die WS's nacheinander gestartet und erzeugen alle nur diesen High Collisions or droped Frames Fehler. Ansonsten können alle soweit arbeiten ohne Performance Beschwerden.

aqui:

was bedeutet dies:

aqui schreibt am 16.11.2012 um 19:53:19 Uhr
Die MTU Negotiation wird von den Endgeräten gemacht also Server und Client. Die nehmen auch nur das was der Switch dann durchlässt. der ist also passiv..... Wenn Endgeräte 9k können, im Switchpfad aber einer nur 4k passieren lääst machen die Endgeräte eben nur 4k.

Siehe 17.11.2012 um 16:08:29 Uhr

Wenn du die MTU bei den Serverports veränderst (auf 1522), wirst du diese Meldungen nicht mehr sehen. Eigentlcih geht es hier immer nur um diese Meldungen, die dir Sorge gemacht haben.
Danach kannst du den Fall als erledigt betrachten.

Gruß
Netman

Ja werde ich prüfen, aber aqui sagte etwas was dass die Switche auf deren Ports in dem Webinterface anzeigen und zwar werden dort die 10Gbit Anschlüsse mit einer bps Geschwindigkeit von 4294967295 und die 1Gbit Anschlüsse mit einer Geschwindigkeit von 1000000000 bps. Bedeutet dies das tatsächlich die 10Gbit Ports nur mit 4K operieren?

Gruß Peitsche

Ja, das ist durchaus möglich das die MTU auf diesen max. Wert festgelegt ist. Ist bei Billigheimer HP nicht weiter verwunderlich, denn die benutzen oft schwachbrüstige Custom ASICs in den Switches damit es schön billig ist !
Schlimm ist es aber auch nicht, denn wenigstens supporten sie Jumbo Frames...das ist ja auch schon mal was...!

Danke aqui,

dies habe ich noch gefunden:
http://kb.juniper.net/InfoCenter/index?page=content&id=KB9119&c ...

Aber jetzt habe ich eine weitere Glasfaser strippe verbunden, kann diese aber nur als trunk miteinander verbinden. LACP verweigert sich noch im LACP sagt was von nicht im dynamisch möglich, übersetzt ausm Englischem.

Job für Job und dann kannst du weitere Untersuchungen machen.

Die krumme Zahl könnte auch die Leistungsfähigkeit der Backplane beschreiben.
Aber diese Dinge stehen auch in Datenblättern, sind also keine Geheimnisse.
Außerdem solltest du dich ganz massiv mit Grundlagen der Mathematik beschäftigen. 4k sind 4000. Du sprichst aber von 4G was 4.000.000.000 enspricht.
Die krumme Zahl ist sogar recht typisch für manche Switches. Sie könnte auch schlicht darauf hinweisen, dass der Zähler für diese Switchtypen keine größere Zahl aufnehmen kann.
Testen kann man die Hypothesen nur im gut ausgestatteten Labor!

Sei mir bitte nicht Böse MrNetman aber schon klar was es bedeutet. 2 ^ 32

Der switch zeigt bei 1Gbit 1.000.000.000 bei 10gbit 4.294.967.295 knapp 4.3Git und es steht nirgends wieviel der switch über die 10Gbe Anschlüsse schafft, deswegen meine Frage.

In meinem Link habe ich was gefunden zum Thema 2^32 anzeige im Switch und deswegen meine Fragen. Und hey danke für die Nachhilfe in Mathe... Wenn du im Handbuch gefunden hast dass 9k Pakete verworfen werden wenn keine Ziele zu finden sind dann gib mir doch bitte die Quellangabe direkt mit ich habs nicht gefunden.

Das Handbuch ist verlinkt. - hier im Thread.
MrNetman schreibt am 15.11.2012 um 18:09:38 Uhr

Und ran.
Viel Erfolg
Netman

Handbuch verlinken hilft mir gerade nicht wirklich, bin davon ausgegangen dass vllt. hier jemand Erfahrungen mit diesem HP Modell hat und adhoc weiß:
"ja stimmt dieser Switch kann nicht 10Gbit im vollen Umfang" oder "das webinterface zeigt hier fehlerhaftes an und der Switch macht tatsächlich 10Gbit über externe Module, sowohl CX4 oder LWL" oder "wenn du den HP trunk deiner beiden 10Gbe LWL zu einem statischem LACP machen willst dann mach dieses" oder "hey das klappt nicht der kann nur HP trunk und kein LACP mit 10Gbit"

ich suche ja im Handbuch und lese es auch...

Ich habe dir sogar die Seitennummer gepostet.
Jetzt stelle die MTU um und sag uns morgen früh, ob es funktioniert hat.
Von der Switchperfomrnace steht nichts in der Threadüberschrift.

Stimmt... ;) Ja sobald möglich stelle ich es um auf normale MTU oder die aller Clients auf 9000... statisches lacp mit den beiden lwl Verbindungen geht das?

Aber wie aqui bereits erwähnt hat:

Der mit der kleinsten MTU gibt dann den maximal möglichen MTU Wert der Session vor.
Bei Jumbo Frame Support gibt es keinen MTU Standard und Hersteller haben unterschiedliche max. MTUs. Das stört aber nicht denn die MTU Path Discovery sorgt ja dafür das alles in geordneten Bahnen verläuft.
In sofern spielen inkonsistente MTU Werte in einem L2 LAN keine Rolle.

lass die finger bei den Clients von MTU 9000

Und wiederholt:
Ein Projekt nach dem anderen...

btw: Es gibt keine Widerspruch zwischen aquis MTU Aussage und dem Handbuch des Switches

das heißt doch das es kein rolle spielt ob die clients stand. mtu nutzen und die server eine andere... oder?

Ein klares Jein!
Es dauert aber wohl eine Weile bis die das rausfinden, falls der Algorythmus sauber funktioniert, bis die sich darauf einstellen. In der Zwischenzeit machen sie das Beste, was sie können, also Power... Und das ist zuviel. Und diese Pakete werden verworfen. Deshalb auch die Meldungen.

Aber es funktioniert soweit alles, und es werden täglich mehr hosts in Betrieb genommen. dieser Fehler tritt morgens auf 1x pro kiste und dann vllt 2-3 im Tagesgeschäft auf auf verschiedenen Clients.

Und warum beschwerst du dich dann, dass es auftritt?

Erstmal beschwere ich mich nicht, sondern habe Fragen ans Forum zu Hardware Komponenten. Das habe ich festgestellt ich bei meiner Hardware festgestellt und deswegen meine Anfrage.

Und bis dato konnte mir niemand beantworten was es ist, sondern was es sein könnte. Das die Entscheidung auf HP fiel gut könnte sein dass dies ein Fehler war, aber das steht auf einem anderem Blatt Papier.

Wenn du aber nicht konstruktiv und konsequent den Anregungen folgst wird sich alles weitere im Bereich der Glaskugel abspielen.
Aber die Glaskugelbetrieber verdienen damit auf der Kirmes sogar Geld.