29.01.2018

2549

Netzwerkausfall Samstag nach DASI

Hallo liebe Community,

ich habe ein kleines Problem, bei einem Kunden und verstehe nicht, woher das Problem kommt!

Erst mal zur Hardwareumgebung

Server: Fujitsu Primegy RX2520M1
- Xeon E5-2420v2
- 96Gb RAM
- 6 X HD Sas 1.2Tb 10K 2,5" im RAID 5
Installiert ESX aktuelles Image von Fujitsu
Konfiguration des Server:
- 5 X Gigabit Netzwerk Port auf vSwitch mit IP-HASH, kein Failover und nur Teaming

SWITCH ist eine DLINK DGS-1210-48 (aktuelle Firmeware installiert!)
- FESTE IP vergeben
- SNTP eingerichtet
- Passwort neu vergeben
- Cable Length Detection abgeschaltet
- Safeguard Engine deaktiviert

Virtuelle Maschinen :
DC
FS(FileServer)
WAWI
MAIL(EXCHANGE)
Service-PC (Win10) mach auch Veeam
Eset Appliance
vsphere Server appliance
Anmerkung: Paravirtualisierte Netzwerkkarten aber kein Paravirtualisiert Festplattencontroller

Jetzt kommt das Problem,
wir fahren jeden Abend inkrementelle Sicherungen per VEEAM auf eine RS816 (4*4TB HDD verbaut), diese Sicherungen laufen auch anstandslos, die NAS schriebt per Tunnel die Sicherungen zu einer anderen NAS (DS-418 4*4TB) im anderen ORT! Am Samstag wird immer ein VOLLBACKUP gefahren und immer Samstag fällt das Netzwerk aus und Montags muss dann die Switch per ziehen des Stromkabels neugestartet werden!

Ich kann nicht herrausfinden warum und wieso!

Kann mir vll jemand ein Tipp geben

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 362722

Url: https://administrator.de/contentid/362722

Ausgedruckt am: 23.11.2024 um 00:11 Uhr

60 Kommentare

Neuester Kommentar

und immer Samstag fällt das Netzwerk aus.... was fällt genau aus ? und wie ? Fehlermeldungen ? zustand der geräte ?

Hallo,

gibt es bei der "Tunnel"-Verbindung zum anderen Ort ggf. noch eine Zwangstrennung der Internetverbindung ?

Gruß
Holger

Hallo,

fällt das Netzwerk immer genau dann aus, wenn die Sicherung läuft?
Reicht es, den Switch neu zu starten oder weitere Geräte auch? Wir hatten mal ein ähnliches Problem, ein Switch kam mit der Datenmenge einfach nicht klar.
Verlege doch die Sicherung testweise auf einen anderen Tag, wandert der Fehler weiter, könnte es ein ähnliches Problem sein.
Gibt es irgendwo Einträge in Logdateien?

Es ist keine Verbindung mehr im Netzwerk zum Server, zur TK-Anlage, Telefone gehen auch dann nicht, es gibt keine Fehlermeldung, guckt man auf die PCS ist die Netzwerkverbindung durchgestrichen!

Es gibt eine Zwangstrennung um 4Uhr morgens, das Netzwerk im Gebäude fällt meistens Samstags gegen 18:00 aus sobald das Vollbackup anläuft!

Es reicht den Switch neuzustarten, dann läuft alles weiter.
Für mich sieht das so aus, ich habe Samstag den 27.1.18 mal ein Vollbackup um 15:00 gestartet und nach ca 15min war das Netzwerk weg!
LOG DATEIEN gibt es nur vom VEEAM und die besagen, dass der Netzwerkspeicherort nicht vorhanden ist, klar Netzwerk ist dann tot!
Ich habe das VollBackup nu auf den Montag gelegt, zum testen, ich vermute auch den Switch, dass der sobald die LAST (Vollbackup) kommt, einfach abschmirt!

Netzwerkunterbrechungen sind häufig NIC-, Treiber- oder Switching-Probleme. Entweder auf dem BE Server oder den Clients. Besser einen dedizierten BE-Server nutzen ,sind alle Firmware und Treiber aktuell ?

Also,

die Treiber der virtuellen NICs sind aktuelle und auf dem ESX ist Fujitsu ESX Version 6.5.0 Build 5146846 (Aufbau Datum 20.12.17), die Switch ist auch Upgedatet.

bitte mal vpxd.log posten

Ich vermute mal das der Switch einfach die Kapazität nicht packt und dann eventuell auf 100% CPU-Auslastung geht?
Das Ding hat ja nichtmal einen Lüfter..

Moin,

ich würde auch auf den Switch tippen. Hast du die Möglichkeit einen anderen Switch testweise aufzustellen? Den D-Link ist mE nach eh nicht zu trauen .)

lg,
Slainte

Ist wohl ein ein Timeoutprob. jeder Task ( Backup z.b. ) der länger als 15 Min. läuft , wird automatisch abgebrochen. kann man aber ändern
https://kb.vmware.com/s/article/1017253

Und was soll ihm das bringen, wenn das gesamte Netzwerk tot ist?
Da kann er das Timeout hoch setzen, wie er will...

Die Switch wurde um Weihnachten schon mal getauscht, gegen die gleiche am 10.1
ich diskutiere schon mit meinem Chef wegen anderer Swicth,
könnt ihr eine Swicth mit guten Durchsatz empfehlen?

Genau,

wenn es ein TimeOut wäre würde Veeam oder der vcenter Server, das anmeckern!

Nenn mal deinen finanziellen Rahmen und vor allem deine Anforderungen, an ein neues Gerät ;)

HP Arbuba 2530 *schnellduckenbevoraquidasmitbekommt*
Oder Cisco die SG250er Reihe

Ein gutes Verkaufsargument bei deinem Chef wäre, das er die Kosten für neue Hardware, dir vom Gehalt abziehen kann

Moin,

ich tippe auch auf den Switch. Du könntest ja mal schauen, ob du während das Backup anläuft dir den Verlauf der CPU mal auf dem D-Link anschauen kannst (kennen den genaue CLI-Befehl nicht, sollte aber im Manual bzw. via help sich eruieren lassen).

je nach Budget könnte man den D-Link 1:1 gegen einen SG350X-48 von Cisco austauschen:Beispiel. Der hätte dann zumindest schon mal 4x 10GBit mit an Board
Oder aber, einen SG350X-24 und man hängt den D-Link als Access-Switch "darunter". Für Drucker und PCs sollte der ja ausreichend sein...

@StefanHalstenbach:

Ein gutes Verkaufsargument bei deinem Chef wäre, das er die Kosten für neue Hardware, dir vom Gehalt abziehen kann

das würde bedeuten, er belässt alles so wie es ist, wenn er (der TO) sein aktuelles Gehalt behalten möchte

Gruß
em-pie

naja ich bestelle ja nicht, ich baue nur das ein was mir auf den tisch geknallt wird

Der Cisco sieht nicht schlecht aus

naja ich bestelle ja nicht, ich baue nur das ein was mir auf den tisch geknallt wird

Dann würde ich das ab jetzt mal schnell überdenken, du musst dich ja dann auch mit dem Zeug rumschlagen?!

Der Cisco sieht nicht schlecht aus

Aussehen tun die alle gut, es geht da mehr um die Funktionen die ihr benötigt.

Netzwerkdurchsatz muss stimmen und VLANs müssen die Dinger können.

Anmerkung:
Habe gerade von D - Link eine neue Software bekommen, für die Switch war auf der Homepage die Version 4.22B003 für DGS-1210-48 Aktuelle Firmware Rev. D (DGS-1210-48) 22.11.2016 aufgeschrieben,
vom Support habe ich die B007 bekommen und ich teste gerade

Auf lange Sicht würde ich die Kiste austauschen, und mir was vernünftigeres ins Hause holen!

Sehe ich genauso,
aber mein Chef ist anderer Meinung!

Zitat von @Finchen961988:

Sehe ich genauso,
aber mein Chef ist anderer Meinung!

Hi,
deshalb kannst du einem eigentlich nur Leid tun.

Fass mal zusammen:
- Du weißt eindeutig, am welchem Gerät das Problem liegt
- Ihr setzt produktiv einen Switch von einem Consumer-Hersteller ein, der so unterirdisch ist, dass ich (oder andere Admins) den nicht mal bei mir daheim einsetzen will und auch werde

Frag deinen Chef doch einfach, ob es ihm wert ist, jeden Montagmorgen auch wie einen Montagmorgen starten zu lassen und zusätzlich du 52 Wochen im Jahr 15 Minuten damit verbringst, zum Serverraum zu laufen und den Switch zu rebooten. Das kann jeder Grundschüler ausrechnen, ob das oder ein neuer, tauglicher Switch günstiger ist.

Ich würde ihn auch mal fragen, ob ihm eigentlich bewusst ist, was das für eure Datensicherung und den Fall eines Ausfalles bedeutet, ob er dann damit leben kann, am falschen Ende gespart zu haben und ggf. Überlebenswichtige Dateien zu verlieren.
Das würde ich mir auch gegen zeichnen lassen, dann bist du im schlimmsten Fall wenigstens raus, weil er Bescheid wusste und nicht weiter gehandelt hat, sonst kann dein Job da dran hängen.

Moin,

in der Tat bist du eine arme Socke

Mache es doch mal umgekehrt. "Lösche" einer seiner wichtigsten Excel Sheets (oder einen ganzen Ordner), sodass du auf die DaSi zurückgreifen musst. Da diese aber nicht läuft (aufgrund minderwertiger Hardware) wird er alles neu erstellen dürfen.

Und das "Löschen" beinhaltet erstmal nur das Verschieben an einen Ort, an den er nicht drankommt.

Gruß
em-pie

Ja,

ich habe in denletzen Firmen auch immer HP oder die Cisco eingesetzt und bin damit gut gefahren und wenn es mal ganz günstig sein sollte mal ein Netgear und die nur bei Betrieben 10 Mann und kleiner!

Zu mal der SUpport von D-LINK unterirdisch ist!

So gestern ist die Vollsicherung gelaufen und das Netzwerk lief weiter,
ich warte den Samstag mal ab und melde mich dann!

Moin

Zitat von @Finchen961988:
... guckt man auf die PCS ist die Netzwerkverbindung durchgestrichen!

Das ist für mich der wichtige Punkt.
Es ist ja nicht so, dass der Switch einfach keine Daten mehr transportiert, sondern dass die Links alle down sind.

Ich habe ja schon vieles gesehen. Auch Netzwerkkomponten die unter Last ein merkwürdiges Verhalten zeigen, aber nicht so etwas .

Das der Switch ja schon einmal gegen ein gleiches Modell getauscht wurde, bleibt ja eigentlich nur eine Unverträglichkeit. Bzw. ein Softwarefehler im Switch. Denn egal was man dem zu tun gibt, er dürfte maximal den Port abschalten von dem die Daten kommen. Aber nicht alle Ports. Auch die Verwaltung muss weiter funktionieren (was ohne Link natürlich schwierig ist).

<geraten>Der Server oder das NAS verschicken Datenpakete bei denen der Switch völlig durchdreht. Super-Jumbo-Frames z.B.</geraten>

Ich würde es auch mal mit einem SG200/SG300 probieren.
So etwas kann man von einem guten IT-Systemhaus auch mal leihen.

Stefan

Stefan ich gebe dir recht,

die Links sind down, wenn das passiert sind bei allen Rechner(bin ja nicht da, um 19:00 am Samstag und Montags wenn die anfangen zu arbeiten 7:00), laut Kunden die Netzwerkverbindungen mit einem Roten Kreuz versehen.

Ich bin auch der Meinung, dass die DASI zu große Pakete verschickt und im Switch ein Puffer voll läuft oder einfach die Pakete zu groß sind!
Im Switch ist ein Jumbo eingestellt, werksseitig von 13000 bytes. Laut Hersteller und Datenblatt nutzt die Swicth ein Store and Foreward Verfahren in der Übetragungsmethode, würde für mich ja bedeuten bei der Übetragung hängt ein Puffer dazwischen und wenn die Switch diesen nicht los wird oder leeren kann, passiert dieses Phänomen.

Ich diskutiere hier seit letzte Woche über andere Switche, aber man ist in der Richtung hier taub auf den Ohren!

Ich diskutiere hier seit letzte Woche über andere Switche, aber man ist in der Richtung hier taub auf den Ohren!

Dann besorg dir einfach eine Zeitschaltuhr die Montags um 06:30 den Switch aus- und wieder einschaltet

Zitat von @SlainteMhath:
Dann besorg dir einfach eine Zeitschaltuhr die Montags um 06:30 den Switch aus- und wieder einschaltet

Dadurch funktioniert die Vollsicherung ja trotzdem nicht.

Deaktiviere doch mal alle Leistungssteigernden Maßnahmen wie Jumboframes & Co.
Vieleicht auch ein getrenntes VLAN und Server-NIC-Ports für die Sicherung.
Besser langsam und zuverlässig.

Testhalber ein kleiner TP-Link-Switch mit 8xGBit direkt zwischen Server und NAS.
Ja, ist nicht schön, aber zum testen....

Langsam vs Geld ist meist auch ein Punkt wo verantwortliche besser mit umgehen können

Stefan

Ja das wäre der nächste Schritt,
ich habe ja die neue Software aufgspielt die ich von D-Link bekommen habe und ulkiger Weise lief MOntag die VollSicherung mit 185Mbit/s
ich warte Samstag ab!

Die Zeitschaltuhr Idee hatte ich auch schon, wurde mir verboten!

Zitat von @Finchen961988:
Die Zeitschaltuhr Idee hatte ich auch schon, wurde mir verboten!

Boah du tust mir echt Leid. Nichtmals das darfst du :D Bleibt wohl nur der Marsch zum Switch. Habe ich das überlesen oder steht hier eigentlich nirgends was der Switch genau macht?

Switch mal komplett auf Werkseinstellung resettet? Ich werfe hier mal noch was ganz anderes in den Raum: Die Spannungsversorgung. Handelt es sich um eine industrielle Umgebung? Hängt der Switch an einer USV? Gibt es große Nachbarfirmen?

UPS
Also Switch hängt an der USV, auf Werkseinstellung habe ich das Ding zurücksetzt und war eher keine gute Idee!
Der Kunde ist ein historisch gewachsener Kunde und sitzt mit dem Firmensitz in einer Wohnsiedlung, was ich dem Kunden aber zugute halte, als die IP - Telefonanlage gekommen ist, wurde die komplette CAT - verkabelung erneuert und mit Protokoll durchgemessen!

Mist okay. USV ist aber schon gewartet, fehlerfrei und als Fehlerquelle auszuschließen? Kein Error im USV Eventlog?

USV ist gewartet, habe im November sogar neue Akkus eingebaut

So es ist wieder passiert, diesmal am Freitag Abend,
kurze Frage ist es möglich über den CLI Befehl per telnet den Switch neuzustarten und das per Aufgabeplanung von Windows 10?

Wir haben bei dem Kunden ein virtuellen Windows 10 PC mit dem ich das machen könnte, also skript das Telnet aufruft und dann sich in den switch einloggt und den Switch neustartet!

Geht das?

Moin,

Das hängt davon ab, in welchem Zustand der Switch ist. Wenn der über Netzwerk nichts mehr annimmt, bliebe ja nur die console.... Das müsste man mal testen, ob man automatisieren (putty?) was reißen kann und ob der Switch überhaupt mitspielt...

Aber frage mal deine Chefs, ob die sich auch freuen, wenn die stets ihr Auto neustarten lassen wollen, wenn alles blockiert oder ob die ein neues Auto (anderer Hersteller) kaufen?

Naja eigentlich wollte ich das machen um den Zustand des Ausfallens zu vor zu kommen,
ich habe es mal getestet vor der VOLLSICHERUNG die Switch per Weboberfläche Neustarten und dann ging es!

Macht doch aber kein Sinn?
Das wäre so, als wenn du, bevor du in den Feierabend und somit den Feierabendstau fährst, vorher nochmal rechts ran fähsrt, das Auto aus und wieder anmachst. Mag sein, dass das in deinem Fall klappt, aber verlassen würde ich mich da nicht drauf...

Wenn du des dennoch so vorhast: Kaufe eine 5€ Zeitschaltuhr und starte so den Switch neu...

Mal im Ernst (was aber nicht gegen dich geht, da du die arme Socke bei euch bist):
Rechne mal aus, wieviele Stunden du dich bisher mit der Thematik beschäftigt hast.
Multipliziere das mit deinem Stundenlohn (inkl. der AG-Anteile)
schaue, wieviele Stunden ihr bisher aufgrund dieses Problems nicht arbeiten konntet...
wenn es z.B. 3h in SUmme bisher waren, und ihr 15 MA seit, sind das schon mal 30h, die ihr nicht arbeiten konntet. Das mal die Brutto-Löhne

Und du glaubst gar nicht, wie viele brauchbare, wenig sehr gute Switche man dafür bereits hätte kaufen können...

Vielleicht funktioniert das Argument ja bei deinen Chefs.
Ansonsten soll der das Problem lösen, der die Switche gekauft/ empfohlen hat. Denn scheinbar hat er ja Ahnung von den Geräten, sonst hätte er die ja nicht gekauft

es kommt da nu eine Zeitschaltuhr zwischen habe da schon mit dem Kunden drüber gesprochen,
der war zwasr nicht begeistert abe nun ja

Zitat von @Finchen961988:

es kommt da nu eine Zeitschaltuhr zwischen habe da schon mit dem Kunden drüber gesprochen,
der war zwasr nicht begeistert abe nun ja

Subjektiv hilft an deinem Punkt eigentlich nur noch die Rasur des Kunden... Symptom- vs. Ursachen-Bekämpfung und so :/

Ich bekomms nicht ganz in meine Birne rein, der Kunde hat so einen großen Server, große NAS, einige VMs etc. und hat keine gottverdammte 800€ für einen guten Switch übrig.
Frei nach dem Motto "Geile Soundanlage im Auto, drölftausend PS aber Fahrwerk, Lenkrad und Bremsen brauch ich doch nicht".

Der Kunde würde das bezahlen mit einem Switch von 800€, kenne sein Kontostand, aber mein Chef ist der Meinung es liegt nicht am Switch!

Habe mit D-Schrott telefoniert und habe eine neue 1210-48 geschickt bekommen, allerdings in einer neuen HardwareRevision, mal schauen!

ICh habe mir aber geschworen, sollte das nicht gehen oder immer noch ausfallen, werde ich die Kündigung schreiben, denn dann bin ich als Techniker im IT - Bereich nicht geeignet!

Zitat von @Finchen961988:

Der Kunde würde das bezahlen mit einem Switch von 800€, kenne sein Kontostand, aber mein Chef ist der Meinung es liegt nicht am Switch!

Und wenn dein Kunde urplötzlich einen anderen Switch (nicht über euch erworben) hat? Kannst du dich ja nicht gegen wären, wenn er mit einemmal was vernünftiges kauft...
Vemrutlich hält dein Chef euren Kunden aber für eine CashCow, da er immer fleißig zahlt, statt mal auf den Tisch zu hauen...

Habe mit D-Schrott telefoniert und habe eine neue 1210-48 geschickt bekommen, allerdings in einer neuen HardwareRevision, mal schauen!

Viel erfolg!

ICh habe mir aber geschworen, sollte das nicht gehen oder immer noch ausfallen, werde ich die Kündigung schreiben, denn dann bin ich als Techniker im IT - Bereich nicht geeignet!

Och, zweifle nicht an dir, du würdest es ja direkt (wirtschaftlich) richtig/ besser machen.
Gibt ja noch genügend andere potenzielle Arbeitgeber der IT-Branche...

Ich denke ich gehe ganz raus aus der IT!

Zitat von @Finchen961988:

Der Kunde würde das bezahlen mit einem Switch von 800€, kenne sein Kontostand, aber mein Chef ist der Meinung es liegt nicht am Switch!

Erinnert mich glatt an meinen letzten Chef. Alles besser wissen und lieber 20 Wochen dran rummurksen und Jugend forscht betreiben, anstatt direkt die offensichtliche Lösung auszuführen und Ruhe zu haben.
Denn dann muss der Kunde ja keine Rechnungen mehr zahlen, wenn die IT auf einmal stabil läuft. Ist wieder ziemlich typisch, dass eigener Geldbeutel >>>> Kundenzufriedenheit zählt.

Ich denke ich gehe ganz raus aus der IT!

Wärst leider nicht der erste, ich kenne ein paar, die in komplett andere Berufe umgeschult haben.

Zulasten des Technikers der einen trüber bekommt beim Kunden!

Das ist nicht der erste Chef den ich habe, der so arbeitet!

Das beste daran ist, wenn sich der Kunde dann beschwert, ist er weg oder ich als Techniker muss dann mit dem Kunden reden und habe keinerlei entscheidungs gewalt!

Was hält dich denn davon ab, den Job als DIenstleister in Systemhäusern an den Nagel zu hängen und stattdessen auf Seite deiner Kunden zu wechseln?
Wenn dir der Job als ITler selbst noch Spaß bringt, du bisher aber nur Griffe in die altebakannte Schüssel hattest...
Gerade KMUs sind da mehr an schnellen Lösungen denn anlangen Bastelaktionen interessiert...

Du meinst als ADMIN irgendwo arbeiten`?

jopp...

ja mal schauen,
höre mich mal um

Das wäre für mich kein Grund in der IT aufzuhören, selbst eine Kündigung wäre für mich persönlich da schon überzogen, aber da werden bei dir sicherlich noch weitere Aspekte eine Rolle spielen.

Lange rede kurzer Sinn nach dem ich nu die Swicth getauscht habe gegen eine mit akuteller HardwareRevision, läuft das Netzwerk stabil und fällt auch nich tmehr aus,
Probehalber 4 TB geschoben an verschiedenen Tagen und kein Ausfall.

VIELEN DANK für eure Hilfe

Also wenn das wirklich ein Defekt in der Hardware Revision war, ist DLink ja noch schlechter als ich dachte. Den Fehler müssten alle anderen Gerät mit der Rev. ja dann auch haben.

ich kommentiere das mal mit dem Spruch vom Support, fast wortwörtlich!
Einige Kunden würden da eine Zeitschaltuhr vorschalten!

Ich habe hier im Hause mal bissl Jugend forscht betrieben und habe gesehen, dass andere Kunden die Switch mit der Hardware Revision die bei mir fehlerhaft war auch bekommen hat, dort ist dieser Fehler nicht, aber wir schreiben da auch nicht die menge an Daten!