fenris14
Goto Top

Wenn ein Rechenzentrum brennt

Hallo,

den Leuten mal wieder ins Gedächtnis rufen, wie wichtig in bestimmten Konstellationen ein Backup, separate Standorte, Failover und Brandschutz-Vorrichtungen sind. Vor allem: Wie wichtig ein verhältnismäßiges Konzept ist und das nicht einfach der Azubi aus dem ersten Lehrjahr sowas nebenbei machen kann.

https://www.dna.fr/faits-divers-justice/2021/03/10/strasbourg-important- ...

Dort brannte gerade ein Rechenzentrum. Fast alle Server und Dienste abgeschalten.

Video zu den Löscharbeiten:

https://twitter.com/abonin_DNA/status/1369558773346557952

Gruß

Edit: Es handelt sich um den Hoster OVHcloud, leider bisher keine deutschen News.

Edit2: hier noch eine englisch-sprachige Quelle

https://www.datacenterknowledge.com/uptime/ceo-says-fire-has-destroyed-o ...

Content-Key: 661138

Url: https://administrator.de/contentid/661138

Printed on: June 21, 2024 at 19:06 o'clock

Member: tech-flare
tech-flare Mar 10, 2021 updated at 08:46:09 (UTC)
Goto Top
Danke für die Info.

Da OVH einer der größten Hoster mit weltweit ist, ist es auch nicht verwunderlich, warum gestern hin und wieder bestimmte Dienste nicht verfügbar waren.

Gruß

Bei Heise steht es mittlerweile auch

OVH RZ abgebrannt
Member: brammer
brammer Mar 10, 2021 at 09:48:21 (UTC)
Goto Top
Member: bloodstix
bloodstix Mar 10, 2021 at 10:03:49 (UTC)
Goto Top
Huhu,

bin da auch Kunde und habe einen VPS. Der ist aber zum Glück in Limburg im RZ.
Bin also weiter nicht betroffen. Das - ohnehin nicht sehr schnelle - Kundencenter/Webinterface von denen ist allerdings deutlich langsamer und einige Informationen können nicht korrekt geladen werden.
Vllt wollten sie die Standorte ja einfach loswerden und es springt noch nen nettes Versicherungssümmchen bei rum ;)

Grüße
bloody
Member: brammer
brammer Mar 10, 2021 at 10:16:01 (UTC)
Goto Top
Hallo ,

es springt noch nen nettes Versicherungssümmchen bei rum ;

nachdem der Hardware Markt ziemlich leergeräumt ist, dürfte abfackeln eine ziemlich dumme option sein...

brammer
Member: Fenris14
Fenris14 Mar 10, 2021 at 10:34:17 (UTC)
Goto Top
Zitat von @brammer:

Hallo ,

es springt noch nen nettes Versicherungssümmchen bei rum ;

nachdem der Hardware Markt ziemlich leergeräumt ist, dürfte abfackeln eine ziemlich dumme option sein...

brammer


Die Verkohlten Server aus den Racks nehmen und mal kurz mit dem Kärcher drüber. Bissl WD40 und das Teil rennt wieder. :D
Mitglied: 117471
117471 Mar 10, 2021 at 11:08:28 (UTC)
Goto Top
Hallo,

der Abuse von dem Laden arbeitet - vorsichtig ausgedrückt - sehr im Interesse von deren Kunden.

Ich habe mich schon so auf die SPAM-Mails von heute gefreut face-sad

Gruß,
Jörg
Member: brammer
brammer Mar 10, 2021 at 11:08:52 (UTC)
Goto Top
Hallo ,

Die Verkohlten Server aus den Racks nehmen und mal kurz mit dem Kärcher drüber.

Wasserkühlung mit integrierter Reinigung?

brammer
Member: beidermachtvongreyscull
beidermachtvongreyscull Mar 10, 2021 at 11:35:12 (UTC)
Goto Top
Ich dachte eigentlich immer, dass in einem RZ doch Brandlasten weitgehend reduziert werden sollten und mindestens eine entsprechend dimensionierte Brandlöschanlage vorhanden ist sowie geeignete Brand- und Luftschotten vorhanden sind.

Und wenn das nicht der Fall ist, nahm ich bisher immer an, dass die Feuerwehr da nicht mit Wasser rangeht.

Die Brandursache dürfte sehr interessant sein.
Member: LordGurke
LordGurke Mar 10, 2021 at 13:49:08 (UTC)
Goto Top
Zitat von @tech-flare:
Da OVH einer der größten Hoster mit weltweit ist, ist es auch nicht verwunderlich, warum gestern hin und wieder bestimmte Dienste nicht verfügbar waren.

Heute morgen gegen 07:00 Uhr hat das angefangen zu brennen, wenn da gestern Abend was ausfällt, dann bestimmt nicht deshalb face-wink
Member: tech-flare
tech-flare Mar 10, 2021 at 14:06:58 (UTC)
Goto Top
Zitat von @LordGurke:

Zitat von @tech-flare:
Da OVH einer der größten Hoster mit weltweit ist, ist es auch nicht verwunderlich, warum gestern hin und wieder bestimmte Dienste nicht verfügbar waren.

Heute morgen gegen 07:00 Uhr hat das angefangen zu brennen, wenn da gestern Abend was ausfällt, dann bestimmt nicht deshalb face-wink

Ok. Hatte anfangs gelesen in der Nacht zum Mittwoch.
Member: LordGurke
LordGurke Mar 10, 2021 at 17:19:46 (UTC)
Goto Top
Ich muss mich korrigieren. Ich hatte aus den Tweets und den Statusmeldungen von OVH den Eindruck gewonnen, dass der "Vorfall" gegen 7 Uhr einsetzte - tatsächlich war es wohl doch schon gegen 01:00 Uhr, um 07:00 Uhr war das Feuer gelöscht.
Mea culpa!
Member: tikayevent
tikayevent Mar 10, 2021 at 20:16:01 (UTC)
Goto Top
Brandschutz sind in der heutigen Zeit enorme Kosten, die man zwingend in Kauf nehmen muss, wenn Menschen betroffen sind. Im RZ wohnt nur Technik, also versucht man hier Geld zu sparen. Jeder ausgegebene Euro weniger ist ein Euro mehr Gewinn.
Am Ende ist es eine Risikoabschätzung des Unternehmens. Wenn man eine strikte Trennung aller RZ untereinander hat und das perfekte DR dazu, dann kann man ein RZ auch abfackeln lassen, aber scheinbar funktionierte das nicht so gut, wenn vier RZ betroffen sind.

Die Feuerwehr hat eine Aufgabe: Die Ausbreitung des Brandes verhindern und den Brand löschen. Bei einem Entstehungsbrand, der durch eine Brandmeldeanlage rechtzeitig erkannt wurde, würden zumindest 75% der deutschen Feuerwehren darauf achten. Sowas steht in den Objektplänen zum Teil drin und muss aber auch am Objekt kenntlich gemacht werden. Die Löschmittel musst DU als Betreiber stellen.
Ab einem gewissen Punkt ist der Feuerwehr dann aber auch alles egal, dann wird einfach alles nass gemacht und ausgeschäumt. Sind am Ende nur Sachwerte.
Nur eine Anmerkung am Rande: Brandmeldeanlagen in DE und FR werden unterschiedlich betrieben. Die Anlagen in FR arbeiten erstmal bei einer Branderkennung zig verschiedene Aufgaben ab, wie Rauchabzüge öffnen, ehe die erst nach einigen Minuten die eigentliche Alarmierung auslösen. Also wenn in DE die Feuerwehr vor der Tür steht, wissen in FR die Menschen vor Ort noch gar nichts von der Auslösung der Brandmeldeanlage.
Member: Ex0r2k16
Ex0r2k16 Mar 11, 2021 at 06:29:34 (UTC)
Goto Top
Zitat von @117471:

Hallo,

der Abuse von dem Laden arbeitet - vorsichtig ausgedrückt - sehr im Interesse von deren Kunden.

Ich habe mich schon so auf die SPAM-Mails von heute gefreut face-sad

Gruß,
Jörg

OVH ist halt ein Billigheimer für die Masse. Ich muss aber gestehen, ich habe gestern auch das erste mal von Container Racks gehört & gesehen.
Member: Lochkartenstanzer
Lochkartenstanzer Mar 11, 2021 updated at 07:38:51 (UTC)
Goto Top
Moin,


ein brennendes Rechenzentrum ist eigentlich ein Widerspruch in sich. Jedes Rechenzentrum in dem ich bisher war, hatte eigentlich kaum brennbaren Inhalt. Sowohl die Server-Hardware als auch die restliche Elektronik sind kaum brennbar und auch die Kunststoffe, die man dort hat (Kabel & Co.) sind i.d.R. schwer entflammbar oder selbstlöschend. Selbst wenn da ein Netzteil bei einem Server "durchbrennt" ist das i.d.R. eine lokale Geschichte. Da wird einfach der Server ausgetauscht und die Nachbarrechner einmal "mit einem feuchten Tuch abgewischt", weil die i.d.R. nicht "mitmachen" beim Brennen.

Zusätzlich sind in den Rechenzentren auch recht heftige Brandlöschanlagen verbaut, so daß man als Admin oder seltener Besucher Einweisungen bekommt, daß man innerhalb einer gewissen Zeit nach Losgehen eines Alarmes sofort den Raum verlassen muß, weil man ansonsten im Leichensack herausgetragen wird.

Sehr schön hat das z.B. Hadmut in seinem Blog beschrieben, der da ähnliche Erfahrungen wie ich hat.

Wenn also ein Rechenzentrum dieser Größenordnung abbrennt, ist das entweder Brandstiftung oder grobe Fahrlässigkeit seitens des Betreibers. Egal ob das jetzt ein französischer oder deutscher Betreiber ist. Im besten Fall ist das noch einfach "am falschen Ende gespart".

lks
Member: brammer
brammer Mar 11, 2021, updated at Apr 21, 2022 at 14:29:12 (UTC)
Goto Top
Hallo,

wenn man sich das Bild des ausgebrannten Rechenzentrum ansieht, dann scheinen die Außenwände zu einem großen Teil aus Kunststoff Platten zu bestehen, den die sehen aus als wenn die geschmolzen sind.
Da die geschmolzenen Platten über das gesamte Gebäude verteilt sind, hat es da entweder großflächig gebrannt oder zumindest gab es eine oder mehre hitzequellen die extrem Hitze abgegeben haben

zwischenablage01

@brammer
Member: Ex0r2k16
Ex0r2k16 Mar 11, 2021 at 08:09:28 (UTC)
Goto Top
Jep das meinte ich. Scheint sowas zu sein:

https://www.abs-intec.de/servercontainer/

Würde auch die Größe des Feuers erklären. Eine kontrollierte Umgebung sieht irgendwie anders aus.
Member: Lochkartenstanzer
Lochkartenstanzer Mar 11, 2021 at 08:15:36 (UTC)
Goto Top
Zitat von @Ex0r2k16:

Jep das meinte ich. Scheint sowas zu sein:

https://www.abs-intec.de/servercontainer/

Würde auch die Größe des Feuers erklären. Eine kontrollierte Umgebung sieht irgendwie anders aus.

Ich hatte die Servercontainer bisher nur als "Backup- & Recovery-Lösung" im Blickfeld, nicht als Ersatz für ein ordentlich gemachtes Rechenzentrum. Es wundert mich nicht, daß wenn die einfach ganz viele von denen wie ein Kind mit Lego zusammenstapeln, das nach hinten losgeht.

lks
Member: brammer
brammer Mar 11, 2021 at 08:26:48 (UTC)
Goto Top
Hallo,

@Lochkartenstanzer

abs-intec wirbt ja mit dem Satz:

Brand- und Hitzeschutz ganz einfach durch die Entfernung von anderen Gebäuden

Das geht bei einem Container, der ausreichend weit entfernt von anderen Gebäuden steht.
Aber wenn man dutzende davon nach Lego Art zusammenstapelt, dann geht das halt schief, zumindest wenn der einzige Brandschutz die Entfernung von anderen Gebäuden ist ...

brammer
Member: Ex0r2k16
Ex0r2k16 Mar 11, 2021 at 08:35:08 (UTC)
Goto Top
Auf dem Bild erkennt man ja auch gut die Leitern von aussen. An jeder Container Tür gibt es ein ein Treppengeländer. Wie bei Lego.
Klar so ein modularer Aufbau hat natürlich auch Vorteile. Macht ein Container Probleme, hebt man den eben weg und stellt einen neuen dahin. Praktisch ist es schon.

Ich frage mich ob so ein Bau hier in DE überhaupt zulässig wäre. An Baustellen sieht man sowas ja öfter. Aber bei den Anschlusswerten eines solchen Containers glaube ich eher nicht face-big-smile
Member: beidermachtvongreyscull
beidermachtvongreyscull Mar 11, 2021 updated at 08:37:45 (UTC)
Goto Top
Ein Containerbau ist durchaus zulässig. face-wink

Bei einigen meiner ehemaligen Arbeitgebern war das Gang und Gäbe.
Man sah den Gebäuden von außen nicht an, dass es Containerbauten waren. Nur wenn Du durchgelaufen bist, hast Du es bemerkt.
Member: Ex0r2k16
Ex0r2k16 Mar 11, 2021 at 08:43:54 (UTC)
Goto Top
Zitat von @beidermachtvongreyscull:

Ein Containerbau ist durchaus zulässig. face-wink

Bei einigen meiner ehemaligen Arbeitgebern war das Gang und Gäbe.
Man sah den Gebäuden von außen nicht an, dass es Containerbauten waren. Nur wenn Du durchgelaufen bist, hast Du es bemerkt.

Ich bezog mich eher auf den Brandschutz, bei der Wärme und Energie, die da durchgeht. Wenn ich das richtig sehe hat ja jeder Container auch eine autarke Klima. Heftig.
Member: beidermachtvongreyscull
beidermachtvongreyscull Mar 11, 2021 updated at 08:49:56 (UTC)
Goto Top
Ach so.

Beim Brandschutz wird's wegen der metallnen Außenhaut tatsächlich interessant. Ich könnte mir nur vorstellen, sowas einzusetzen, wenn als Brandbekämpfung Novec 1230 oder ähnliches zum Einsatz kommt. Das Zeug löscht durch Entzug von Wärmeenergie.

Und je nach eingesetzem Kältemittel in der Klima, hat man da einen zuverlässigen Brandbeschleuniger. face-big-smile

Die Klima unseres Serverraums arbeitet mit "Autogas". face-big-smile
Mitglied: 117471
117471 Mar 11, 2021 at 10:10:37 (UTC)
Goto Top
Hallo,

Lager3000 macht so etwas mit Containern.

In diesem Fall waren es vermutlich keine Container. Sonst hätte man von den separaten Brandabschnitten profitiert.

Gruß,
Jörg
Member: Fenris14
Fenris14 Mar 11, 2021 at 11:33:01 (UTC)
Goto Top
Habe sowas damals bei einem meiner ersten Jobs in Österreich ebenfalls an so einem Container-Projekt mitgewirkt. Das Hauptrechenzentrum war im Keller des Hauptgebäudes. Backupsite mehrere Meter von diesem entfernt mit Notstromaggregat. War halt günstiger, als da extra ein Haus hinzubauen. Brandschutz gab es da auch sogut wie keinen. Wurde auch nicht vorgesehen. Der Hersteller dieses Containers meinte auch gleich das diese dafür nicht ausgelegt sind.

Der Container ist auch nicht dafür ausgelegt, das dort Menschen drin arbeiten. Runtergerechnet ist es dann eben nur Materialschaden. Alles was da an Brandschutz vorgesehen war, war ein Feuerlöscher mit CO2.

Ich meine ein RZ kann man so aufbauen, das ist nicht das Problem. Solange keine Menschen direkt involviert sind. Kundendaten kann man eben dann in andere günstige Standorte replizieren/sichern. ABer scheinbar hat dies hier auch nicht funktioniert. Das Konzept, was es da vielleicht gab, hat hier versagt.

https://winfuture.de/news,121666.html

Selbst bei Kunden die wohl kein extra Backup extern geführt haben und dies durch OVH managen ließen.
Mitglied: 147669
147669 Mar 12, 2021 at 10:38:26 (UTC)
Goto Top
Man geht wohl von einer USV als Quelle für den Brand aus.
https://www.golem.de/news/cloud-hoster-ovh-vermutet-usv-als-moegliche-br ...
Member: Fenris14
Fenris14 Mar 12, 2021 at 11:10:05 (UTC)
Goto Top
Die USV wurde wohl einen Tag zuvor gewartet. Hört sich bei nach Pfusch bei der Wartung an.
Member: brammer
brammer Mar 12, 2021 at 12:06:37 (UTC)
Goto Top
Hallo,

bei uns in der Nähe hat im Sommer ein Verteilerschrank des Energieversorgers gebrannt, nachdem die Feuerwehr das gelöscht hatte, kam der Elektriker und hat lapidar festgestellt da wurde wohl einige Klemmen nicht richtig festgezogen, wodurch es wohl zu einem Lichtbogen und damit zu einem Brand kam.
Das könnte bei einer USV vermutlich genauso passieren.

Mich wundert nur dass das ganze Rechenzentrum ausgebrannt ist ...

brammer
Member: Lochkartenstanzer
Lochkartenstanzer Mar 12, 2021 at 12:16:39 (UTC)
Goto Top
Zitat von @brammer:

Das könnte bei einer USV vermutlich genauso passieren.

Natürlich.

Mich wundert nur dass das ganze Rechenzentrum ausgebrannt ist ...

Da wurde am Löschsystem gespart. Wie ich schon oben sagte. Ich kenne das in Rechenzentren so, daß man bei Brandalarm schleunigst innerhalb einer gewissen Zeit aus den betreffenden Räumen aus muß, weil die "sehr heftig löschen" (CO", Schaum, Halo, und anderes ungesundes Zeug).

Also hätte da selbst bei einem Brand einer Batterie nicht mehr passieren dürfen. Insbesondre müßten (sollten?) bei so einer Installation die USV getrennt von den Servern sein und nicht wie es bei KMUs üblich ist selben Rack stecken, gerade weil die USVs ganz andre Dimensionen haben als die "Autobatterien für Server".

lks
Member: tech-flare
tech-flare Mar 12, 2021 updated at 12:46:02 (UTC)
Goto Top
Also hätte da selbst bei einem Brand einer Batterie nicht mehr passieren dürfen. Insbesondre müßten (sollten?) bei so einer Installation die USV getrennt von den Servern sein und nicht wie es bei KMUs üblich ist selben Rack stecken, gerade weil die USVs ganz andre Dimensionen haben als die "Autobatterien für Server".
Woher weißt du das, dass die USV im selben Rack stand?
Davon abgesehen sagen sie ja selbst, dass das Bildmaterial der Überwachungskameras jetzt ausgewertet wird.

Mit den Websites, welche offline sind, weil Sie kein Backup haben, habe ich aber kein Mitleid!
Je nachdem was der Kunde gemietet hat, ist er selbst für seine Backups verantwortlich.
Bsp.: IONOS vServer : dort hat man auch kein Backup....dieses muss man extra zubuchen. Klar hat man eine relativ Hohe Verfügbarkeit, aber im Fall der Fälle ( wie jetzt bei OVH) ist man am Ar***

Das natürlich die anderen 2 RZ mit betroffen sind, ist ärgerlich und wahrscheinlich ein Designfehler.
Member: themuck
themuck Mar 15, 2021 at 10:19:22 (UTC)
Goto Top
Zitat von @brammer:
bei uns in der Nähe hat im Sommer ein Verteilerschrank des Energieversorgers gebrannt, nachdem die Feuerwehr das gelöscht hatte, kam der Elektriker und hat lapidar festgestellt da wurde wohl einige Klemmen nicht richtig festgezogen, wodurch es wohl zu einem Lichtbogen und damit zu einem Brand kam.

das Problem ist dass durch eine schlechte Verbindung der Übergangswiderstand steigt -> P = R * I², und dann wird an der Stelle eben recht viel energie in viel Wärme umgesetzt und der "Teufelskreis" beginnt.

"Interessant ist dabei generell, dass jeder Halbleiter bei Erwärmung leitender wird, weil mehr Ladungsträger freigesetzt werden. Bei einem Leiter ist es genau umgekehrt. Da nimmt die Leitfähigkeit ab, weil es nicht mehr freie Ladungsträger gibt. Aber die freien Ladungsträger stoßen bei mehr Temperatur an die Atomhüllen und das erhöht letztlich den elektrischen Widerstand."

Wenn wir aber schon alle 3 Monate bei Vollast die Wärmebildkamera in die Verteilungen halten, denke ich dass man das in einem RZ Live macht ;).
Member: Lochkartenstanzer
Lochkartenstanzer Mar 15, 2021 at 10:24:59 (UTC)
Goto Top
Zitat von @themuck:

Wenn wir aber schon alle 3 Monate bei Vollast die Wärmebildkamera in die Verteilungen halten, denke ich dass man das in einem RZ Live macht ;).


Du weißt doch, wie teuer eine Wärmebildkamera ist. Da hätten die bei OVZ nicht so billig anbieten können, wenn sie sich da eine hätten kaufen müssen.

lks
Member: brammer
brammer Mar 15, 2021 at 10:35:18 (UTC)
Goto Top
Hallo,

denke ich dass man das in einem RZ Live macht ;).

wenn man als Anbieter gesetzlich dazu verpflichtet wäre oder sowas über SLA anbieten muss... dann vielleicht...

brammer