lordgurke
Goto Top

Die Gefahr von NAS-Festplattenbundles

Hallo,

der eine oder andere wird beim Kauf einer Festplatte sicherlich schonmal über Bundle-Angebote gestolpert sein, bei denen man direkt zwei oder vier Festplatten als Set für sein NAS bekommt - z.B. "4x WD Red 2TB".
Das ganze üblicherweise zu einem vergleichsweise guten Kurs, so dass man für das heimische NAS durchaus zugreift.

Das habe ich auch getan und dabei eine Grundregel für den Zusammenbau eines RAID missachtet: Mische unterschiedliche Festplatten!
Zu Hause ist dann geiz doch geiler als Datensicherheit face-sad

Warum ist das so gefährlich?
Nunja, mir sind zwischen Freitag und Samstag zwei von vier Festplatten gestorben, womit mein RAID 5 jetzt "über die Wupper" ist.

Eigentlich ist das auch logisch: Die Festplatten sind allesamt baugleich und haben demzufolge identische Lebenserwartungen und damit eine höhere Wahrscheinlichkeit gleichzeitig auszufallen.
Das, was mir hier gerade passiert ist, ist zwar immer noch relativ selten - aber jetzt werde ich zukünftig doch Seagate und WD mischen. Die gibt es immerhin auch als Zweier-Bundles zu guten Preisen.
Mischt man zwei Hersteller haben die Festplatten normalerweise unterschiedliche MTBF und man reduziert die Gefahr dass durch einen Serienfehler sehr viele Festplatten zeitgleich ausfallen.
Diese Gefahr dürfte übrigens auch bei Servern von Herstellern wie Dell oder HP real sein, wenn diese mit Festplatten ausgeliefert werden!

Wer die Geräusche einer dahin siechenden Festplatte übrigens schon spannend findet müsste mal vorbeikomnen um zu erleben wie sich zwei dahin siechende Festplatten gleichzeitig anhören face-wink
Naja: Schlaua durch Aua - ich gehe dann jetzt mal 4,7 TB Daten restoren...


Bevor jetzt "Als Admin weiß man sowas doch!" kommt: Klar weiß ich das. Ich hielt das nur für dermaßen unwahrscheinlich, dass ich das Risiko für mein kleines NAS zu Hause eingegangen bin.
Für produktive Server mische ich selbstverständlich Hersteller und Produktserien face-wink

Content-Key: 289640

Url: https://administrator.de/contentid/289640

Printed on: April 16, 2024 at 15:04 o'clock

Member: Lochkartenstanzer
Lochkartenstanzer Nov 29, 2015 updated at 15:10:55 (UTC)
Goto Top
Zitat von @LordGurke:

Mischt man zwei Hersteller haben die Festplatten normalerweise unterschiedliche MTBF und man reduziert die Gefahr dass durch einen Serienfehler sehr viele Festplatten zeitgleich ausfallen.

Die MTBF ist ein statistischer Wert. Selbst bei gleicher MTBF ist es normalerweise extrem unwahrscheinlich, daß von zwei Platten beide fast gleichzeitig ausfallen. Die Ursache für den gleichzeitigen Ausfall ist eher, daß die aus der gleichen Produktionscharge stammen und daher vermutlich identisch im Alterungsverhalten sind. Wenn die nun auch identisch beansprucht werden, ist die wahrscheinlichekti recht groß, daß sie kurz hintereinander ausfallen. Man kann durchaus Platten mit gleicher MTBF oder gleichen Fabrikates nehmen, wenn man darauf achtet, daß die ncith aus derselben Produktionscharge sind oder die Beanspruchung unetrschiedlich gestaltet.

lks

PS: Backups sind für Feiglinge! face-smile

PPS: Diese Erfahrung macht fast jeder Admin irgendwann einmal auf die "harte" Tour. face-smile
Member: gifox
gifox Nov 29, 2015 at 18:33:35 (UTC)
Goto Top
Leider ist mir das in der Vergangenheit auch schon 2 mal passiert, jeweils 2 von 4 baugleichen Festplatten nach ca 1 1/2 Jahren bzw. ca 2 1/2 Jahren innerhalb weniger Stunden "gestorben" Seitdem mische ich auch Festplatten verschiedener Hersteller.
Habe von diesem "Phänomen" schon öfters gelesen....
Member: kaiand1
kaiand1 Nov 29, 2015 at 18:50:49 (UTC)
Goto Top
Ich hatte bisher Glück das so noch kein Verlust hatte..
Aber für ein zb Raid 1 würd auch nur 2 Verschiedene Hersteller nehmen.
Es kann immer mal beim Hersteller eine Produktionbsreihe Fehlerhaft sein...
Zwar haben die meisten Platten das selbe Innenleben wodurch auch da vom Hersteller ggfs was sein kann aber das Risiko der gleichen Charge ist so sehr gering...
Kollege hatte aber das auch das von einen Herstller innehralb von 2 Wochen 6 Platten gestroben sind waren alle aus der selben Baureihe aber unterschiedlich Belastet...
Member: Dilbert-MD
Dilbert-MD Nov 29, 2015 at 22:22:12 (UTC)
Goto Top
Gleiche Charge hat sich bei mir dadurch erledigt, dass eine von 2 gelieferten Festplatten (separat zum NAS-Gehäuse bestellt) schon vor der Inbetriebnahme defekt war und durch eine Ersatzlieferung ersetzt wurde.

Lord, Wie lang war die Lebensdauer bei Deinen Platten? Ab wann muss ich aufpassen und noch öfter bäckappen.
Bind auch so ein Schuster mit schlechten leisten....

Gruß
Holger
Member: hendrix3er
hendrix3er Nov 30, 2015 at 08:54:37 (UTC)
Goto Top
Hallo,

ich habe gerade bei Softwarer-RAIDs öffter die Erfahrung machen dürfen, dass Festplatten unterschiedlicher Hersteller den RAID-Verbund als solches instabiler machen. Z.B. ist mir ein Server nach ausfall einer Festplatte im RAID1 erstmal abgestürzt und kam dann aber auf der überlebenden Platte wieder hoch. Die andere ist den klassischen Hardwaretot durch Elektronikschaden (hitze oder sonstiges) gestorben. Jedenfalls ging mit der Platte gar nichts mehr!

Die besten Erfahrungen habe ich gemacht Festplatten des gleichen Herstellers und Types mit nahe bei einander liegenden Firmwareversionen oder wenn stabil mit gleichen Firmwareversionen und immer aus unterschiedlichen Chargen zu verwenden. Die Seriennummer sollte ruhig mehrere Versionen auseinander liegen. (Damit meine ich nicht 10 oder 20.Versionen Festplatten sind Massenware! Ein paar huntert dürfens sein!)

Da ich auch zu den paranoiden Administratoren gehöre sichere ich meine Daten regelmäßig.
Zusätzlich lege ich hohen Wert auf qualitativ hochwertige Medien für den Enterprise-Einsatz wenn es um den Dauerbetrieb und wichtige Daten geht.

Enterprise Platten (SATA oder NL-SAS) sind nicht so viel teurer als die Spielzeugfestplatten für zu Hause und sie leben wesentlich länger.
Spätestens wenn die Enterprise-Festplatte nach drei bis vier Jahren kaputt geht und manch eine Desktopfestplatte um das mehrfache überlebt hat, rechnet sich das ganze.

Bitte jetzt keine Diskusion über die Lebenserwartung von Festplatten aufgrund meiner Aussage, es gibt sehr viele Faktoren von denen diese abhängt!
Mir sind auch schon neue Enterprisefestplatten gestorben nachdem ich sie gerade in den Server geschoben hatte und meine älteste immer noch funktionsfähige Desktopfestplatte dürfte ca. 25 Jahre jung sein und liegt in einer Schublade.


Mit freundlichen Grüßen
Member: LordGurke
LordGurke Nov 30, 2015 at 23:46:35 (UTC)
Goto Top
Zitat von @hendrix3er:
ich habe gerade bei Softwarer-RAIDs öffter die Erfahrung machen dürfen, dass Festplatten unterschiedlicher Hersteller den RAID-Verbund als solches instabiler machen. Z.B. ist mir ein Server nach ausfall einer Festplatte im RAID1 erstmal abgestürzt und kam dann aber auf der überlebenden Platte wieder hoch.

Das ist m.M.n. weniger ein Problem der Festplatten als eines der SATA-Controller oder Backplanes. Gerade bei eher günstigen Chipsätzen ist das AHCI-Hotplug nur so mittelmäßig gut implementiert, so dass beim Verschwinden einer Festplatte das System einfriert oder z.T. auch Kernel-Panic wirft.

Zitat von @Dilbert-MD:
Lord, Wie lang war die Lebensdauer bei Deinen Platten? Ab wann muss ich aufpassen und noch öfter bäckappen.
Bind auch so ein Schuster mit schlechten leisten....

Exakt kann ich das garnicht sagen, aber auf den Festplatten ist keine Herstellergarantie (in dem Fall zwei Jahre) mehr drauf.
Ich meine aber, dass ich die Festplatten vor etwa drei Jahren gekauft habe. Momentan versuche ich die Rechnung wieder zu finden...
Member: Dr.EVIL
Dr.EVIL Dec 02, 2015 updated at 15:55:16 (UTC)
Goto Top
Den Effekt, das zwei Platten in einem RAID5 ausfallen, durfte ich bereits mehrfach "geniessen"...
Grund dafür ist aber m.M. nicht die statistisch geringe Wahrscheinlichkeit, das zwei Platten nach etwa der genau gleichen Anzahl von Betriebsstunden ausfallen, sondern die verwendeten "Nearline" Festplatten.
Sollte in einem RAID-Verbund eine Platte ausfallen und ein Rebuild gestartet, müssen die verbliebenen Platten nicht nur die gesamte Last übernehmen, sondern werden zudem durch die Wiederherstellung des RAID Verbundes belastet!
Wenn so eine 7.200U/min LFF Platte ein paar Jahre langsam vor sich hin werkelte, ist die Gefahr groß, das sie diese plötzliche Belastung nicht mehr verkraftet und im unpassensten Augenblick ausfällt... Zudem dauert die Zeit, bis bei einer langsamen SATA Platte mit einigen TB, die Daten wieder hergestellt sind, mitunter einige Tage. In dieser Zeit ist das RAID "degraded" und damit schutzlos.
Dagegen hilft, ausser der Verwendung von teuren "Enterprise" 10k/15k SAS Platten, imho nur RAID6 (oder auch RAID DP, RAID5 ADG), bei dem zwei Platten gleichzeitig ausfallen können!
Aber dazu ist ein nur aus 4 Platten bestehendes NAS eigentlich zu klein.
Daher kann man nur zu regelmäßigen Datensicherungen raten und solche preiswerten "NAS Boxen" aus dem professionellen Umfeld fernhalten...
Member: hendrix3er
hendrix3er Dec 02, 2015 at 16:28:04 (UTC)
Goto Top
Hallo,
es gibt auch Enterprise NL-SAS bzw. SATA-Platten welche ebenfalls eine hohe Haltbarkeit aufweisen. Es handelt sich dann aber nicht um NAS- oder 24/7 geeignete Platten sondern um Enterprise Platten welche für den Unternehmenskritischen Einsatz gedacht sind. Die gibts natürlich nicht bei den einschlägig bekannten Elektro-Märkten.

Vg
Hendrik
Member: Dr.EVIL
Dr.EVIL Dec 03, 2015 at 08:58:41 (UTC)
Goto Top
...Wobei ich "hohe Haltbarkeit" selbst bei solchen Platten für relativ halte.
Im Vergleich zu entsprechenden "Enterprise-Class" 10k Platten sindsie immer noch recht empfindlich.
Die ersten fallen nach meinen Erfahrungen nach ca 3-4 Jahren "belasteten Dauerbetrieb" aus, während entsprechende 10K SAS Platten gut und gerne 6 Jahre "überleben".

Aber das ist eine andere Welt, als die hier diskutierten "WD-Red" Platten für SoHo NAS Komponenten.
Hier kostet eine einzelne 2TB Platte (Listenpreis) zumeist mehr als die gesamte "Qnap" Lösung mit 4x4TB...

Datensicherheit ist nun mal nicht zum "Taschengeldpreis" erhältlich...
Member: LordGurke
LordGurke Dec 03, 2015 at 23:22:10 (UTC)
Goto Top
In meinem Fall habe ich da auch nur Kopien von Daten drauf abgelegt. Im Grunde ist mir gerade mehr oder weniger egal, dass das RAID hinüber ist, denn mir gehen dadurch keine Dateien verloren. Lediglich das Neubetanken ist jetzt halt etwas nervig, aber für den Preis durchaus hinnehmbar face-wink
Und diesmal habe ich nun auch die defekten WD Red durch Seagate NAS-Platten ausgetauscht, um wieder die Herstellermischung zu haben.
Member: emeriks
emeriks Jan 02, 2016 at 19:41:10 (UTC)
Goto Top
Hi,
bei RAID Gruppen mit Platten >= 1TB kann ich sowieso nur empfehlen, RAID 6 zu verwenden. Damit kompensiert man das Risiko, dass das RAID im Falle eines Ausfalls einer Platte zu lange für dien Wiederaufbau des RAIDs benötigt. Weiterhin ist die Bereitstellung einer Spare Platte zu empfehlen.

Selbst im Enterprise-Bereich hatten wir schon "Reihen-Ausfälle" mehrerer Platten aus einer Lieferung. Da unterscheiden sich SAN Anbieter wie HP, EMC oder NetApp überhaupt nicht. Es ist auch egal, was das für Platten sind. Selbst mit FC-Platten, welche ja als Top-Level gelten, kann das passieren. Dumm gelaufen ...

Dafür gibt es dann Backups oder gar komplette Redundanzen (Spiegel, Live-Kopien, Schatten-Instanzen, ....)

Das mit den verschiedenen Platten von verschiedenen "Herstellern" halte ich für vertane Liebesmüh, da es eh bloß ein paar Hersteller auf der Welt gibt und die ganzen "großen" Marken ihr Platten auch bloß von dort gelabelt bekommen.
Member: hendrix3er
hendrix3er Jan 02, 2016 at 20:16:39 (UTC)
Goto Top
Hallo,

das kann ich so unterschreiben. Ich habe bisher mit Festplatten unterschiedlicher Hersteller im selben RAID mehr Probleme gehabt als mit Platten vom gleichen Hersteller. Allerdings sind mit die Platten aus unterschiedlichen Chargen deutlich seltener gleichzeitig Abgeraucht.
Bei den Enterpriseherstellern habe ich noch niemals einen Ausfall des Systems erlebt weil mehrere Platten in einem RAID abgeraucht sind. Einzige Ausnahmen waren hier Systeme die so lange ohne Support (und ohne Monitoring) liefen bis eine Platte zuviel ausgestiegen war!

Es geht nichts über ein Backup und je nach anforderung über ein abgerundetes DR-Konzept.


Mit freundlichen Grüßen
Member: Dr.Bit
Dr.Bit Feb 04, 2016 at 07:39:16 (UTC)
Goto Top
Hi,

ich umgehe das Problem der ausfallenden Platten indem ich die Platten generell alle 2 Jahre tausche. Hat sich bisher bewährt. Bisher wollte das nur ein Kunde nicht, tja hätte er mal auf uns gehört, dann hätten wir nicht alles aus der Datensicherung wieder herstellen müssen. Das Problem bei gleichen Chargen hatten wir noch nicht, aber wir tauschen ja auch rechtzeitig.

LG
Stephan
Member: kaiand1
kaiand1 Feb 04, 2016 at 10:42:06 (UTC)
Goto Top
Nun bei nen Raid sollte es ja so sein das mind 1 Platte Ausfallen darf ohne das es Probleme gibt.
Aber da ja leider immer wieder Sparmaßnahmen kommen werden halt die Teile bis zum kompletten Ausfall genutzt.
Member: Dr.EVIL
Dr.EVIL Feb 04, 2016 at 13:07:59 (UTC)
Goto Top
Dies ist natürlich eine sehr "luxeriöse" vorgehensweise...
Das dies ein Kunde nicht akzeptiert hat kann ich gut nachvollziehen.
Aber warum musste er alles aus einer Datensicherung wiederherstellen?
Wurde nicht mit RAID50 oder RAID60 mit mehr RAID Gruppen gearbeitet?
Warum wurde kein System mit Wide-Striping verwendet?
Wieso hat das Storage den Ausfall nicht z.B. über SMART (idealerweise) rechtzeitig vorhergesehen und hat per Mail oder Online den Support informiert?
War nicht einmal eine HotSpare Platte vorhanden, die in diesem Fall automatisch eingesprungen wäre?

Ich denke, mit einem professionellen Storage System wäre der Kunde besser bedient worden, als ständig neue Platten kaufen zu müssen und auf deren Rebuild zu warten...

Die Investitionskosten sind natürlich ein wenig höher - Nach einem solchen Datenverlust aber begründbar!
Member: LordGurke
LordGurke Feb 04, 2016 at 22:33:40 (UTC)
Goto Top
Das einzige was ich regelmäßig auf Verdacht tausche sind USV-Akkus.
Nicht nur weil der Hersteller es dringend empfiehlt sondern auch, weil tatsächlich nach so ca. 2½ Jahren die Akkupacks wirklich rapide an Zuverlässigkeit verlieren und spätestens nach drei Jahren die ersten Packs mit defekten Akkus Alarm geben.

Für Festplatten habe ich das bisher nie gemacht - weder privat noch im Rechenzentrum. Dafür hat man ja RAID-Systeme. Optimalerweise halt mit verschiedenen Herstellern um unterschiedliche Ausfallzeitpunkte zu haben, sonst halt wenigstens mit Hot-Spare-Festplatte.

Ich habe hier Storage-Systeme mit 24 Bays (also ordentlich Vibration) in denen Enterprise-Festplatten stecken. Die haben seinerzeit bei 250 GB Kapazität zwar um die 200 € das Stück gekostet, davon ist bis heute aber auch nur eine einzige kaputt gegangen. Die Festplatten haben inzwischen eine Betriebszeit von über fünf Jahren und freuen sich laut SMART-Daten bester Gesundheit.

Dass ich allerdings zu Hause in mein privates NAS nicht für knapp 2.000 Euro Festplatten hineinstecke, ist davon ja ganz unabhängig face-wink
Member: Dr.Bit
Dr.Bit Feb 05, 2016 at 16:56:33 (UTC)
Goto Top
Echt? Zu Hause nicht? Versteh ich gar nicht face-smile
Member: Dilbert-MD
Dilbert-MD Feb 16, 2016 at 13:21:18 (UTC)
Goto Top
Zitat von @Dr.EVIL:
Wurde nicht mit RAID50 oder RAID60 mit mehr RAID Gruppen gearbeitet?
Warum wurde kein System mit Wide-Striping verwendet?
Die Investitionskosten sind natürlich ein wenig höher - Nach einem solchen Datenverlust aber begründbar!

Wenn die Anforderungen an das Speichersystem so hoch sind (Performance, Speicherplatz, ...), kann man über eine solche Lösung sicher nachdenken.

Wenn aber aufgrund der Nutzerzahl, der Datenmenge und der Art und Weise der Zugriffe zum Beispiel ein RAID 1 vollkommen ausreicht, dann sehe ich einen 'geplanten' Plattenwechsel alle X,y Jahre auch als gerechtfertigt an. Zumal ich dabei auch noch weitere Vorteile hineininterpretieren kann, wie z.B. die Ausführung in der Urlaubszeit oder Ende Dezember, Einlagerung der ausgetauschten Platten im Safe oder Weiternutzung auf betrieblich unkritischen Systemen, ...

Ich würde - sofern passend - eine geplante Lösung bevorzugen, und selbst die kann schon gestört werden, weil irgend etwas dazwischenkommt ((bin grad' mittendrin in einer solchen)) und ein ungeplanter Ausfall kommt gemäß Murphy immer ungelegen....

Gruß
Holger
Member: Dr.Bit
Dr.Bit Feb 16, 2016 at 18:01:56 (UTC)
Goto Top
Seh ich genauso.

LG
Stephan