danielb
Goto Top

Ist ECC RAM notwendig bei Verwendung von refs mit Storage Spaces und parity?

Hallo!

Ich plane gerade den Aufbau eines neuen Servers für meine Privaten Daten und Experimente. Als OS soll Server 2012 mit Hyper-V Rolle darauf laufen. Mal ganz davon abgesehen, dass man m. M. n. bei einem Server eigentlich immer ECC RAM nutzen sollte, interessiert mich, ob es zwingend notwendig ist. Als ich mich mit zfs beschäftigt habe, bin ich auf einen Artikel gestoßen, in dem sehr gut erklärt wurde, warum es bei der Verwendung von zfs als Filesystem wichtig ist mit ECC RAM zu arbeiten. Gilt das für refs in Verbindung mit Storage Spaces und parity ebenfalls? Wäre ECC RAM überflüssig, wenn man statt Storage Spaces einen Raidcontroller einsetzen würde?

Gruß
Daniel

Content-ID: 301249

Url: https://administrator.de/forum/ist-ecc-ram-notwendig-bei-verwendung-von-refs-mit-storage-spaces-und-parity-301249.html

Ausgedruckt am: 26.12.2024 um 00:12 Uhr

DerWoWusste
DerWoWusste 08.04.2016 aktualisiert um 11:53:29 Uhr
Goto Top
Hi.

Es ist nie notwendig, wohl aber empfehlenswert. Wenn Du jedoch für private Experimente Hardware suchst, würde man vermutlich keinen ECC nehmen.
Lochkartenstanzer
Lösung Lochkartenstanzer 08.04.2016 um 08:48:42 Uhr
Goto Top
Moin,

Notwendig? Nein. Zu Empfehlen? Ja.

Nach einigen Erfahrungen mit (ein bischen) kaputtem RAM, gehe ich imme rmehr dazu über, auch im privaten bereich ECC_RAm einzusetzen, wenn möglich und angebracht. Die Daddelkiste der Kinder braucht keinen. Aber der Bürocomputer, mit dem wichtige Dokumente bearbeitet und auch Datenbanken ggf betroffen sind soltle welchen haben. Und das Datengrab sollte auf jeden Fall welchen haben, weil man solche fehler nicht sofort merkt und es zu spätesein kann, wenn der fehler auffällt. Da hilft dann auch ein korrumpiertes backup nicht mehr.

Un der RAIDController udn auch das ZFS hilft nicht mehr, wenn aus dem RAM verfälschte Daten kommen, denn die können den Daten nicht ansehen, was hätte korrekt sein sollen.

Dahre ist meine Empfehlung. Nimm immer ECC-RAM, wenn möglich.

lks
127103
Lösung 127103 08.04.2016 um 09:22:05 Uhr
Goto Top
Hallo,

für den Betrieb ist ECC weder bei ZFS noch bei ReFS notwendig (im Sinne von ohne gehts nicht).
Wie du natürlich richtig sagst, macht es aber ohne ECC RAM bei ZFS kaum Sinn, da das Filesystem quasi blind darauf vertraut dass die Daten aus dem RAM korrekt sind. Im schlimmsten Fall "korrigiert" ZFS den zpool mit den kapuuten Daten aus dem RAM.
Soweit ich das sehe ist ReFS nicht ganz so empfindlich (weniger per se Vollauslastung des RAM) sollte aber auch mit ECC wesentlich sicherer laufen. Wenn du einen Raid Controller nutzt (Hardware) hat das anscheinend den Vorteil das dieser selbst immer ECC speicher zum pipen an die Platten verwendet. Ob das ausreicht um Fehler aus dem RAM zu erkennen weiß ich nicht. Internet sagt "ja". Software RAID sollte auf jedenfall gar nix bringen. Aber wenn ein RAID da ist, wieso dann überhaupt noch ZFS oder ReFS? face-wink

Gut wäre zu wissen was es für ein Server ist.

Gruß c
DanielB
DanielB 08.04.2016 um 09:22:18 Uhr
Goto Top
In dem Zusammenhang fällt mir gerade noch etwas anderes ein. Eigentlich wollte ich die wichtigsten Daten regelmäßig über Netzwerk auf ein NAS sichern. Da die preiswerten Consumer-NAS i. d. R. keinen ECC RAM verwenden, ist das ja kontraproduktiv. Entsprechend wäre doch eigentlich nur ein Backup auf eine USB-Platte sinnvoll. Oder?
Lochkartenstanzer
Lochkartenstanzer 08.04.2016 um 09:35:52 Uhr
Goto Top
Zitat von @DanielB:

In dem Zusammenhang fällt mir gerade noch etwas anderes ein. Eigentlich wollte ich die wichtigsten Daten regelmäßig über Netzwerk auf ein NAS sichern. Da die preiswerten Consumer-NAS i. d. R. keinen ECC RAM verwenden, ist das ja kontraproduktiv. Entsprechend wäre doch eigentlich nur ein Backup auf eine USB-Platte sinnvoll. Oder?


Um dir einen Anhaltspunkt z ugeben, wie oft fehler vorkommen: http://www.heise.de/newsticker/meldung/Hauptspeicherfehler-sehr-viel-ha ...

Ist zwar ein paar Jahre alt, aber da die Strukturen kleiner geworden sind, hat sich das sicher nicht wesentlich gebessert.

Ob man nun Consomer NAS nimmt oder nicht, ist einfach eine Frage des Wertes der Daten. Kann man damit leben, wenn in der MP3-Sammlung ein paar Bits gekippt sind oder nicht?

lks
DanielB
DanielB 08.04.2016 um 09:49:01 Uhr
Goto Top
Mir gefallen die Möglichkeiten von refs und Storage Pool. Auf einen Hardware-RC wollte ich auf Grund des Preises und der Probleme bei Ausfall des Controllers eigentlich verzichten. Wenn ein RAM-Fehler bei Einsatz eines RC zu vernachlässigen wäre, sieht das natürlich wieder ganz anders aus. Da es ein Hyper-V Server werden soll, will ich auch mind. mit 16GB RAM arbeiten und ECC ist ja doch etwas teurer als normaler RAM. Ohne ECC habe ich bereits passende Hardware da. Nur leider ist das MB (Intel DQ77KB) kein richtiges Server-MB und unterstützt daher keinen ECC RAM.

Den Server gibt es bisher noch nicht, da ich noch in der Planungsphase bin. Darum auch die Überlegungen zum ECC RAM.
DanielB
DanielB 08.04.2016 um 09:57:14 Uhr
Goto Top
Wenn bei der Musiksammlung Bitfehler auftreten, ist mit das egal. Außerdem ist es mit iTunes ja auch kein Problem sich die Dateien neu zu laden. Aber bei Fotos ... hier kann ein einziges fehlerhaftes Bit ja bereits das ganze Foto zerstören. Zusätzlich plane ich den gesamten privaten Papierkram zu digitalisieren. Hier können Fehler m. M. n. auch verheerende Folgen haben.

Den Link werde ich mir mal anschauen.


Daniel
Lochkartenstanzer
Lochkartenstanzer 08.04.2016 um 10:01:26 Uhr
Goto Top
DanielB
DanielB 08.04.2016 um 10:07:57 Uhr
Goto Top
Die c´t liegt sogar noch hier auf meinem Schreibtisch. Hab bisher noch nicht reingeschaut. Werde ich gleich mal nachholen. face-smile
DerWoWusste
DerWoWusste 08.04.2016 aktualisiert um 10:48:45 Uhr
Goto Top
Da die preiswerten Consumer-NAS i. d. R. keinen ECC RAM verwenden
Auch die Enterprise-NAS (z.B. QNAP, siehe https://www.qnap.com/i/en/product/model.php?II=183&event=2 ) verwenden oft keinen ECC. Nun sag mir mal, wie wichtig ECC sein kann.
Lochkartenstanzer
Lösung Lochkartenstanzer 08.04.2016 aktualisiert um 11:11:00 Uhr
Goto Top
Zitat von @DerWoWusste:

Nun sag mir mal, wie wichtig ECC sein kann.


Ob für jemanden ECC-RAM wichtig ist oder nicht, ist nicht davon abhängig, ob der Hersteller in sein Profi-NAS ECC-RAM einbau oder nicht, sondern ob man selbst das Risiko einer unerkannten Datenveränderung in Kauf nehmen will oder nicht.

Betrachtet man z.B. diesen Artikel so sieht man, daß bei ECC-RAM Fehler sich darin äußern, daß das System nicht läuft. Bei non-ECC hat man ggf. ein instabiles System, das Daten korumpiert.

Wenn man Strategien hat, dies zu entdecken und ggf. aus dem Backup wieder zu restaurieren, ist das unproblematisch. Wenn aber das NAS selbst das Backup sein soll, was leider viele KMUs so sehen, hat man ein Problem.

lks
DerWoWusste
DerWoWusste 08.04.2016 aktualisiert um 11:18:00 Uhr
Goto Top
Bei non-ECC hat man ggf. ein instabiles System, das Daten korumpiert.
Es geht immer um die Quantität. Habe ich als Privatperson ein Aufkommen von x Dokumenten, die einen Wert y haben und eine Ausfallwahrscheinlichkeit z1 bei non-ECC und z2 bei ECC, dann kann ich mir sehr schön ausrechnen, ob sich die Mehrkosten für ECC rechnen. Haben wir diese Werte? Natürlich nicht. Können einem die ach so schlauen Studien und Papers diese Werte liefern? Natürlich nicht einmal ansatzweise.
Wer es sich leisten kann, nehme ECC. Wenn es private Daten sind, halte ich das für maßlos übertrieben.
DanielB
DanielB 08.04.2016 um 11:18:31 Uhr
Goto Top
Gerade das finde ich ziemlich erschreckend. Spart der Hersteller bzw. der Endkunde hier nicht am falschen Ende? Vielleicht bin ich momentan etwas sensibel, was das Thema ECC und Datengrab betrifft. Aber was man zu dem Thema so im Netz findet. face-sad
Klar ... für die mp3- und Filmsammlung ist das zu vernachlässigen. Aber bei Fotos finde ich es schon ein wenig riskant. Es hat mich bisher zwar auch noch nicht gekümmert, aber seit ich um die Probleme weiß ...
DerWoWusste
DerWoWusste 08.04.2016 aktualisiert um 11:54:40 Uhr
Goto Top
Was ist denn erschreckend? Der 2009er Heiseartikel schreibt:
Pro Jahr trat bei rund einem Drittel aller Server beziehungsweise bei 8 Prozent aller DIMMs mindestens ein korrigierbarer Fehler auf. Dieses Ergebnis liegt um ein Mehrfaches höher als von bisherigen Laborstudien und Untersuchungen zu weniger Maschinen bekannt. Die jährliche Rate nicht korrigierbarer Fehler, die üblicherweise zum Absturz oder zum Herunterfahren des Servers führen, betrug 1,3 Prozent pro Server beziehungsweise 0,22 Prozent pro DIMM.
"Mindestens" ein Fehler Pro Jahr. Was wird das bedeuten? "Mindestens" ein Dokument defekt von 1 Million? "Mindestens" ein Absturz? Ein wichtiges Geschäft nicht zu Stande gekommen? Es ist nicht messbar.

Ich habe dir die QNAP-Seite mit Enterprise-NAS, wo wirklich massenweise Daten durchgehen, verlinkt. Warum glaubst Du, bietet QNAP da keinen ECC an? Sie könnten doch bei Enterprisekunden erwarten, dass die ECC wollen und bereit sind, die lumpigen 100€ mehr auszugeben?
SamvanRatt
SamvanRatt 08.04.2016 um 13:23:40 Uhr
Goto Top
Hi DerWoWusste
das Problem liegt da nicht bei 100EUR sondern den 2EUR die das mehr kostet. Bei 10.000 Kunden ist das ein Vorstandsmeeting wert ob man es einsparen soll und auch wird da es schwer argumentierbar ist: kann halt vorkommen. Bei intelligenten SDS spielt das sehr wohl ein Rolle, da würde ich aber QNAP nicht mal mit der Beißzange anfassen. ENT Speicher ist Huawei, Hitachi, Fujitsu, EMC, IBM, Netapp, also recht überschaubar und die verwenden nicht nur ECC sondern "Advanced" um auch Multibit Fehler sehen und zu korrigieren.
Klar sollte man die Kirche im Dorf lassen, aber wenn der CRC beim ZFS falsch ist zerstört er dir die Daten, wegen einem Bit Fehler. Da hilft kein RAID sondern nur Redundante Datenablage/Archivierung. Dummerweise brauchst du dann auch passende CPU/Mainboard dazu. Im Kleinumfeld ist das schwer umzusetzen.
Gruß
Sam
DerWoWusste
DerWoWusste 08.04.2016 aktualisiert um 13:39:42 Uhr
Goto Top
Mensch, wo führt diese Diskussion noch hin?
Der Fragesteller sorgt sich wie folgt: "bei Fotos finde ich es schon ein wenig riskant". Aber hat der Fragesteller auf allen Geräten, auf denen er Fotos lagert inklusive der Kamera selbst, denn ECC? Natürlich nicht. Die Sorgen sind vollkommen übertrieben. Es ist besser, ECC zu haben und alle Jubeljahre kommt auch mal vor, dass es Defekte verhindert. Aber Privatanwender-Spielserver mit ECC? Never ever.
DanielB
DanielB 11.04.2016 um 23:13:35 Uhr
Goto Top
Tja. So genau kann man es wohl nicht sagen. Es scheint eine kleine Glaubensfrage zu sein. Letztendlich muss wohl jeder selbst entscheiden, ob er mit dem Restrisiko leben kann. Über kurz oder lang werde ich wohl doch auf ECC setzen. Ich möchte meiner Holden nicht erklären müssen, warum die Fotos irgendwie doch kaputt gegangen sind, obwohl ich doch immer so viel Geld in den "Computerkram" stecke. :D

Allem Anschein nach ist refs aber weniger anfällig für RAM-Fehler als ZFS, weil die Daten sofort auf die Platte geschrieben werden und nicht wie bei ZFS 30 Sekunden im RAM gehalten werden.

Hier habe ich noch einen schönen Artikel zu dem Thema gefunden: http://arstechnica.com/information-technology/2014/01/bitrot-and-atomic ...
Lochkartenstanzer
Lochkartenstanzer 11.04.2016 um 23:31:37 Uhr
Goto Top
Appropos Filesystemstabilität:

http://events.linuxfoundation.org/sites/events/files/slides/AFL%20files ...

ext4 scheint da am stabilsten zu sein. face-smile

lks
SamvanRatt
SamvanRatt 12.04.2016 aktualisiert um 07:28:58 Uhr
Goto Top
Hallo Daniel
wie DerWoWusste im ersten Reply geschrieben hat: notwendig nein, sinnvoll ja. Sobald du Caching nutzt ist die Konsistenz der Daten wichtig. ZFS verläßt sich gerade in seinen Tables von den Hashes voll auf diese. Mit einem passenden CPU und ECC kann er dies sicherstellen (was ihn immer noch vor das Problem der URE stellt, was ich aber noch recht entspannt sehe denn da greifen RAID Mechanismen).
Häng an das Feature (MB+CPU+RAM müssen die Sicherheit ja jeweils können) einfach ein Preisschild dran und entscheide dann ob es dir's wert ist. Genügend Unglücksfälle gibts super dokumentiert; das sind aber nur die Schadensfälle und nicht die 99,96% welche Fehlerfrei durch ihren Lifecycle durch gehen, sprich DerWoWusste hat da schon seinen Punkt face-smile
Ebenso solltest du an USV denken; nicht geschriebener Cache, oder fragmentarisch geschriebener macht immer die schönen "bunten" fsck oder chkdsk Bootscreens. Einfach Preisschild und dann entscheiden.
Gruß
Sam
SamvanRatt
SamvanRatt 12.04.2016 um 07:56:32 Uhr
Goto Top
Hallo DerWoWusste
du hast keine Vorstellung wie viele (sind so 15 Stück jede Woche, meist MultiBays) Consumer NAS von Endkunden ich jede Woche hier habe. Einzelne HDs (optische und Tapemedien mache ich nicht) immer seltener. Am erstauntesten sind alle MultiBay Besitzer auf (Soft)RAID5+ Basis: "da darf doch nichts kaputt gehen". Da sind wohl seltenst RAM Fehler (gegen HD Fehler) mit drinnen, aber die wenigsten sind so dicke (Gedanken)Brocken wie BTRFS oder ZFS, welche ja Hierachische Strukturen abbilden und ein recht komplexes System mitbringen ganz im Vergleich zu ext. Die dicken SAN/NAS Systeme welche ich oben genannt habe sind da selten aufwendiger gestaltet und haben bis auf Hotspotsvermeidung wenig mehr Komplexität, welche natürlich komplett im RAM gehalten wird um Performance zu erhalten. Damit ist bei gleichen Features ZFS keinen deut anfälliger für Bitrotting wie ext4 oder NTFS, nur der Speed geht bei ZFS halt schnell runter wenn man ihm seine Caches weg nimmt. Sofern Dedup aktiv ist, kannst du Durchsatz vergessen sofern er nicht seine MagicNumber (=Hash) Tabelle im RAM halten darf.
Daher finde ich deine Erstantwort sehr sinnvoll: notwendig nein, sinnvoll ja unabhängig vom Einsatzgebiet.
Wie bei RAID kann sein das die Members ihren ganzen Lebenszyklus einwandfrei durchlaufen und man mit RAID mehr Probleme (Overhead, Kosten, ...) hatte als benötigt wurden, ABER man kann sich gegen einen Fehler schon als gewappnet sehen, was recht ruhig schlafen lässt. Noch schlimmer finde ich das (Consumer) unwissen über Datensicherheit. Daher finde ich das Für&Wider in dem Thread schon sehr sinnig aufgeführt zu haben
Gruß
Sam