Ist ECC RAM notwendig bei Verwendung von refs mit Storage Spaces und parity?
Hallo!
Ich plane gerade den Aufbau eines neuen Servers für meine Privaten Daten und Experimente. Als OS soll Server 2012 mit Hyper-V Rolle darauf laufen. Mal ganz davon abgesehen, dass man m. M. n. bei einem Server eigentlich immer ECC RAM nutzen sollte, interessiert mich, ob es zwingend notwendig ist. Als ich mich mit zfs beschäftigt habe, bin ich auf einen Artikel gestoßen, in dem sehr gut erklärt wurde, warum es bei der Verwendung von zfs als Filesystem wichtig ist mit ECC RAM zu arbeiten. Gilt das für refs in Verbindung mit Storage Spaces und parity ebenfalls? Wäre ECC RAM überflüssig, wenn man statt Storage Spaces einen Raidcontroller einsetzen würde?
Gruß
Daniel
Ich plane gerade den Aufbau eines neuen Servers für meine Privaten Daten und Experimente. Als OS soll Server 2012 mit Hyper-V Rolle darauf laufen. Mal ganz davon abgesehen, dass man m. M. n. bei einem Server eigentlich immer ECC RAM nutzen sollte, interessiert mich, ob es zwingend notwendig ist. Als ich mich mit zfs beschäftigt habe, bin ich auf einen Artikel gestoßen, in dem sehr gut erklärt wurde, warum es bei der Verwendung von zfs als Filesystem wichtig ist mit ECC RAM zu arbeiten. Gilt das für refs in Verbindung mit Storage Spaces und parity ebenfalls? Wäre ECC RAM überflüssig, wenn man statt Storage Spaces einen Raidcontroller einsetzen würde?
Gruß
Daniel
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 301249
Url: https://administrator.de/forum/ist-ecc-ram-notwendig-bei-verwendung-von-refs-mit-storage-spaces-und-parity-301249.html
Ausgedruckt am: 26.12.2024 um 00:12 Uhr
20 Kommentare
Neuester Kommentar
Moin,
Notwendig? Nein. Zu Empfehlen? Ja.
Nach einigen Erfahrungen mit (ein bischen) kaputtem RAM, gehe ich imme rmehr dazu über, auch im privaten bereich ECC_RAm einzusetzen, wenn möglich und angebracht. Die Daddelkiste der Kinder braucht keinen. Aber der Bürocomputer, mit dem wichtige Dokumente bearbeitet und auch Datenbanken ggf betroffen sind soltle welchen haben. Und das Datengrab sollte auf jeden Fall welchen haben, weil man solche fehler nicht sofort merkt und es zu spätesein kann, wenn der fehler auffällt. Da hilft dann auch ein korrumpiertes backup nicht mehr.
Un der RAIDController udn auch das ZFS hilft nicht mehr, wenn aus dem RAM verfälschte Daten kommen, denn die können den Daten nicht ansehen, was hätte korrekt sein sollen.
Dahre ist meine Empfehlung. Nimm immer ECC-RAM, wenn möglich.
lks
Notwendig? Nein. Zu Empfehlen? Ja.
Nach einigen Erfahrungen mit (ein bischen) kaputtem RAM, gehe ich imme rmehr dazu über, auch im privaten bereich ECC_RAm einzusetzen, wenn möglich und angebracht. Die Daddelkiste der Kinder braucht keinen. Aber der Bürocomputer, mit dem wichtige Dokumente bearbeitet und auch Datenbanken ggf betroffen sind soltle welchen haben. Und das Datengrab sollte auf jeden Fall welchen haben, weil man solche fehler nicht sofort merkt und es zu spätesein kann, wenn der fehler auffällt. Da hilft dann auch ein korrumpiertes backup nicht mehr.
Un der RAIDController udn auch das ZFS hilft nicht mehr, wenn aus dem RAM verfälschte Daten kommen, denn die können den Daten nicht ansehen, was hätte korrekt sein sollen.
Dahre ist meine Empfehlung. Nimm immer ECC-RAM, wenn möglich.
lks
Hallo,
für den Betrieb ist ECC weder bei ZFS noch bei ReFS notwendig (im Sinne von ohne gehts nicht).
Wie du natürlich richtig sagst, macht es aber ohne ECC RAM bei ZFS kaum Sinn, da das Filesystem quasi blind darauf vertraut dass die Daten aus dem RAM korrekt sind. Im schlimmsten Fall "korrigiert" ZFS den zpool mit den kapuuten Daten aus dem RAM.
Soweit ich das sehe ist ReFS nicht ganz so empfindlich (weniger per se Vollauslastung des RAM) sollte aber auch mit ECC wesentlich sicherer laufen. Wenn du einen Raid Controller nutzt (Hardware) hat das anscheinend den Vorteil das dieser selbst immer ECC speicher zum pipen an die Platten verwendet. Ob das ausreicht um Fehler aus dem RAM zu erkennen weiß ich nicht. Internet sagt "ja". Software RAID sollte auf jedenfall gar nix bringen. Aber wenn ein RAID da ist, wieso dann überhaupt noch ZFS oder ReFS?
Gut wäre zu wissen was es für ein Server ist.
Gruß c
für den Betrieb ist ECC weder bei ZFS noch bei ReFS notwendig (im Sinne von ohne gehts nicht).
Wie du natürlich richtig sagst, macht es aber ohne ECC RAM bei ZFS kaum Sinn, da das Filesystem quasi blind darauf vertraut dass die Daten aus dem RAM korrekt sind. Im schlimmsten Fall "korrigiert" ZFS den zpool mit den kapuuten Daten aus dem RAM.
Soweit ich das sehe ist ReFS nicht ganz so empfindlich (weniger per se Vollauslastung des RAM) sollte aber auch mit ECC wesentlich sicherer laufen. Wenn du einen Raid Controller nutzt (Hardware) hat das anscheinend den Vorteil das dieser selbst immer ECC speicher zum pipen an die Platten verwendet. Ob das ausreicht um Fehler aus dem RAM zu erkennen weiß ich nicht. Internet sagt "ja". Software RAID sollte auf jedenfall gar nix bringen. Aber wenn ein RAID da ist, wieso dann überhaupt noch ZFS oder ReFS?
Gut wäre zu wissen was es für ein Server ist.
Gruß c
Zitat von @DanielB:
In dem Zusammenhang fällt mir gerade noch etwas anderes ein. Eigentlich wollte ich die wichtigsten Daten regelmäßig über Netzwerk auf ein NAS sichern. Da die preiswerten Consumer-NAS i. d. R. keinen ECC RAM verwenden, ist das ja kontraproduktiv. Entsprechend wäre doch eigentlich nur ein Backup auf eine USB-Platte sinnvoll. Oder?
In dem Zusammenhang fällt mir gerade noch etwas anderes ein. Eigentlich wollte ich die wichtigsten Daten regelmäßig über Netzwerk auf ein NAS sichern. Da die preiswerten Consumer-NAS i. d. R. keinen ECC RAM verwenden, ist das ja kontraproduktiv. Entsprechend wäre doch eigentlich nur ein Backup auf eine USB-Platte sinnvoll. Oder?
Um dir einen Anhaltspunkt z ugeben, wie oft fehler vorkommen: http://www.heise.de/newsticker/meldung/Hauptspeicherfehler-sehr-viel-ha ...
Ist zwar ein paar Jahre alt, aber da die Strukturen kleiner geworden sind, hat sich das sicher nicht wesentlich gebessert.
Ob man nun Consomer NAS nimmt oder nicht, ist einfach eine Frage des Wertes der Daten. Kann man damit leben, wenn in der MP3-Sammlung ein paar Bits gekippt sind oder nicht?
lks
Dann schau mal in die aktuelle c't rein:
Bauvorschlag für einen lüfterlosen und sparsamen Heim-Server
Bauvorschlag für einen Heim-Server mit bis zu sechs Festplatten
lks
Bauvorschlag für einen lüfterlosen und sparsamen Heim-Server
Bauvorschlag für einen Heim-Server mit bis zu sechs Festplatten
lks
Da die preiswerten Consumer-NAS i. d. R. keinen ECC RAM verwenden
Auch die Enterprise-NAS (z.B. QNAP, siehe https://www.qnap.com/i/en/product/model.php?II=183&event=2 ) verwenden oft keinen ECC. Nun sag mir mal, wie wichtig ECC sein kann.Ob für jemanden ECC-RAM wichtig ist oder nicht, ist nicht davon abhängig, ob der Hersteller in sein Profi-NAS ECC-RAM einbau oder nicht, sondern ob man selbst das Risiko einer unerkannten Datenveränderung in Kauf nehmen will oder nicht.
Betrachtet man z.B. diesen Artikel so sieht man, daß bei ECC-RAM Fehler sich darin äußern, daß das System nicht läuft. Bei non-ECC hat man ggf. ein instabiles System, das Daten korumpiert.
Wenn man Strategien hat, dies zu entdecken und ggf. aus dem Backup wieder zu restaurieren, ist das unproblematisch. Wenn aber das NAS selbst das Backup sein soll, was leider viele KMUs so sehen, hat man ein Problem.
lks
Bei non-ECC hat man ggf. ein instabiles System, das Daten korumpiert.
Es geht immer um die Quantität. Habe ich als Privatperson ein Aufkommen von x Dokumenten, die einen Wert y haben und eine Ausfallwahrscheinlichkeit z1 bei non-ECC und z2 bei ECC, dann kann ich mir sehr schön ausrechnen, ob sich die Mehrkosten für ECC rechnen. Haben wir diese Werte? Natürlich nicht. Können einem die ach so schlauen Studien und Papers diese Werte liefern? Natürlich nicht einmal ansatzweise.Wer es sich leisten kann, nehme ECC. Wenn es private Daten sind, halte ich das für maßlos übertrieben.
Was ist denn erschreckend? Der 2009er Heiseartikel schreibt:
Ich habe dir die QNAP-Seite mit Enterprise-NAS, wo wirklich massenweise Daten durchgehen, verlinkt. Warum glaubst Du, bietet QNAP da keinen ECC an? Sie könnten doch bei Enterprisekunden erwarten, dass die ECC wollen und bereit sind, die lumpigen 100€ mehr auszugeben?
Pro Jahr trat bei rund einem Drittel aller Server beziehungsweise bei 8 Prozent aller DIMMs mindestens ein korrigierbarer Fehler auf. Dieses Ergebnis liegt um ein Mehrfaches höher als von bisherigen Laborstudien und Untersuchungen zu weniger Maschinen bekannt. Die jährliche Rate nicht korrigierbarer Fehler, die üblicherweise zum Absturz oder zum Herunterfahren des Servers führen, betrug 1,3 Prozent pro Server beziehungsweise 0,22 Prozent pro DIMM.
"Mindestens" ein Fehler Pro Jahr. Was wird das bedeuten? "Mindestens" ein Dokument defekt von 1 Million? "Mindestens" ein Absturz? Ein wichtiges Geschäft nicht zu Stande gekommen? Es ist nicht messbar.Ich habe dir die QNAP-Seite mit Enterprise-NAS, wo wirklich massenweise Daten durchgehen, verlinkt. Warum glaubst Du, bietet QNAP da keinen ECC an? Sie könnten doch bei Enterprisekunden erwarten, dass die ECC wollen und bereit sind, die lumpigen 100€ mehr auszugeben?
Hi DerWoWusste
das Problem liegt da nicht bei 100EUR sondern den 2EUR die das mehr kostet. Bei 10.000 Kunden ist das ein Vorstandsmeeting wert ob man es einsparen soll und auch wird da es schwer argumentierbar ist: kann halt vorkommen. Bei intelligenten SDS spielt das sehr wohl ein Rolle, da würde ich aber QNAP nicht mal mit der Beißzange anfassen. ENT Speicher ist Huawei, Hitachi, Fujitsu, EMC, IBM, Netapp, also recht überschaubar und die verwenden nicht nur ECC sondern "Advanced" um auch Multibit Fehler sehen und zu korrigieren.
Klar sollte man die Kirche im Dorf lassen, aber wenn der CRC beim ZFS falsch ist zerstört er dir die Daten, wegen einem Bit Fehler. Da hilft kein RAID sondern nur Redundante Datenablage/Archivierung. Dummerweise brauchst du dann auch passende CPU/Mainboard dazu. Im Kleinumfeld ist das schwer umzusetzen.
Gruß
Sam
das Problem liegt da nicht bei 100EUR sondern den 2EUR die das mehr kostet. Bei 10.000 Kunden ist das ein Vorstandsmeeting wert ob man es einsparen soll und auch wird da es schwer argumentierbar ist: kann halt vorkommen. Bei intelligenten SDS spielt das sehr wohl ein Rolle, da würde ich aber QNAP nicht mal mit der Beißzange anfassen. ENT Speicher ist Huawei, Hitachi, Fujitsu, EMC, IBM, Netapp, also recht überschaubar und die verwenden nicht nur ECC sondern "Advanced" um auch Multibit Fehler sehen und zu korrigieren.
Klar sollte man die Kirche im Dorf lassen, aber wenn der CRC beim ZFS falsch ist zerstört er dir die Daten, wegen einem Bit Fehler. Da hilft kein RAID sondern nur Redundante Datenablage/Archivierung. Dummerweise brauchst du dann auch passende CPU/Mainboard dazu. Im Kleinumfeld ist das schwer umzusetzen.
Gruß
Sam
Mensch, wo führt diese Diskussion noch hin?
Der Fragesteller sorgt sich wie folgt: "bei Fotos finde ich es schon ein wenig riskant". Aber hat der Fragesteller auf allen Geräten, auf denen er Fotos lagert inklusive der Kamera selbst, denn ECC? Natürlich nicht. Die Sorgen sind vollkommen übertrieben. Es ist besser, ECC zu haben und alle Jubeljahre kommt auch mal vor, dass es Defekte verhindert. Aber Privatanwender-Spielserver mit ECC? Never ever.
Der Fragesteller sorgt sich wie folgt: "bei Fotos finde ich es schon ein wenig riskant". Aber hat der Fragesteller auf allen Geräten, auf denen er Fotos lagert inklusive der Kamera selbst, denn ECC? Natürlich nicht. Die Sorgen sind vollkommen übertrieben. Es ist besser, ECC zu haben und alle Jubeljahre kommt auch mal vor, dass es Defekte verhindert. Aber Privatanwender-Spielserver mit ECC? Never ever.
Appropos Filesystemstabilität:
http://events.linuxfoundation.org/sites/events/files/slides/AFL%20files ...
ext4 scheint da am stabilsten zu sein.
lks
http://events.linuxfoundation.org/sites/events/files/slides/AFL%20files ...
ext4 scheint da am stabilsten zu sein.
lks
Hallo Daniel
wie DerWoWusste im ersten Reply geschrieben hat: notwendig nein, sinnvoll ja. Sobald du Caching nutzt ist die Konsistenz der Daten wichtig. ZFS verläßt sich gerade in seinen Tables von den Hashes voll auf diese. Mit einem passenden CPU und ECC kann er dies sicherstellen (was ihn immer noch vor das Problem der URE stellt, was ich aber noch recht entspannt sehe denn da greifen RAID Mechanismen).
Häng an das Feature (MB+CPU+RAM müssen die Sicherheit ja jeweils können) einfach ein Preisschild dran und entscheide dann ob es dir's wert ist. Genügend Unglücksfälle gibts super dokumentiert; das sind aber nur die Schadensfälle und nicht die 99,96% welche Fehlerfrei durch ihren Lifecycle durch gehen, sprich DerWoWusste hat da schon seinen Punkt
Ebenso solltest du an USV denken; nicht geschriebener Cache, oder fragmentarisch geschriebener macht immer die schönen "bunten" fsck oder chkdsk Bootscreens. Einfach Preisschild und dann entscheiden.
Gruß
Sam
wie DerWoWusste im ersten Reply geschrieben hat: notwendig nein, sinnvoll ja. Sobald du Caching nutzt ist die Konsistenz der Daten wichtig. ZFS verläßt sich gerade in seinen Tables von den Hashes voll auf diese. Mit einem passenden CPU und ECC kann er dies sicherstellen (was ihn immer noch vor das Problem der URE stellt, was ich aber noch recht entspannt sehe denn da greifen RAID Mechanismen).
Häng an das Feature (MB+CPU+RAM müssen die Sicherheit ja jeweils können) einfach ein Preisschild dran und entscheide dann ob es dir's wert ist. Genügend Unglücksfälle gibts super dokumentiert; das sind aber nur die Schadensfälle und nicht die 99,96% welche Fehlerfrei durch ihren Lifecycle durch gehen, sprich DerWoWusste hat da schon seinen Punkt
Ebenso solltest du an USV denken; nicht geschriebener Cache, oder fragmentarisch geschriebener macht immer die schönen "bunten" fsck oder chkdsk Bootscreens. Einfach Preisschild und dann entscheiden.
Gruß
Sam
Hallo DerWoWusste
du hast keine Vorstellung wie viele (sind so 15 Stück jede Woche, meist MultiBays) Consumer NAS von Endkunden ich jede Woche hier habe. Einzelne HDs (optische und Tapemedien mache ich nicht) immer seltener. Am erstauntesten sind alle MultiBay Besitzer auf (Soft)RAID5+ Basis: "da darf doch nichts kaputt gehen". Da sind wohl seltenst RAM Fehler (gegen HD Fehler) mit drinnen, aber die wenigsten sind so dicke (Gedanken)Brocken wie BTRFS oder ZFS, welche ja Hierachische Strukturen abbilden und ein recht komplexes System mitbringen ganz im Vergleich zu ext. Die dicken SAN/NAS Systeme welche ich oben genannt habe sind da selten aufwendiger gestaltet und haben bis auf Hotspotsvermeidung wenig mehr Komplexität, welche natürlich komplett im RAM gehalten wird um Performance zu erhalten. Damit ist bei gleichen Features ZFS keinen deut anfälliger für Bitrotting wie ext4 oder NTFS, nur der Speed geht bei ZFS halt schnell runter wenn man ihm seine Caches weg nimmt. Sofern Dedup aktiv ist, kannst du Durchsatz vergessen sofern er nicht seine MagicNumber (=Hash) Tabelle im RAM halten darf.
Daher finde ich deine Erstantwort sehr sinnvoll: notwendig nein, sinnvoll ja unabhängig vom Einsatzgebiet.
Wie bei RAID kann sein das die Members ihren ganzen Lebenszyklus einwandfrei durchlaufen und man mit RAID mehr Probleme (Overhead, Kosten, ...) hatte als benötigt wurden, ABER man kann sich gegen einen Fehler schon als gewappnet sehen, was recht ruhig schlafen lässt. Noch schlimmer finde ich das (Consumer) unwissen über Datensicherheit. Daher finde ich das Für&Wider in dem Thread schon sehr sinnig aufgeführt zu haben
Gruß
Sam
du hast keine Vorstellung wie viele (sind so 15 Stück jede Woche, meist MultiBays) Consumer NAS von Endkunden ich jede Woche hier habe. Einzelne HDs (optische und Tapemedien mache ich nicht) immer seltener. Am erstauntesten sind alle MultiBay Besitzer auf (Soft)RAID5+ Basis: "da darf doch nichts kaputt gehen". Da sind wohl seltenst RAM Fehler (gegen HD Fehler) mit drinnen, aber die wenigsten sind so dicke (Gedanken)Brocken wie BTRFS oder ZFS, welche ja Hierachische Strukturen abbilden und ein recht komplexes System mitbringen ganz im Vergleich zu ext. Die dicken SAN/NAS Systeme welche ich oben genannt habe sind da selten aufwendiger gestaltet und haben bis auf Hotspotsvermeidung wenig mehr Komplexität, welche natürlich komplett im RAM gehalten wird um Performance zu erhalten. Damit ist bei gleichen Features ZFS keinen deut anfälliger für Bitrotting wie ext4 oder NTFS, nur der Speed geht bei ZFS halt schnell runter wenn man ihm seine Caches weg nimmt. Sofern Dedup aktiv ist, kannst du Durchsatz vergessen sofern er nicht seine MagicNumber (=Hash) Tabelle im RAM halten darf.
Daher finde ich deine Erstantwort sehr sinnvoll: notwendig nein, sinnvoll ja unabhängig vom Einsatzgebiet.
Wie bei RAID kann sein das die Members ihren ganzen Lebenszyklus einwandfrei durchlaufen und man mit RAID mehr Probleme (Overhead, Kosten, ...) hatte als benötigt wurden, ABER man kann sich gegen einen Fehler schon als gewappnet sehen, was recht ruhig schlafen lässt. Noch schlimmer finde ich das (Consumer) unwissen über Datensicherheit. Daher finde ich das Für&Wider in dem Thread schon sehr sinnig aufgeführt zu haben
Gruß
Sam