kowa1981
Goto Top

LSI 9750-8i RAID 5 mit IronWolf Pro 4TB merkwürdiges Verhalten

Hallo zusammen,

da ich schon seit Tagen versuche mein Raid 5 wieder stabil ans Laufen zu bekommen und jetzt mit meinem Latein am Ende bin, könnt Ihr mir vielleicht helfen?

Und zwar habe ich einen LSI 9750-8I auf einem Asus P9X79WS seit einigen Jahren im Einsatz.
Die letzte Konfiguration die schon seit Jahren läuft sind 5xSATA HDDs im Raid5.
Ab und an mal ist eine Disk ausgefallen, dann habe ich eine neue eingebaut rebuild angestoßen und gut war.

Diesmal hatte ich 2 Disk die Probleme verursacht haben.
Die Erste wurde mit einem Fehler angezeigt der jedes mal bei einem Neustart zu sehen war:
Primary DCB read error occurred: phy=5, error=0x202 und ERROR - Drive ECC error reported: phy=5, unit=-1
Paar Tage später kam noch eine Disk mit ECC Fehlern dazu die allerdings auch in der WEB-GUI auch mit einem Warning versehen war.
Ich hatte mir dann 2 IronWolf Pro 4TB HDDs dazu geholt und hatte diese nacheinander ausgetauscht.

Da fingen dann die Probleme richtig an.
Beim Neustart wurden die HDDs teilweise nicht erkannt. Teilweise nur eine davon und teilweise standen beide in "incomplete" Zustand.

Nachdem ich durch Zufall gesehen habe das meine Backplane von ICY-BOX gar keine 6gbits unterstützt, dachte ich mir ok könnte mit der Backplane zusammen hängen, da die IronWolfpro 7200er sind und die Restlichen nur 5400er.
Naja neue ICY-BOX565SSK gekauft und ausgetauscht.
Hat leider nichts gebracht.
Da die anderen HDDs auch schon älter waren habe ich dann noch 3 gleiche IronWolf Pro dazu geholt und einzeln nacheinander getauscht und jeweils ein rebuild durchgeführt.

Allerdings hat das auch nichts gebracht.
Die HDDs wurden mal willkürlich erkannt und mal nicht.
Nach langem hin und her, testen usw. musste ich feststellen das die Deleay Spinup Funktion zum Teil der Übeltäter war.
Spinup deaktiviert brachte den Erfolg.
Allerdings nicht vollständig.
- Wenn ich den PC vom Stromnetztrenne und ihn dann wieder anschließe und starte findet er jedes mal alle HDDs und alles ist gut.
- Wenn ich den PC reboote dann zeigt er mir beim Boot meist den Fehler Incomplete Drives and Others bei allen HDDs. Allerdings nicht immer. Manchmal erkennt er zumindest eine HDD oder zwei oder drei. Aber in keinem Fall findet er alle HDDs nach einem Reboot. Ich muss tatsächlich den PC komplett herunterfahren und den Stromstecker ziehen.
Das ist 100% reproduzierbar.

Heute habe ich noch weitere Tests versucht. Im Mainboard diverse Einstellungen durchprobiert. Auch im Controllerbios diverse Einstellungen probiert.
Ich hab auch mal die Stromversorgung auf andere Leitungen gelegt. Auch den Controller mal in einen anderen PCI-E Slot gesteckt.
Alles hat nichts gebracht aber mir ist dabei aufgefallen, dass bei einem komplett frischen Start alle HDDs durch den Controller angestartet werden und kurze Zeit später anfangen zu "Rattern". Wenn ich allerdings einen Reboot durchführe verhält es sich anders. Die HDDs laufen ja noch. Zu dem Zeitpunkt wo die normalerweise anfangen zu Starten und kurze Zeit später "Rattern" hört man ganz gut ein kurzes Anlaufen und Stoppen Anlaufen und Stoppen. Ca 5 oder 6 mal bis dann der Controller die Fehler anzeigt.

Die Disks hatte ich auch untereinander schon durchgetauscht und auch mit Crystaldisk und HDDTune und einem WD Tool separat getestet.
Auch habe ich mal andere Controllerports durchgetestet(also die übergeblieben Kabel mal durchgetauscht). Das Verhalten bleibt.

Das was noch sein kann ist, dass mein Netzteil Bequiet Straght Power 480w nicht genug Power hat. Aber dann verstehe ich nicht warum aus einem Kaltstart alles super ist aber bei einem Reboot solche Probleme auftreten.
Oder meint ihr der Controller hat schon einen Schaden?

Die HDDs stehen halt nicht in der Kompatibilitätsliste. Das wäre halt auch noch ein Ansatz aber das erklärt irgendwie nicht das Verhalten.

Hat vielleicht jemand eine Idee was dahinter stecken könnte?
Was ist bei einem Reboot anders als bei einen Kaltstart?

Naja und dann habe ich noch ein Anliegen. face-smile
Da der Controller auch schon in die Jahre (hab ihn seit Release glaube 2012) gekommen ist, habe ich mir jetzt zähneknirschend einen Adaptec Microsemi 3154-8i bestellt.
Naja ich hoffe mir schnellere Rebuilds, mehr Power, SSDCaching, und wie gesagt ist die LSI schon recht alt. Ewig wird die sicherlich auch nicht mehr machen.
Leider war ich so schlau und hab natürlich nicht vorher in die Kompatibilitätsliste geschaut. Die IronWolf Pro wird da in 4TB nicht gelistet. Nur 2TB und 10TB sind aufgeführt.
Ich wurde gerne die Ironwolf Pro behalten. Meint ihr das könnte zu Problemen führen oder haben die die einfach nur nicht gelistet weil Sie die nicht getestet haben?

Ich bin für jeden Tipp wie immer sehr sehr dankbar.
Auch wenn die neue Karte bald eintreffen sollte würde ich gerne rausfinden/wissen was da los ist.

Viele Grüße
Christof

PS: Firmware / Bios ist aktuell sowohl vom Board sowie dem Controller.

Content-ID: 620778

Url: https://administrator.de/contentid/620778

Ausgedruckt am: 22.11.2024 um 12:11 Uhr

Lochkartenstanzer
Lochkartenstanzer 10.11.2020 um 09:38:46 Uhr
Goto Top
Moin,,

Läßt Du die Platten alle gleichzeitig anfahren (default) oder hast Du im BIOS eingestellt, daß die nacheinander hochgefahren werden.

Wenn alle Spindeln gleichzeitig anlaufen, zieht das soviel Strom, daß einige Komponenten "zu kurz" kommen. Deswegen haben die meisten RAID-Controller eine dementsprechende Option.

Kann sein, daß Du an der kritischen Grenze bist und daher einige Platten "nicht genug Saft" bekommen, um sich rechtzeitig beim Controller zu melden.

lks
kowa1981
kowa1981 10.11.2020 um 09:50:58 Uhr
Goto Top
Vielen Dank für die schnelle Antwort. Wie schon geschrieben ist das Verhalten eben genau anders rum.
Stelle ich den versetzten start der HDDs ein. Kann der Controller nicht mal im Kaltstart alle Platten erkennen. Egal mit welchem versatz ich es einstelle. Da hab ich schon alle Einstellungen durch von 2 Sekunden bis 10sekunden Versatz nur mit dem Ergebnis das bei 10sekunden Versatz keine Platte erkannt wird.

Stelle ich es allerdings so ein das nach 2 oder 6 Sekunden alle Platten gleichzeitig anlaufen werden die HDDs bei einem Kaltstart jedes Mal erkannt. Nur halt bei einem Reboot nicht.
Lochkartenstanzer
Lochkartenstanzer 10.11.2020 um 10:08:40 Uhr
Goto Top
Moin,

O.k. habe ich anscheinend überlesen.

Dann würde ich mal systematisch vorgehen und erstmal mit einer Platte anfangen zu testen, ob die immer zuverlässig erkannt wird. wenn das nach mehreren reboots der fall ist, würde ich die zwite dazupacken u.s.w. Dann weißt Du zumindest, ob es anden Platten selbst liegt, oder nur an der Anzahlt der Platten.

Alternativ würde icheinfach alle Platten mal in einen PC mit genügend SATA-Ports packen und dort mal schauen, ob sich imerm alle Platten melden.

Zu dem andern "Problem" mit der Kompatibilitätsliste:

Diese wachsen meistens dynamisch mit der Anzahl der getesteten Konfigurationen, so daß es oft so ist, daß andere Modelle zwar funktionieren, aber nicht in der Liste auftauchen, weil sie eben nicht getestet wurden. Leider geben die wenigsten Hersteller auch eine "negative" Kompatibilitätsliste heraus, in der sie die gesteten Komponenten aufführen, die Probleme bereiten. Da ist man dann auf sich selbst gestellt, weil dann nicht klar ist, ob das Modell nciht auf der Liste steht, weil es noch nicht getestet wurde oder weil es mit negativem Ergebnis getestet wurde.

lks
aqui
aqui 10.11.2020 um 12:51:18 Uhr
Goto Top
Lochkartenstanzer
Lochkartenstanzer 10.11.2020 aktualisiert um 13:36:37 Uhr
Goto Top

Die Ironwolfves sind laut Seagate CMR-Platten.

SMR war auch mein erster Verdacht, aber wenn er tatsächlich Ironwolfves hat, sollte es nicht daran liegen.

lks
kowa1981
kowa1981 12.11.2020 um 16:49:38 Uhr
Goto Top
Vielen Dank euch für die schnelle Rückmeldung.
Die Tests habe ich im Raid selbst gemacht allerdings kam dabei raus das es Random war wann welche erkannt wurde und wann welche nicht.
Auf dem Board sind leider nicht so viele Sata Ports frei das ich dies Testen könnte.
Die Platten einzeln werden ja erkannt und sind laut diversen Programmen ohne Fehler und funktionieren auch.

Die Ironwolf Pro sowie die zuvor verwendeten WD Red und auch Ironwolf waren alles CMR HDDs.
Eigentlich wollte ich im ersten Gedanken wieder WD Reds nehmen, da aber die neuen Reds SMR sind und in den Shops zwar der Modelcode passte für CMR waren es allerdings doch die neuen die Verkauft wurden.
Da die Ironwolf Pro aber auch ne deutlich geringere Latenz haben, hatte ich mich dann für die entschieden.
Und man merkt den Unterschied gewaltig. Im Dateisystem surfen geht so schnell wie nie zuvor. Auch entpacken geht schneller.

Der neue Microsemi 3154-8i Controller ist heute eingetroffen.
2 Kabel habe ich auch dazu noch bestellt die sind heute eingeangen.
Und eine Exos x18 habe ich mir jetzt mal endlich auch fürs Backup gegönnt.
Ich sicher grade die Daten nochmal auf die X18 und zerlege dann mal den Rechner und bau den neuen Controller ein.

Ich halte euch auf dem Laufenden.

Und vielen Dank nochmals für die schnellen Antworten.

PS. Ich hatte auch den Microsemi Support angeschrieben und folgende Antwort bekommen:

Sehr geehrter Herr xxx,

Hardware, welche nicht auf der HCL zu finden ist, kann nicht als kompatible bezeichnet werden. Es gibt dazu leider keine Testergebnisse. Die bedeutet nicht, dass die Festplatten nicht funktionieren werden. Wir koennen jedoch dafuer keine Garantie geben.
Ich denke jedoch nicht, dass es Probleme geben wird.

Vielen Dank für die Verwendung von ASK Us.

Mit freundlichen Grüßen,
Microsemi Technische Unterstützung
kowa1981
kowa1981 14.11.2020 um 23:51:17 Uhr
Goto Top
Kleines Update.

Ich habe die EXO X18 getestet und anschließend per Robocopy eine Spieglung des Raids durchgeführt.
Hat soweit geklappt.
Heute habe ich dann den alten Controller samt Kabeln ausgebaut und gegen den Microsemi getauscht.

Ich hatte mir noch fix eine WD RED NAS 500GB SSD geholt und direkt mit verbaut um die Maxcache Funktion zu nutzen.
Statt dessen hätte ich lieber mal das Whitepaper besser durchlesen sollen und vor allem die Einschränkungen.
Die Maxcachefunktion brauch ich wohl doch nicht face-smile
So ist das halt wenn man kaum freie Zeit wegen dem eigenen IT-Job hat.

Naja wie immer lange Rede kurzer Sinn.
Controller eingebaut und verkabelt. Lüfter für den Controller noch separat angebracht und BBU war im Lieferumfang inkl. zusätzlichem Slotblechhalter enthalten.

Maxview Installation durchgeführt und Firmwareupdate aufgespielt.
Hab mich dann erst einmal mit den ganzen neuen Einstellungen und Funktionen eingelesen und vertraut gemacht.

Und siehe da. Raid5 eingerichtet formatiert paar Daten drauf geschubst und mehrere Neustarts und Kaltstarts usw. durchgeführt und das Raid und die HDDs werden immer wieder direkt erkannt.

Die Initialisierung läuft zwar noch aber ich bin guter Dinge.

Die Benutzeroberfläche des Maxview finde ich auch sehr gelungen.
Man muss sich natürlich erst mal zurecht finden, aber das geht ganz schnell.
Smtp Einrichtung usw. war alles spielend leicht.
Firmwareupdate einspielen ist auch über die Maxview Weboberfläche spielend leicht und schnell erledigt.
Die Oberfläche ansich ist auch super schnell und meiner Ansicht nach sehr schön gelöst.

Bis jetzt hat sich die Investition gelohnt und scheinbar brauch ich kein neues Netzteil.
aqui
aqui 15.11.2020 um 11:31:22 Uhr
Goto Top
...wegen dem eigenen IT-Job hat.
Der Dativ ist dem Genitiv sein Tod ! face-wink
Aber gut wenn nun alles rennt wie es soll...
kowa1981
kowa1981 15.11.2020 um 12:02:03 Uhr
Goto Top
Zitat von @aqui:

...wegen dem eigenen IT-Job hat.
Der Dativ ist dem Genitiv sein Tod ! face-wink
Aber gut wenn nun alles rennt wie es soll...

Der Dativ ist des Genitivs Tod face-wink
Noch rennt nicht alles.

Nachdem die Initialisierung (Raid5) durchgelaufen ist, wollte ich das Backup von der x18 wiederherstellen.
Zum Entsetzen musste ich feststellen, dass die x18 nicht richtig erkannt wurde.
Die Partitionstabelle hatte sich verabschiedet.
Diese konnte ich allerdings wiederherstellen.

Das Backup kopiert grade noch.
Danach teste ich mal alles ausgiebig und geh auf Ursachenforschung.
aqui
aqui 15.11.2020 aktualisiert um 13:32:14 Uhr
Goto Top
Der Dativ ist des Genitivs Tod
👍 face-big-smile