jathagrimon
Goto Top

Beste Lösung für FileServer mit ESXi und RAID 6

Hallo

ich hatte vor kurzem einen Festplattendefekt an meinem Raid5 und musste nun lange Zeit sichern und auf neue Platten sparen, aber nun ist es soweit: ich kann von vorn beginnen juhu face-sad

Ich möchte einen FileServer betreiben der sowohl für sämtliche Dateien als auch als Backend für Medien in Verbindung mit Kodi, (ehem. XBMC) auf einem Raspberry Pi 2, dienen soll.

Nun habe ich folgende Komponenten:

1x ESXi Server 5.5
- 2x interne SSD die als DataStore für die VMs dienen (meist Windows Systeme)
- 5x HDD mit je 3 TB zu einem RAID 6 (somit 2 Platten vor Ausfall geschützt) insg. 8.17 TB
- RAID-Controller von Adaptec (6805) im Einsatz (keine global Hotspare definiert, sollte das RAID 6 übernehmen)
- 2x interne HDD je 1 TB (wollte ich als Backupmedium nutzen)


Früher hatte ich eine Session mit Windows Server 2008 R2 am laufen wo ich via Passthrough den RaidController an die Session direkt durchgereicht hatte.
Generell könnte ich das auch so wieder machen ABER:
Beim letzten Crash hat es mich ziemlich kalt erwischt. Der Controller piepte wie wild und war nicht in der Lage einen Rebuild zu machen (waren aber auch nur 4 Platten im RAID 5).
Ich möchte also irgendwie rechtzeitig merken wenn eine Platte zickt. ich denke da an die Smart-Tools und natürlich an die Meldungen die der Controller ausgibt.
Nachdem ich mit dem Support von Adaptec gesprochen hatte (wegen Datenrettung) meinten die ich solle die Treiber vom Controller am ESXi direkt nachinstallieren. Okay das habe ich getan.
Aber wie geht es nun weiter?
Ich habe jetzt versucht den Speicher dem ESXi zuzuordnen (ohne Probleme) und dann in der VM direkt als Gerät hinzuzufügen (ohne Passthrough). Was mir leider nicht gelang.

Was sind denn Empfehlungen von Eurer Seite?
Die Daten sind extrem wichtig (aktuell auf USB-Platten verteilt) und ich möchte sowohl eine hohe Sicherheit als auch performanten Zugriff (FullHD-Streaming).
Einen Festplattendefekt vor der Garantiezeit erkennen wäre natürlich optimal.
Was passiert wenn mal ein System nicht mehr hochkommt? ESXi Host oder die Windows Session? Wie komme ich komfortabel an die Daten (bin eher aus der Fraktion der Mausschubser)

(Bitte keine Debatten zu Speicherort der Backups extern etc. da bin ich parallel dran und kann erst weiter wenn der FileServer fertig ist.)


Hoffe ich habe nix vergessen.

Danke für die Tipps vorab.

jathagrimon

Content-ID: 290417

Url: https://administrator.de/contentid/290417

Ausgedruckt am: 24.11.2024 um 16:11 Uhr

Vision2015
Vision2015 08.12.2015 aktualisiert um 22:40:56 Uhr
Goto Top
Zitat von @Jathagrimon:

Hallo
nabned..

ich hatte vor kurzem einen Festplattendefekt an meinem Raid5 und musste nun lange Zeit sichern und auf neue Platten sparen, aber nun ist es soweit: ich kann von vorn beginnen juhu face-sad
wirst du nicht sichern- wenn dein system fertig ist ?

Ich möchte einen FileServer betreiben der sowohl für sämtliche Dateien als auch als Backend für Medien in Verbindung mit Kodi, (ehem. XBMC) auf einem Raspberry Pi 2, dienen soll.

Nun habe ich folgende Komponenten:

1x ESXi Server 5.5
- 2x interne SSD die als DataStore für die VMs dienen (meist Windows Systeme)
- 5x HDD mit je 3 TB zu einem RAID 6 (somit 2 Platten vor Ausfall geschützt) insg. 8.17 TB
auch ein Raid 6 kann fliegen gehen.... was sind das für Hdd`s ? bei rund 8 TB ...Happy Rebuild face-smile
- RAID-Controller von Adaptec (6805) im Einsatz (keine global Hotspare definiert, sollte das RAID 6 übernehmen)
auch ein Raid 6 kann fliegen gehen.... würde dann besser zu einem raid 10 gehen... aber auch Happy Rebuild face-smile
- 2x interne HDD je 1 TB (wollte ich als Backupmedium nutzen)
oh je...


Früher hatte ich eine Session mit Windows Server 2008 R2 am laufen wo ich via Passthrough den RaidController an die Session direkt durchgereicht hatte.
Generell könnte ich das auch so wieder machen ABER:
Beim letzten Crash hat es mich ziemlich kalt erwischt. Der Controller piepte wie wild und war nicht in der Lage einen Rebuild zu machen (waren aber auch nur 4 Platten im RAID 5).
und du denkst das ein Raid 6 mit 5 Hdd´s dich nicht kalt erwischen kann....
Ich möchte also irgendwie rechtzeitig merken wenn eine Platte zickt. ich denke da an die Smart-Tools und natürlich an die Meldungen die der Controller ausgibt.
ich finde die Smart Tools träge- und den adaptec nicht wirklich dafür geeignet- würde eher einen MegaRAID SAS 9361 +CacheVault raten.

Nachdem ich mit dem Support von Adaptec gesprochen hatte (wegen Datenrettung) meinten die ich solle die Treiber vom Controller am ESXi direkt nachinstallieren. Okay das habe ich getan.
Aber wie geht es nun weiter?
Ich habe jetzt versucht den Speicher dem ESXi zuzuordnen (ohne Probleme) und dann in der VM direkt als Gerät hinzuzufügen (ohne Passthrough). Was mir leider nicht gelang.
nö- geht auch nicht- einen raidcontroller durchzureichen ist eh keine gute idee...

Was sind denn Empfehlungen von Eurer Seite?
lege eine virtuelle hdd für die vm an...
Die Daten sind extrem wichtig (aktuell auf USB-Platten verteilt) und ich möchte sowohl eine hohe Sicherheit als auch performanten Zugriff (FullHD-Streaming)
so wichtig kann das ja nicht sein- denn dein system ist nix für performanten Zugriff (FullHD-Streaming) noch vmware zertifiziert,
und über die datensicherung reden wir erst mal nicht.
ich vermute mal du hast 3 TB SAS HGST platten- das sind nicht die schnellsten, und brechen bei IO last ordentlich ein...
Einen Festplattendefekt vor der Garantiezeit erkennen wäre natürlich optimal.
merkst du doch- der controller hat ja eine tröte face-smile
Was passiert wenn mal ein System nicht mehr hochkommt? ESXi Host oder die Windows Session? Wie komme ich komfortabel an die Daten (bin eher aus der Fraktion der Mausschubser)
der esxi ist schnell neu aufgesetzt- den rest kann keiner pauschal sagen... mach ne Datensicherung mit Veeam...

(Bitte keine Debatten zu Speicherort der Backups extern etc. da bin ich parallel dran und kann erst weiter wenn der FileServer fertig ist.)

nettes konzept face-smile

Hoffe ich habe nix vergessen.
doch hast du- kauf beim nächsten mal ein zertifiziertes system für vmware- dann bekommst du auch support face-smile

Gruß
Frank

Danke für die Tipps vorab.

jathagrimon
Jathagrimon
Jathagrimon 08.12.2015 um 22:59:12 Uhr
Goto Top
konstruktive Hilfe stelle ich mir anders vor!

Wir sprechen hier von einem System im privaten Bereich daher gebe ich sicher keine Tausende aus (so dick hab ich es nicht).
Und ich will natürlich auch keine 8 TB backuppen, sondern nur die Daten die wirklich wichtig sind (Fotos, FamilienVideos, Dokumente etc.).
Ich habe aktuell die WD RED mit 3TB im Einsatz (die auch NAS geeignet sein sollen). Um deinem Meckern zuvorzukommen: Ja sicher gibt es bessere Platten, die kosten dann aber auch einiges mehr.

Zu deinem Hinweis: lege eine virtuelle hdd für die vm an...

-> Ich kann leider keine virtuelle Platte anlegen die größer ist als 2 TB

Danke
Vision2015
Vision2015 08.12.2015 aktualisiert um 23:35:58 Uhr
Goto Top
hi,

nun, was soll ich sagen- so ist es nun mal...
ich meinte auch nicht 8 TB backup- sondern 8 TB Rebuild... das wird dauern... mit wd red´s hmmm ca. 3-4 tage je nach raid level...
zur WD Red, das ist eigentlich mehr eine NAS platte- und eigentlich wirklich nix für einen server.
sorry, von Privat war ja nix zu lesen- aber von extrem wichtig, HD Stream etc... da gehe ich erst mal von gewerblicher nutzung aus face-smile

du hast ein VMFS-3 Datastore, du brauchst aber einen VMFS-5 datastore , der geht bis 62 TB- VMFS 3 macht nur bis 2 TB.

Gruß Frank

Nachtrag:
kleine hilfe für dich: http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&am ...
Jathagrimon
Jathagrimon 09.12.2015 aktualisiert um 08:28:46 Uhr
Goto Top
Hmmm, anscheinend ist die Version der VM selber ein wichtiger Punkt, denn ich kann keine Platte grösser 2 TB erstellen obwohl ich das RAID als VMFS-5 eingerichtet habe. Die VM selber liegt auf einer SSD und ist unter ESXi 5.0 erstellt worden Die könnte somit VMFS-3 sein. UND ich habe nochmal die Version des ESXi gecheckt und musste feststellen dass ich erst Version 5.1 am laufen habe. Das werde ich schnell upgraden. Ich gehe mal davon aus dass es deswegen nicht funktioniert.

Ich würde jetzt versuchen das so: Upgrade von VMFS3-Datenspeichern auf VMFS5 zu beheben? (In der Hoffnung dass nichts zerstört wird.)

Meine Befürchtung geht noch in eine andere Richtung:
Mal angenommen ich verwende das RAID komplett als virtuelle Festplatte. Wenn jetzt der Rebuild fehlschlägt (kenne das Szenario ja nun schon), wie komme ich an die Daten ran. Sind die nicht in einem vmfs-Container zusammengefasst? Wenn der Container nun korrupt ist kann ich den doch nicht mehr in eine VM laden oder doch? Bei der Passthrough.Lösung war alles nativ auf dem RAID und so kam ich via LiveCD mit NTFS Unterstützung an die Daten (wobei es öfters einen Freeze gab, anscheinend wurde da ab und zu der defekte Bereich berührt)


Bin ich vielleicht komplett auf dem Holzweg und sollte lieber mit alternativen wie NAS4FREE testen?

Danke
Jathagrimon
Chonta
Chonta 09.12.2015 um 10:37:05 Uhr
Goto Top
Hallo,

also bei einem REBUILD eines RAID egal ob Software oder Hardware sind die Daten weiterhin verfügbar und auch veränderbar, solange die maximal zulässige Anzahl der HDD für einen Ausfall nicht überschritten wird.
Das System ist beim Rebuild halt nur sehr viel langsamer und raucht noch eine Platte ab bevor der Rebuild abgeschlossen ist, dann wars das mit den Daten.
Wenn eine Platte Defekte Sektoren hatte und da Nutzdaten drauf waren sind die Fehler mit hoher Warscheinlich auch im RAID gesynct (korupte Dateien) Und das kann natürlich auch eine VHD betreffen.

Warum willst Du auf dem Fileserver virtualisieren? Ist der Rechner so stark, das der mehrere VM kan und müssen die permanent laufen?
Hyper-V von Windows 8 kann die Platten von VMs auch von ener SMB Freigabe starten, man könnte also mit einem Windowsdesktop seine TestVM betreiben und die Daten auf dem NAS haben.

Gruß

Chonta
Jathagrimon
Jathagrimon 09.12.2015, aktualisiert am 10.12.2015 um 07:50:13 Uhr
Goto Top
Hi Chonta

Der Fileserver sollte meistens laufen (Automatische Nachtabschaltung wäre natürlich cool).
Dann habe ich für verschiedene Szenarien gern immer eine andere Session. Zb Videobearbeitung, Grafikbearbeitung, Audiobearbeitung, DMS, CRM, etc. Das hat mit den unterstützten Programmversionen, der Anhängigkeit des Betriebssystems und des Installationsaufwandes zu tun. Dabei laufen manche Sessions immer zb DMS & CRM und andere schalte ich nur ein wenn ich sie brauche. Der Rechner schafft 3 bis 4 Sessions gleichzeitig (bei Linux Systemen auch mal mehr). Wenn ich als Host nun Windows nehmen würde könnte ich am Host nur noch maximal 3 Sessions laufen lassen da ja auch das HostWindows Ressourcen braucht. Das möchte ich eigentlich verhindern.

ÜBERARBEITET: Nein einen 2ten Rechner will ich nicht hinstellen der rein als NAS dient. Denn ich habe eigentlich immer mind. eine Session am laufen und somit läuft der ESXi und braucht Strom etc. Da muss ich nicht extra noch einen anderen Rechner betreiben.

Ich hab das Gefühl dass ich letztlich wieder beim Passthrough landen werde.


Bin jetzt auf ESXi 5.5 + aktuellster Patch, leider war ein Upgrade auf 6.0 nicht möglich da dann die Netzwerkkarte nicht mehr unterstützt wird.

Noch jemand Ideen?
Chonta
Chonta 10.12.2015 um 10:18:03 Uhr
Goto Top
Hallo,

installiere ein vollwertiges Linux und mach die Virtualisierung über Virtualbox (phpvbox anschauen als Webfrontend).
KVM ist für alles das eine GUI braucht nicht zu gebrauchen.
Vbox kann auch GUI.
Vorteil Du Hast Fileserver nativ auf dem Linux und kannst trozdem Virtualisieren.

Gruß

Chonta
Jathagrimon
Jathagrimon 10.12.2015 um 22:05:13 Uhr
Goto Top
Danke an Euch

Der letzte Vorschlag ist mir irgendwie zu stark abhängig vom Linux. HostSystem und Software alles auf Linux umzustellen ist dann für einen Mausschubser doch etwas zu viel Veränderung.

Aktuell tendiere ich in Richtung virtuelle Platte erstellen mit 8.17 TB.

Kann mir jemand sagen wie es sich verhält wenn im RAID worauf die virtuelle Platte aufliegt ein Fehler passiert? Ist dann vielleicht der Container futsch und ich komm nie mehr an die Files? Oder gibt es eine Möglichkeit den Container wie einen Ordner zu öffnen und Daten zu lesen?


Danke
Chonta
Lösung Chonta 11.12.2015, aktualisiert am 13.12.2015 um 22:48:17 Uhr
Goto Top
Hallo,

Der letzte Vorschlag ist mir irgendwie zu stark abhängig vom Linux.
Ähm und der ESXi ist ein was? Ein auf Unix basierender Hypervisor auf den Du nur über die Tools zugriff hast...

Wie wäre es anstelle mit ESX mit dem freien Hyper-V auf 2012R2 Basis?
Der hat zwar keine vollGUI aber es gibt diverse GUI Tools die man darauf installieren kann.

Kann mir jemand sagen wie es sich verhält wenn im RAID worauf die virtuelle Platte aufliegt ein Fehler passiert?
Das kommt drauf an was für ein Fehler.
Im schlimmsten Fall bekommt eine der Platten im Verbund defekte Sektoren in einem Dateisystembereich wo Daten des Kontainers liegen. Dadurch kann es passieren das Daten innerhalb des Containers hobs gehen oder die ganze virtuelle Platte.

Oder Das Dateisystem des Hypervisors geht durch falsche Handhabung oder alternde Platten kaput und kann nicht vollständig repariert werden.
Auch dann können Daten innerhalb der virtuellen Platten kaput gehen.

Ein RAID erstetzt NIEMALS das BACKUP.
In 90 von 100 Fällen wird bei einem Plattenausfall eine neue eingebaut die wird jeh nach Konfiguration in den RAID-Verbund aufgenommen und mit den Daten abgeglichen um den Normalraidstatus wieder herzustellen (Rebuild).
Um so größer die einzelnen Platten um so länger dauert das ganze.
Deswegen lohnt es bei großen RAIDS einen RAID6 zu fahren falls beim Rebuild eine zweite Platte ausfällt ist man bei RAID5 dann verloren bei RAID6 hat man noch eine Chance das die dritte Platte erst ausfällt, wenn der Rebild zu ende ist.

In den anderen 10 Fällen ist man Froh über ein Backup (über ein vernünftiges Backup ist man immer froh face-big-smile )

Gruß

Chonta
Jathagrimon
Jathagrimon 22.12.2015 um 00:22:49 Uhr
Goto Top
Hallo

Ja stimmt der ESX ist auch LinuxBasis das würde ich als Ausnahme tollerieren. Die Andere Lösung klingt mir zu Abenteuerlich und Ressourchenfressend.

Ich habe mich entschieden das System wie vorher zu fahren nur mit dem Unterschied dass ich die Hardware überwachen werde und mir im Fehlerfall Meldungen senden will (wie ist noch nicht definitiv evtl PRTG).

Ich denke dass ich mit dem Passthrough recht gute Performanz erreichen kann. Und auch die Daten konnte ich ja jetzt trotz des BadSectors wiederherstellen wenn auch umständlich.

Trotzdem Danke an alle für die ausführlichen Antworten.

Grüsse

Jathagrimon