4
Storage für Videodaten mit 10 GBE
Hallo,
ich möchte ein Storagesystem bauen, auf dem ich meine Videodaten ablegen kann. Dieses soll dann mit 10 GB Ethernet an zwei PCs angeschlossen werden, an welchen der Videoschnitt und die Nachbearbeitung gemacht werden soll.
Überlegt habe ich mir einen alten Dell Perc6/i Raidcontroller zu nehmen und daran ersteinmal 4x 8 TB WD Red Festplatten zu einem Raid 5 zusammenzufassen.
Das Ganze sollte erstmal keine Probleme geben und habe ich schon ausgiebig getestet.
Das Problem wäre jetzt die Performance des Netzwerks. Mometan hab ich einen teil der Daten an einem kleinen 6 TB NAS mit NAS4free laufen, was über 1 GB Ethernet auch ordentliche Performance liefert mit ca 90 MByte/s beim schreiben von großen Videodaten.
Da ich jetzt mit teilweise großen Videodateien arbeiten will/muss kommen da teilweise 300 - 500 GB große Dateien bei raus, mit 1 GB Ethernet kein Spaß. Daher will ich auf 10 GB Ethernet aufrüsten und den PC mit dem Storage direkt verbinden um Kosten für einen 10 GBE Router zu sparen.
Jetzt zum eigentlichen Problem: Wenn ich vom PC an das Storage sende, ist die Datenquelle im PC eine SSD (ca 450 MB/s) und im Storage ein Raid 5 (unter 450 MB/s). Gibt es eine Möglichkeit eine SSD als Schreibcache einzubinden, die dann den Netzwerktraffic puffert und dann nach und nach auf die Festplatten schreibt oder muss ich einen Raidcontroller mit SSD Cache nehmen?
Des Weiteren bin ich unschlüssig über das Dateisystem, ich würde der Einfachheit halber ein Win7 Pro nehmen.
Hat jemand mit sowas schon Erfahrungen gesammelt?
Ich danke euch schonmal für eure Tips.
ich möchte ein Storagesystem bauen, auf dem ich meine Videodaten ablegen kann. Dieses soll dann mit 10 GB Ethernet an zwei PCs angeschlossen werden, an welchen der Videoschnitt und die Nachbearbeitung gemacht werden soll.
Überlegt habe ich mir einen alten Dell Perc6/i Raidcontroller zu nehmen und daran ersteinmal 4x 8 TB WD Red Festplatten zu einem Raid 5 zusammenzufassen.
Das Ganze sollte erstmal keine Probleme geben und habe ich schon ausgiebig getestet.
Das Problem wäre jetzt die Performance des Netzwerks. Mometan hab ich einen teil der Daten an einem kleinen 6 TB NAS mit NAS4free laufen, was über 1 GB Ethernet auch ordentliche Performance liefert mit ca 90 MByte/s beim schreiben von großen Videodaten.
Da ich jetzt mit teilweise großen Videodateien arbeiten will/muss kommen da teilweise 300 - 500 GB große Dateien bei raus, mit 1 GB Ethernet kein Spaß. Daher will ich auf 10 GB Ethernet aufrüsten und den PC mit dem Storage direkt verbinden um Kosten für einen 10 GBE Router zu sparen.
Jetzt zum eigentlichen Problem: Wenn ich vom PC an das Storage sende, ist die Datenquelle im PC eine SSD (ca 450 MB/s) und im Storage ein Raid 5 (unter 450 MB/s). Gibt es eine Möglichkeit eine SSD als Schreibcache einzubinden, die dann den Netzwerktraffic puffert und dann nach und nach auf die Festplatten schreibt oder muss ich einen Raidcontroller mit SSD Cache nehmen?
Des Weiteren bin ich unschlüssig über das Dateisystem, ich würde der Einfachheit halber ein Win7 Pro nehmen.
Hat jemand mit sowas schon Erfahrungen gesammelt?
Ich danke euch schonmal für eure Tips.
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 325934
Url: https://administrator.de/contentid/325934
Printed on: April 16, 2024 at 10:04 o'clock
4 Comments
Latest comment
Also bei so großen Dateien würde ich zunächst mal auf den Einsatz von SSDs als Cach verzichten weil ich Bedenken hätte das die SSD wieder und wieder komplett beschrieben wird und so natürlich leidet. Dann lieber gleich mehr Spindeln in den RAID packen. Es macht auch wenig Sinn den Schreibvorgang zu cachen, was erreichst du damit? Nur das dein Netzwerktransfer (PC zu PC) schneller abgeschlossen ist und deine NAS die Arbeit im Anschluss fortführt. In dieser Zeit kannst du die NAS nicht im gleichen Maße belasten und dementsprechend auch dein Netzwerk nicht sinnvoll anderweitig nutzen.
Außerdem würde ich RAID0, RAID1 oder RAID10 fahren um den Rechenaufwand eines RAID5 zu sparen. RAID5 ist gut für Archivdaten bei denen es auf Speicherplatz ankommt. Deine Schnittdaten werden aber vermutlich nicht dauerhaft archiviert sondern müssen schnell geschrieben und gelesen werden.
Ich habe hier einen PC für Desktopaufnahmen mit 2x RAID 0. Auf den ersten RAID wird aufgenommen, beim Verarbeiten wird vom ersten RAID auf den 2ten geschrieben so das einer nur ließt und der andere nur schreibt. Danach werden die Daten komprimiert und archiviert auf einem anderen System, die beiden RAIDs sind nur Cache und kein dauerhafter Speicherort. Bei einem Hardwaredefekt ist natürlich ein wenig Arbeit möglicherweise weg, dafür habe ich Geschwindigkeit.
Außerdem würde ich RAID0, RAID1 oder RAID10 fahren um den Rechenaufwand eines RAID5 zu sparen. RAID5 ist gut für Archivdaten bei denen es auf Speicherplatz ankommt. Deine Schnittdaten werden aber vermutlich nicht dauerhaft archiviert sondern müssen schnell geschrieben und gelesen werden.
Ich habe hier einen PC für Desktopaufnahmen mit 2x RAID 0. Auf den ersten RAID wird aufgenommen, beim Verarbeiten wird vom ersten RAID auf den 2ten geschrieben so das einer nur ließt und der andere nur schreibt. Danach werden die Daten komprimiert und archiviert auf einem anderen System, die beiden RAIDs sind nur Cache und kein dauerhafter Speicherort. Bei einem Hardwaredefekt ist natürlich ein wenig Arbeit möglicherweise weg, dafür habe ich Geschwindigkeit.
Zitat von @kingtope:
Überlegt habe ich mir einen alten Dell Perc6/i Raidcontroller zu nehmen und daran ersteinmal 4x 8 TB WD Red Festplatten zu einem Raid 5 zusammenzufassen.
Überlegt habe ich mir einen alten Dell Perc6/i Raidcontroller zu nehmen und daran ersteinmal 4x 8 TB WD Red Festplatten zu einem Raid 5 zusammenzufassen.
Ahoi ...
Ich behaupte jetzt mal ohne großes rechnen und recherchieren das die Kombination mit WD Red und Raid 5 schreibend vermutlich grad so dein altes Netz auslasten kann und auch das nur bei entsprechend großen Dateien.
Für SSD und 10 GB Ethernet seh ich da nur ein Nicetohave.
VG
Ashnod
Danke erstmal für die Tips und Anregungen.
Die 10 GBE Karten habe ich schon bestellt, daher werd ich die auf alle Fälle mal testen.
Die Idee mit einem zweiten Raid ist durchaus interessant, da ich dann ja ggf. 2x 1 TB Platten mit 7.200 U/min nehmen kann und daraus ein Raid 0 machen kann um die Performance zu bekommen. Und dann vom Raid 0 auf das Raid 5 zu kopieren.
Ich werd mir jedenfalls mal ne Testumgebung bauen und dann die verschiedenen Varianten durchspielen, wie das Ganze mit mit Dual 1 GB Karten vs 10 GB Karte läuft und ob ich da signifikante Geschwindigkeitsunterschiede bekomme.
Die 10 GBE Karten habe ich schon bestellt, daher werd ich die auf alle Fälle mal testen.
Die Idee mit einem zweiten Raid ist durchaus interessant, da ich dann ja ggf. 2x 1 TB Platten mit 7.200 U/min nehmen kann und daraus ein Raid 0 machen kann um die Performance zu bekommen. Und dann vom Raid 0 auf das Raid 5 zu kopieren.
Ich werd mir jedenfalls mal ne Testumgebung bauen und dann die verschiedenen Varianten durchspielen, wie das Ganze mit mit Dual 1 GB Karten vs 10 GB Karte läuft und ob ich da signifikante Geschwindigkeitsunterschiede bekomme.
Wie gesagt ich nehme Desktop erst im RAW Format auf was dann so 200GB pro Stunde werden können und konvertiere und schneide dann im ersten Schritt, schreibe also nochmal so ca. 150GB. Das geht von Raid A auf RAID B, beide Level 0. Danach wird komprimiert und auf das reguläre Speichersystem geschrieben.
Um deine Netzwerkgeschwindigkeit zu testen machst du erstmal ein RAID0 mit allen Platten
Um deine Netzwerkgeschwindigkeit zu testen machst du erstmal ein RAID0 mit allen Platten