7
Software RAID 10 mit bester Perfomance
Hallo lieber Administrator'ler,
ich habe zuhause einen Tower PC stehen, den ich nicht mehr benötige. Er hat relativ viel Leistung (AMD-FX 8350, 8xCores, 8xThreads, mit 4,0 GHz), 16 GB RAM.
Nun habe ich mich dazu entschlossen, ihn als Virtualisierungshost mit Proxmox einzusetzen.
Ich habe hier noch 4 SATA Platten mit je 1 TB rumliegen.
Eine SSD ist auch drin, da läuft Proxmox schon drauf.
Da mir ein ordentlicher RAID Controller zu kostspielig ist, dachte ich mir kurzerhand, machste halt ein Software RAID.
Nun möchte ich das beste an Performance rausholen.
Ich habe derzeit etwa 700 GB an Nutzdaten, bunt gemischt, also kleinere Dateien (Excel, Word, Powerpoint Sheets), als auch größere Dateien (Filme, Videos, etc.).
Ich habe im Internet ein bisschen gegooglet, es damit auch hinbekommen, ein RAID 10 zu erstellen, aber mehr noch nicht rausbekommen.
Ich werfe hier einfach mal ein paar Begriffe in den Raum, welche ich aufgegriffen habe, jedoch nicht ganz verstehe:
Wenn ich das richtig verstanden habe:
Es gibt die Stripe Size nur bei RAID 5 und 6, die ist also für mich unrelevant (wahrscheinlich ist dann auch /sys/block/md0/md/stripe_cache_size unrelevant).
Chunk Size ist die logische Größe, in der DATEIEN auf dem RAID abgelegt werden (sprich bei Chunk Size 64kb belegt auch eine 5kb große Datei 64kb).
Block Size ist die logische Größe, in der DATEN auf der Festplatte abgelegt werden (das heißt bei Block Size 4kb werden für 11kb Daten 12kb Platz verbraucht).
Festplattecache ist ein Zwischenspeicher, um Schreib- und Lesevorgänge zu beschleunigen.
/proc/sys/dev/raid/speed_limit_min und max ist die Mindest bzw. Maximal Geschwindigkeit (in byte/s), mit der Dateien ins RAID geschrieben werden.
/sys/block/md0/device/queue_depth
blockdev --setra 65536 /dev/md0
und
mdadm --grow --bitmap=internal /dev/md0
mdadm --grow --bitmap=none/dev/md0
sind mir gänzlich Rätsel.
Ich habe auch die Perfomance getestet (anhand von Anleitungen) mit Hilfe von dd.
Aber hier kommen verdammt unterschiedliche Werte raus. Abhängig von Lesen und Schreiben, aber auch abhängig von den Optionen, z.B. bs=512, bs=1M, bs=1G und count=1, count=10, count=1000.
Abhängig davon kommen Werte zwischen ein paar MB/s und mehrern GB/s raus.
Wer kann helfen?
Danke
Ketanest
ich habe zuhause einen Tower PC stehen, den ich nicht mehr benötige. Er hat relativ viel Leistung (AMD-FX 8350, 8xCores, 8xThreads, mit 4,0 GHz), 16 GB RAM.
Nun habe ich mich dazu entschlossen, ihn als Virtualisierungshost mit Proxmox einzusetzen.
Ich habe hier noch 4 SATA Platten mit je 1 TB rumliegen.
Eine SSD ist auch drin, da läuft Proxmox schon drauf.
Da mir ein ordentlicher RAID Controller zu kostspielig ist, dachte ich mir kurzerhand, machste halt ein Software RAID.
Nun möchte ich das beste an Performance rausholen.
Ich habe derzeit etwa 700 GB an Nutzdaten, bunt gemischt, also kleinere Dateien (Excel, Word, Powerpoint Sheets), als auch größere Dateien (Filme, Videos, etc.).
Ich habe im Internet ein bisschen gegooglet, es damit auch hinbekommen, ein RAID 10 zu erstellen, aber mehr noch nicht rausbekommen.
Ich werfe hier einfach mal ein paar Begriffe in den Raum, welche ich aufgegriffen habe, jedoch nicht ganz verstehe:
Wenn ich das richtig verstanden habe:
Es gibt die Stripe Size nur bei RAID 5 und 6, die ist also für mich unrelevant (wahrscheinlich ist dann auch /sys/block/md0/md/stripe_cache_size unrelevant).
Chunk Size ist die logische Größe, in der DATEIEN auf dem RAID abgelegt werden (sprich bei Chunk Size 64kb belegt auch eine 5kb große Datei 64kb).
Block Size ist die logische Größe, in der DATEN auf der Festplatte abgelegt werden (das heißt bei Block Size 4kb werden für 11kb Daten 12kb Platz verbraucht).
Festplattecache ist ein Zwischenspeicher, um Schreib- und Lesevorgänge zu beschleunigen.
/proc/sys/dev/raid/speed_limit_min und max ist die Mindest bzw. Maximal Geschwindigkeit (in byte/s), mit der Dateien ins RAID geschrieben werden.
/sys/block/md0/device/queue_depth
blockdev --setra 65536 /dev/md0
und
mdadm --grow --bitmap=internal /dev/md0
mdadm --grow --bitmap=none/dev/md0
sind mir gänzlich Rätsel.
Ich habe auch die Perfomance getestet (anhand von Anleitungen) mit Hilfe von dd.
Aber hier kommen verdammt unterschiedliche Werte raus. Abhängig von Lesen und Schreiben, aber auch abhängig von den Optionen, z.B. bs=512, bs=1M, bs=1G und count=1, count=10, count=1000.
Abhängig davon kommen Werte zwischen ein paar MB/s und mehrern GB/s raus.
Wer kann helfen?
Danke
Ketanest
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 317458
Url: https://administrator.de/contentid/317458
Printed on: April 24, 2024 at 17:04 o'clock
7 Comments
Latest comment
Hi.
Die 1-TB-Platten sind vermutlich gähnend langsam. Ehrlich, die sind einfach unbrauchbar für das Unterfangen, es sei denn, Du bist ein sehr geduldiger Mensch. Kauf Dir zwei nette 4 TB-Platten und mach ein Raid 1 und gut ist. Oder drücke ein Auge zu und gib 250€ für eine 1-TB-SSD aus, die würde noch weitaus schneller sein und fällt vermutlich allein später aus als Dein HDD-Raid.
Die 1-TB-Platten sind vermutlich gähnend langsam. Ehrlich, die sind einfach unbrauchbar für das Unterfangen, es sei denn, Du bist ein sehr geduldiger Mensch. Kauf Dir zwei nette 4 TB-Platten und mach ein Raid 1 und gut ist. Oder drücke ein Auge zu und gib 250€ für eine 1-TB-SSD aus, die würde noch weitaus schneller sein und fällt vermutlich allein später aus als Dein HDD-Raid.
Naja, was heißt langsam. Wie ich oben schon beschrieben habe, kommen beim Plattentest mit dd teilweise mehrer GB/s Schreib(!)geschwindigkeit raus... Klar, wenn ich lauter Nullen von /dev/zero draufschreibe, geht das schneller, aber so gähnend langsam sind doch dann eigentlich nicht.
Und selbst bei den beiden 4TB Platten bleiben die restlichen Fragen offen, was denn nun sinnvolle Werte für ChunkSize, BlockSize, etc. sind.
Und selbst bei den beiden 4TB Platten bleiben die restlichen Fragen offen, was denn nun sinnvolle Werte für ChunkSize, BlockSize, etc. sind.
Du wirst mit keinem Raidlevel auf den Platten die Performance erreichen, wie mit modernen 4 TB in einer simplen Spiegelung, vermutlich nicht einmal bei RAID0 (welches Du eh nicht haben wollen wirst). Und mit einer SSD können die eh nicht mithalten aufgrund der Latenzen. Virtualisierung? SSD, ganz klar!
Mehrere GB/s erreichst Du nie und nimmer im Betrieb, mach mal einen Benchmark.
Mehrere GB/s erreichst Du nie und nimmer im Betrieb, mach mal einen Benchmark.
Das ist mir schon klar, dass ich nicht die Performance erreichen werde, wie mit modernen Platten. Und nein, ein RAID0 kommt nicht in Frage.
Dass die Dinger mit SSDs nicht mithalten können, ist mir schon klar, allerdings ist mir ne SSD einfach zu teuer. Dass ich mehrer GB/s im Betrieb nicht erreichen werde, dachte ich mir schon, das war auch nicht mein Ziel. Dennoch kann man aber denke ich, auch mit den alten Platten eine gute und eine weniger gute Performance hinbekommen. Und genau da möchte ich einhaken, wie hole ich das beste aus den alten Platten raus und warum sind die Ergebnisse von dd so verschieden. Selbst wenn ich die Infos für mein Vorhaben nicht benötigen sollte, würde ich es doch gerne alles verstehen. Man lernt ja bekanntlich nie aus.
Ich habe außerdem momentan einfach nicht die finanziellen Mittel, um in neue Platten oder gar SSDs zu investieren.
EDIT: Abgesehen von den nicht vorhandenen finanziellen Mitteln: Welche Platten kannst du emfpehlen?
Dass die Dinger mit SSDs nicht mithalten können, ist mir schon klar, allerdings ist mir ne SSD einfach zu teuer. Dass ich mehrer GB/s im Betrieb nicht erreichen werde, dachte ich mir schon, das war auch nicht mein Ziel. Dennoch kann man aber denke ich, auch mit den alten Platten eine gute und eine weniger gute Performance hinbekommen. Und genau da möchte ich einhaken, wie hole ich das beste aus den alten Platten raus und warum sind die Ergebnisse von dd so verschieden. Selbst wenn ich die Infos für mein Vorhaben nicht benötigen sollte, würde ich es doch gerne alles verstehen. Man lernt ja bekanntlich nie aus.
Ich habe außerdem momentan einfach nicht die finanziellen Mittel, um in neue Platten oder gar SSDs zu investieren.
EDIT: Abgesehen von den nicht vorhandenen finanziellen Mitteln: Welche Platten kannst du emfpehlen?
Empfehlung für schnelle HDDs kann ich nicht geben, wir kaufen abseits der NAS-Platten (Hitachi) nur noch SSDs.
Wenn Du ein Raid für höhere Verfügbarkeit nutzen willst, nimm Raid10.
Wenn Du ein Raid für höhere Verfügbarkeit nutzen willst, nimm Raid10.
Hallo,
Die Zugriffszeit einer handelsüblichen Festplatte liegt zwischen 5 und 10 ms. Im Schnitt muss für jede (nichtfragmentierte) Datei ein Zugriff erfolgen. D.h. die Platte liest maximal ca. 200 Dateien pro Sekunde. Wenn die Dateien im Durchschnitt 512 Bytes haben wären das ca. 100kB/Sekunde Datendurchsatz.
Wenn die Dateien größer werden, wird der Datendurchsatz entsprechend größer, bis letzendlich die Übertragungsrate der Platte erreicht ist.
Mit freundlichen Grüßen
und warum sind die Ergebnisse von dd so verschieden.
Die Zugriffszeit einer handelsüblichen Festplatte liegt zwischen 5 und 10 ms. Im Schnitt muss für jede (nichtfragmentierte) Datei ein Zugriff erfolgen. D.h. die Platte liest maximal ca. 200 Dateien pro Sekunde. Wenn die Dateien im Durchschnitt 512 Bytes haben wären das ca. 100kB/Sekunde Datendurchsatz.
Wenn die Dateien größer werden, wird der Datendurchsatz entsprechend größer, bis letzendlich die Übertragungsrate der Platte erreicht ist.
Mit freundlichen Grüßen
Ich habe nun 2 2TB Platten (neu) gekauft und diese zu nem Software Raid 1 zusammengeschlossen.
Von nem Kumpel hab ich ne 4TB Platte bekommen, die ich dann für die Backups hernehme.
Geschwindigkeit ist eigentlich mit inwzischen 120 MB/s völlig ok.
Lag evtl doch an den recht "alten" bzw. abgenutzten Platten.
Danke trotzdem!
Grüße
Ketanest
Von nem Kumpel hab ich ne 4TB Platte bekommen, die ich dann für die Backups hernehme.
Geschwindigkeit ist eigentlich mit inwzischen 120 MB/s völlig ok.
Lag evtl doch an den recht "alten" bzw. abgenutzten Platten.
Danke trotzdem!
Grüße
Ketanest
